HRM-Text: Efficient Pretraining Beyond Scaling
تقدم الورقة البحثية نموذج HRM-Text، وهو نموذج بمليار معلمة يحقق أداءً تنافسيًا مع النماذج الأكبر حجمًا بشكل ملحوظ من خلال الجمع بين بنية متكررة هرمية، وتقنيات تدريب متخصصة، وتدريب مسبق يعتمد على التعليمات فقط لتقليل متطلبات الحوسبة والبيانات لأبحاث النماذج اللغوية التأسيسية بشكل جذري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الحالة الراهنة للذكاء الاصطناعي كأنها مصنع ضخم فائق السرعة. لبناء آلة "ذكية"، تقوم هذه المصانع بصب تريليونات الصفحات من النصوص الخام (مثل الإنترنت بأكمله) في خلاط، مستخدمةً مليارات الدولارات من الكهرباء لإنتاجها. والنتيجة هي نموذج ذكي، لكن العملية مكلفة للغاية وتستهلك طاقة هائلة لدرجة أن قلة من الشركات العملاقة فقط يمكنها تحمل تكلفة تشغيل هذا المصنع.
ورقة البحث التي شاركتها، HRM-Text، تقترح طريقة مختلفة تماماً لبناء هذه الآلات. فبدلاً من المصنع الضخم الذي يعتمد على القوة الغاشمة، قاموا ببناء ورشة عمل صغيرة وعالية الكفاءة تتعلم مثل الدماغ البشري.
إليك تفصيل كيفية قيامهم بذلك، باستخدام تشبيهات بسيطة:
1. تشبيه الدماغ: "المفكر البطيء" و"المنفذ السريع"
معظم نماذج الذكاء الاصطناعي اليوم تشبه شخصاً واحداً يحاول القيام بكل شيء في آن واحد: القراءة، والتفكير، والكتابة، في اندفاع فوضوي واحد كبير.
لقد نظر المؤلفون في كيفية عمل الأدمغة البشرية، ولاحظوا أن أدمغتنا تمتلك حلقة جبهية جدارية (frontoparietal loop): وهي نظام يفصل بين التفكير الاستراتيجي البطيء (تخطيط الصورة الكبيرة) وبين تفكير التنفيذ السريع (القيام بالعمل الفعلي).
- الطريقة القديمة: النموذج القياسي للذكاء الاصطناعي يشبه عداء مسافات قصيرة يحاول ركض ماراثون دون توقف؛ إذ يصاب بالتعب والارتباك.
- طريقة HRM-Text: لقد بنوا نموذجاً يتكون من طبقتين:
- وحدة "H" (الجنرال/القائد): هذه هي الطبقة الاستراتيجية البطيئة. تأخذ لحظة لفهم الصورة الكبيرة وتحديد الاتجاه.
- وحدة "L" (المتخصص): هذه هي طبقة التنفيذ السريعة. تتعامل بسرعة مع التفاصيل وتصقل الإجابة بناءً على خطة "الجنرال".
- النتيجة: من خلال الفصل بين "التخطيط" و"التنفيذ"، لا يضيع النموذج في التفاصيل، بل يتعلم بشكل أسرع وأكثر كفاءة.
2. طريقة التدريب: توقف عن قراءة السؤال، وابدأ في الإجابة عليه
تتدرب نماذج الذكاء الاصطناعي الحالية عبر قراءة كتاب ومحاولة التنبؤ بـ الكلمة التالية لكل كلمة في الكتاب، بما في ذلك الأسئلة نفسها. الأمر يشبه طالباً يدرس للاختبار عبر محاولة حفظ أسئلة المعلم حرفياً، بدلاً من تعلم كيفية حل المشكلات.
لقد غيرت HRM-Text القواعد:
- هدف "إكمال المهمة": بدلاً من محاولة التنبؤ بالجملة بأكملة، لا يتم معاقبة النموذج إلا إذا أخطأ في الإجابة فقط. إنه يتجاهل جزء السؤال أثناء التدريب.
- خدعة "PrefixLM": تخيل طالباً يقرأ سؤالاً. مع الذكاء الاصطناعي القياسي، لا يستطيع الطالب إلا النظر إلى الكلمات التي كتبها بالفعل. أما مع HRM-Text، فيُسمح للطالب بـ قراءة السؤال كاملاً أولاً (بالنظر ذهاباً وإياباً) قبل كتابة الإجابة. هذا يساعده على فهم السياق بشكل أفضل بكثير دون الحاجة إلى حفظ نص السؤال نفسه.
3. "المثبتات السحرية"
إن تدريب نموذج "يفكر" عبر حلقات (تكرار) هو أمر صعب للغاية؛ فالأمر يشبه محاولة موازنة كومة من الأطباق بينما الأرض تهتز تحتك. قدمت الورقة البحثية اثنين من "المثبتات" للحفاظ على الكومة من السقوط:
- MagicNorm: فكر في هذا كأنه ممتص للصدمات. فهو يضمن أنه بينما "يفكر" النموذج عبر خطوات عديدة، لا تصبح الأرقام داخل الكمبيوتر ضخمة جداً أو صغيرة جداً، مما يؤدي عادةً إلى انهيار عملية التعلم.
- Warmup Deep Credit Assignment (تخصيص الاعتماد العميق التدريجي): تخيل تعليم طفل المشي. أنت لا تطلب منه ركض ماراثون في اليوم الأول، بل تبدأ بخطوات قصيرة، ومع ازدياد قوته، تسمح له باتخاذ خطوات أطول. تبدأ HRM-Text بالنظر إلى خطوات قلي سابقة فقط للتعلم من الأخطاء، ثم تتوسع تدريجياً في النظر إلى الوراء كلما أصبح النموذج أكثر ذكاءً. هذا يمنع النموذج من الارتباك بسبب تاريخه الخاص في وقت مبكر جداً.
النتيجة: انتصار "داود ضد جالوت"
تزعم الورقة البحثية أنه باستخدام هذه الحيل، بنوا نموذجاً بمليار معلمة (parameter) (وهو ذكاء اصطناعي صغير نسبياً) تم تدريبه على 40 مليار توكن (token) فقط (كمية ضئيلة من البيانات مقاربالتريليونات التي تستخدمها شركات مثل جوجل أو ميتا).
- التكلفة: أنفقوا حوالي 1,500 دولار واستخدموا 16 بطاقة رسوميات لمدة أقل من يومين.
- المقارنة: رغم صغر حجمه ورخص ثمنه، حقق هذا النموذج أداءً يضاهي (وأحياناً يتفوق على) النماذج الضخمة التي كلفت مئات الآلاف من الدولارات واستغرقت شهوراً للتدريب.
- الكفاءة: للحصول على نفس النتائج، احتاجت النماذج القياسية إلى 100 إلى 900 ضعف كمية البيانات و 96 إلى 432 ضعف قوة الحوسبة.
الصورة الكبيرة
المؤلفون لا يقولون إن هذا هو الذكاء الاصطناعي المثالي النهائي. هم يقولون: "لقد أثبتنا أن الأمر ممكن."
لقد أظهروا أنك لست بحاجة إلى ميزانية بمليارات الدولارات لبناء ذكاء اصطناعي ذكي. من خلال تصميم البنية لتفكر مثل الدماغ (تخطيط بطيء + تنفيذ سريع) وتدريبها على التركيز فقط على حل المشكلات (تجاهل نص السؤال)، يمكنك جعل أبحاث الذكاء الاصطناعي متاحة للجميع. وهذا يعني أن المختبرات الصغيرة، والجامعات، وحتى الأفراد، يمكنهم الآن تدريب نماذجهم الأساسية الخاصة من الصفر، مما يكسر الاحتكار الذي تسيطر عليه الشركات الأكثر ثراءً حالياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.