تخيل أنك تحاول تعليم روبوت صغير، ذكي للغاية، كيف يروي قصة جيدة. لن تتركه يتجول عشوائياً ويخمن فحسب؛ بل ستعطيه بضعة أمثلة لقصص رائعة أولاً، ثم تتركه يحاول كتابة قصته الخاصة، وأخيراً تعطيه إشارة "إبهام للأعلى" أو "إبهำم للأسفل" بناءً على مدى جودة ما فعله. هذه العملية لتعليم الكمبيوتر التعلم من خلال التغذية الراجعة تسمى "التعلم المعزز" (Reinforcement Learning). عادةً، يعمل هذا بشكل أفضل مع أجهزة كمبيوتر ضخمة وذكية تمتلك مليارات "الأعصاب" (المعلمات/Parameters). ولكن ماذا لو أردت وضع هذا الروبوت الذكي في جهاز بحجم الجيب، مثل هاتف أو ساعة ذكية؟ هذه الأجهزة لا يمكنها التعامل مع الحواسيب العملاقة، لذا علينا استخدام "نماذج لغوية صغيرة" (SLMs) — وهي نسخ مصغرة تحتوي فقط على بضع مئات الملايين من الأعصاب. السؤال الكبير الذي يسأله العلماء هو: هل يمكن لهذه الروبوتات الصغيرة أن تتعلم سرد قصص أفضل باستخدام طريقة التغذية الراجعة هذه، أم أنها ستصاب بالارتباك وتنهار؟

هذه الورقة البحثية تغوص في هذه المشكلة تحديداً. حاول الباحثون تعليم خمسة روبوتات صغيرة مختلفة (تتراوح من 70 مليون إلى 410 مليون عصب) باستخدام طريقة تدريب شائعة تسمى PPO. واكتشفوا أنه بينما تعمل هذه الطريقة مع الحواسيب الضخمة، إلا أنها غالباً ما تُعطل هذه الروبوتات الصغيرة بثلاث طرق محددة ومخادعة للغاية. وبدلاً من مجرد الاستسلام، قاموا ببناء "شبكة أمان" لتلقف الروبوتات قبل سقوطها. وجدوا أن سر النجاح ليس مجرد جعل الروبوت أكبر حجماً؛ بل يتعلق بالتأكد من أن الروبوت يجيد التحدث بالفعل قبل أن تبدأ تدريب التغذية الراجعة. إذا كان الروبوت فصيحاً بالفعل، فإن حلقة التغذية الراجعة الصغيرة تعمل كالسحر. أما إذا لم يكن كذلك، فإن الروبوت سيظل يدور حول نفسه دون جدوى.

صراع الروبوت الصغير الكبير

فكر في النموذج اللغوي الصغير (SLM) كمتدرب شاب ومتحمس. إذا أردت تعليم هذا المتدرب حرفة ما، فعليك أولاً أن تريه بعض الأمثلة المثالية (وهذا ما يسمى "الضبط الدقيق الخاضع للإشراف" أو SFT). بعد ذلك، تتركه يتدرب وتعطيه درجة بناءً على أدائه (وهذا هو "التعلم المعزز" أو RL). بالنسبة للمتدربين العمالقة (نماذج الذكاء الاصطناعي الضخمة ذات المليارات من المعلمات)، تكون حلقة التغذية الراجعة هذه سلسة. لكن بالنسبة لمتدربينا الصغار الذين يمتلكون من 70 إلى 500 مليون معلمة، وجد الباحثون أن حلقة التغذية الراجعة غالباً ما تتحول إلى منطقة كوارث.

أجرى الفريق 15 تجربة مختلفة، مزجت بين خمسة نماذج صغيرة مختلفة وثلاثة أنواع من مهام الكتابة (مثل تأليف القصص الخيالية، أو تلخيص الأخبار، أو الكتابة عن التاريخ). توقعوا أن تتعلم الروبوتات الصغيرة، لكن بدلاً من ذلك، استمرت في الاصطدام بثلاثة جدران غير مرئية تسببت في فشل التدريب.

الجدار رقم 1: التجميد الصامت
تخيل أنك تقول لمتدربك: "اذهب وتدرب!"، ولكنك وضعت بالخطأ قفلاً على يديه بحيث لا يستطيع الحركة. يحاول الروبوت التعلم، لكن الجزء من دماغه الذي يتغير فعلياً (يسمى "معلمات LoRA") يصبح عالقاً بسبب البرنامج. يعتقد الروبوت أنه يتعلم، لكنه في الواقع يكرر نفس الأخطاء القديمة لأن يديه مجمدتان. وجد الباحثون أن هذا حدث بصمت في أدوات البرمجيات التي كانوا يستخدمونها.

الجدار رقم 2: انفجار الرياضيات
الروبوتات الصغيرة بارعة في توفير المساحة، لذا فهي غالباً ما تستخدم طريقة "مختصرة" للقيام بالعمليات الحسابية (تسمى bfloat16). ولكن عندما يحاول الروبوت حساب مقدار تحسنه مقارنة بما كان عليه من قبل، تصبح الأرقام كبيرة جداً وتصبح الرياضيات دقيقة للغاية لدرجة أن الطريقة المختصرة تنكسر. الأمر يشبه محاولة قياس المسافة إلى القمر بمسطرة لا يتجاوز طولها قدماً واحداً؛ الأرقام تفيض وتتسبب في انهيار النظام. حدث هذا تحديداً عندما كان الروبوت أصغر من 200 مليون عصب.

الجدار رقم 3: دوامة الذعر
أحياناً، يحصل الروبوت على درجة عالية جداً أو منخفضة جداً، فيصاب بالذعر. يحاول تغيير سلوكه بشكل جذري لدرجة أنه يبدأ في التحدث بهراء أو تكرار نفس الكلمة مراراً وتكراراً. هذا ما يسمى "انهيار السياسة" (policy collapse). إنه يشبه طالباً حصل على درجة سيئة، فقرر التخلص من كتابه المدرسي وبدأ يصرخ بحروف عشوائية.

شبكة الأمان وقاعدة "الفصاحة"

لم يكتفِ الباحثون بالإشارة إلى المشكلات فحسب؛ بل بنوا شبكة أمان مكونة من ثلاث طبقات لإصلاحها.

1. زر إعادة الضبط: لإصلاح الأيدي المجمدة، استخدموا حيلة تسمى "الدمج وإعادة التهيئة" (merge-and-reinitialize). أخذوا معرفة المتدرب الحالية، ودمجوها في دماغه، ثم أعطوه مجموعة جديدة وغير مقفلة من الأيدي للتدرب بها.
2. المسطرة الكبيرة: لمنع انفجار الرياضيات، أجبروا الروبوت على استخدام رياضيات "الدقة الكاملة" (float32) خلال الأجزاء الصعبة من التدريب، مما يضمن عدم تضخم الأرقام بشكل يصعب التعامل معه.
3. حارس السلامة: لمنع دوامة الذعر، أضافوا حاجزاً وقائياً. إذا أصبحت درجة الروبوت جامحة جداً، يتدخل الحارس، ويقوم بتنعيم الأرقام، وإذا بدأ الروبوت في التصرف بجنون، يقوم النظام فوراً بالعودة إلى آخر لحظة آمنة، تماماً مثل الضغط على "تراجع" (Undo) في لعبة فيديو.

لكن الاكتشاف الأكثر إثارة للاهتمام لم يكن مجرد شبكة الأمان؛ بل كان قاعدة جديدة أطلقوا عليها اسم "فرضية سعة الهامش" (Capacity-Headroom Hypothesis).

فكر في دماغ الروبوت كدلو. "الهامش" هو المساحة الفارغة في أعلى الدلو. وجد الباحثون أنه لكي تنجح عملية تدريب التغذية الراجعة، يجب أن يكون الدلو ممتلئاً في الغالب بلغة جيدة قبل البدء في صب التغذية الراجعة فيه. وتحديداً، يحتاج الروبوت إلى أن يكون "فصيحاً" بما يكفي بحيث تكون درجة ارتباكه (التي تسمى Perplexity) أقل من 20.

إذا كان الروبوت فصيحاً بالفعل (Perplexity < 20)، فإن حلقة التغذية الراجعة تعمل بشكل رائع. يتعلم الروبوت كيفية رواية قصص أفضل، وترتفع درجاته. ولكن إذا كان الروبوت لا يزال يتلعثم في كلماته (Perplexity > 20)، فإن حلقة التغذية الراجعة لا تساعد؛ بل تجعل الأمور أسوأ أو لا تفعل شيئاً على الإطلاق. إنه مثل محاولة تعليم طفل صغير كتابة رواية بقلم أحمر؛ إذا لم يكن قادراً حتى على الإمساك بالقلم، فإن التصحيحات لن تجدي نفعاً. وجد الباحثون أن مجرد جعل الروبوت أكبر (إضافة المزيد من الأعصاب) لم يحل المشكلة إذا لم يكن الروبوت فصيحاً بعد. المفتاح كان التأكد من أن الروبوت متحدث جيد أولاً.

النتائج: صغيرة ولكن قوية

عندما طبقوا هذه الإصلاحات واتبعوا "قاعدة الفصاحة"، كانت النتائج مبهرة.

• الاستقرار: جميع التجارب الـ 15 التي استخدمت شبكة الأمان وبدأت بروبوت فصيح انتهت دون أي انهيار.
• الأداء: الروبوتات الصغيرة التي بدأت فصيحة (مثل نموذج الـ 410 مليون عصب) تعلمت كتابة قصص أفضل بكثير. في اختبار للقصص الخيالية، حسن أحد الروبوتات درجته بفارق هائل، متفوقاً حتى على بعض النماذج المعدلة مسبقاً والمخصصة لـ "اتباع التعليمات" والتي تم تدريبها على بيانات أكثر بكثير.
• الكفاءة: حققت هذه الروبوتات الصغيرة هذه الجودة العالية باستخدام بيانات تدريب أقل بكثير من النماذج العملاقة.

ومع ذلك، فإن الورقة البحثية حريصة على ملاحظة ما لم ينجح. إذا بدأ الروبوت بدرجة ارتباك عالية (أعلى من 20)، فإن التدريب لم يحسن أداءه. في الواقع، بالنسبة لنموذج معين في موضوع صعب، جعل التدريب أداءه أسوأ قليلاً. وهذا يثبت أنه لا يمكنك مجرد إلقاء روبوت صغير في حلقة تغذية راجعة وتوقع الأفضل؛ عليك التأكد من جاهزيته أولاً.

ماذا يعني هذا للمستقبل

تشير هذه الورقة إلى أننا لا نحتاج بالضرورة إلى بناء أجهزة أكبر فأكبر لامتلاك وكلاء أذكاء يعملون على الأجهزة. بدلاً من ذلك، نحتاج إلى أن نكون أكثر ذكاءً في كيفية تدريب النماذج الصغيرة. من خلال إصلاح الأعطال التقنية التي تسبب انهيار الروبوتات الصغيرة، ومن خلال ضمان فصاحتها قبل بدء تدريب التغذية الراجعة، يمكننا جعلها قوية بما يكفي لتعمل على هواتفنا وساعاتنا.

لقد شارك الباحثون جميع أكوادهم، ونماذج الروبوتات الصغيرة، وسكريبتات التدريب حتى يتمكن أي شخص من تجربتها. كما بنوا نظاماً "متوافقاً مستقبلياً"، وهو يشبه مخططاً لتعليم هذه الروبوتات كيفية التعامل مع المحادثات الطويلة ومتعددة الخطوات في المستقبل، رغم أنهم لم يختبروا هذا الجزء بعد. الخلاصة الرئيسية واضحة: بالنسبة للذكاء الاصطناعي الصغير، الاستقرار والبداية الجيدة أهم من الحجم الخام. إذا أعطيت روبوتاً صغيراً أساساً متيناً وشبكة أمان، فيمكنه تعلم القيام بأشياء مذهلة.