Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

تخيل أنك تقوم بتدريب مساعد آلي فائق الذكاء لحل جميع أنواع الألغاز، من المسائل الرياضية إلى الألغاز المنطقية. تريد لهذا الروبوت أن يكون "عاماً" حقاً، قادراً على التعامل مع أي شيء تلقيه عليه دون ارتباك أو فشل في المهام الصعبة. في عالم الذكاء الاصطنا، يُسمى هذا "الاستنتاج" (Reasoning)، وتُسمى الروبوتات "نماذج اللغات الكبيرة" (LLMs). ولجعل هذه النماذج أفضل، يستخدم العلماء تقنية تسمى "التعلم التعزيزي" (Reinforcement Learning)، وهي تشبه إعطاء الروبوت "ضربة كف" (مكافأة) عندما يصيب الإجابة، وكلمة "حاول مرة أخرى" بلطف عندما يخطئ. إحدى الطرق الشائعة للقيام بذلك هي GRPO، وهي طريقة ذكية لمعرفة مقدار ما يجب أن يتعلمه الروبوت من كل محاولة. ومع ذلك، هناك عقبة؛ إذا طلبت من الروبوت تعلم عشرة أنواع مختلفة من الألغاز في وقت واحد، فإنه غالباً ما يعلق. قد يصبح بارعاً جداً في الألغاز السهلة ولكنه يتجاهل الألغاز الصعبة تماماً، أو قد يعلق في نوع معين من الألغاز بينما ينسى كيفية القيام بالأنواع الأخرى. السؤال الكبير هو: كيف يمكننا تدريب عقل واحد ليكون جيداً في كل شيء بالتساوي، مما يضمن عدم ترك أي مهارة خلف الركب؟

هذا هو بالضبط المشكلة التي يعالجها أسلوب جديد يسمى MT-GRPO (التعلم التعزيزي لـ GRPO متعدد المهام). فكر في عملية التدريب القياسية كمعلم يحاول تدريس فصل من الطلاب الذين لديهم سرعات تعلم مختلفة تماماً. إذا ركز المعلم فقط على الطالب "المتوسط"، فقد يشعر الطلاب الأذكياء بالملل بينما يتأخر الطلاب المتعثرون أكثر فأكثر. النهج القياسي غالباً ما يسمح للمهام السهلة بـ "اختطاف" التدريب، مما يجعل النموذج يبدو جيداً في المتوسط بينما يفشل سراً في التحديات الصعبة. أدرك مؤلفو هذه الورقة أنه بمجرد حساب المتوسط، لن تحصل على روبوت موثوق؛ بل تحتاج للتأكد من أن أسوأ مؤدٍ في الفصل يتحسن أيضاً.

ولحل هذه المشكلة، ابتكر الباحثون استراتيجية مكونة من جزأين. أولاً، أنشأوا "نظام وزن ديناميكي". تخيل مدرباً يراقب لوحة النتائج باستمرار. إذا كان الروبوت يؤدي بشكل رائع في لعبة "العد التنازلي" (لعبة رياضية) ولكنه سيء جداً في "ألغاز الزيبرا" (ألغاز منطقية)، فإن المدرب يغير التركيز فوراً. يبدأ في إعطاء الروبوت المزيد من مسائل التدريب من فئة "الزيبرا" وأقل من فئة الرياضيات. ولكن الجزء الصعب هنا هو أن الروبوت قد يحاول حل لغز "زيبرا" ويحصل على درجة "صفر" لأنه لم يحاول حتى حله بشكل صحيح، مما يعني أنه لم يتعلم شيئاً من تلك المحاولة. إذا قام المدرب فقط بعدّ المسائل، فقد يعتقد أنه يعلم ألغاز "الزيبرا"، لكن في الواقع، الروبوت لا يتعلم إلا من مسائل الرياضيات لأن محاولات "الزيبرا" كانت عبارة عن "تدرجات صفرية" (تعلم فارغ).

ولحل ذلك، فإن الجزء الثاني من ابتكارهم هو "المُنقّي الحافظ للنسبة" (Ratio-Preserving Sampler). هذا يشبه أميناً صارماً للمكتبة يضمن أنه حتى لو رمى الروبوت محاولات التدريب غير المجدية، فإن كومة مسائل التدريب "المفيدة" النهائية لا تزال تحتوي على المزيج الصحيح من الرياضيات والمنطق. إذا أراد المدرب أن تكون نسبة 30% من التدريب لألغاز المنطق، فإن أمين المكتبة يضمن أنه بعد تصفية المحاولات غير المجدية، تظل 30% من المسائل الجيدة المتبقية هي ألغاز منطقية. هذا يمنع المهام السهلة من السيطرة على جلسة التدريب بالصدفة لمجرد أن المهام الصعبة تحتوي على المزيد من المحاولات "الفاشلة".

النتائج التي حققتها هذه الطة الجديدة واعدة للغاية. عندما اختبر الفريق طريقتهم الجديدة MT-GRPO على مزيج من ثلاث مهام استنتاجية مختلفة، حسنت دقة المهمة الأسوأ أداءً بنسبة 16-28% مقارنة بالطريقة القياسية، وبنسبة 6% مقارنة بطريقة متقدمة أخرى تسمى DAPO. والأكثر إثارة للإعجاب، أنها وصلت إلى عتبة دقة 50% في المهام الأكثر صعوبة باستخدام 5 50% أقل من خطوات التدريب مقارنة بالمنافسين. وفي اختبار أكبر شمل تسع مهام مختلفة، استمرت الطريقة في التفوق على غيرها، مما أظهر قدرتها على التوسع للتعامل مع تحديات أكثر تعقيداً وتنوعاً. وجد المؤلفون أنه من خلال ضبط "مقبض" (معلمة تسمى $\lambda$)، يمكنهم التحكم في مدى إعطاء الأولوية لإصلاح أضعف مهاراتهم مقابل مجرد التحسن في المتوسط.

باختصار، تشير هذه الورقة إلى أنه من خلال كوننا أكثر ذكاءً في اختيار المسائل التي يتدرب عليها الروبوت والتأكد من أن تلك المسائل تصل بالفعل إلى جلسة التدريب، يمكننا بناء ذكاء اصطناعي ليس جيداً في الأشياء السهلة فحسب، بل كفء وموثوق عبر جميع المجالات. إنها خطوة نحو إنشاء ذكاء اصطناعي لا يتخصص فقط في مجال ضيق واحد، بل يمكنه حقاً الاستنتاج عبر مجموعة متنوعة من مشكلات العالم الحقيقي دون ترك أي من مهاراته خلفه.