GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

ملخص تقني: GRLO – نحو تعلم تعزيزي قابل للتعميم في بيئات مفتوحة النهاية من الصفر

بيان المشكلة
انقسمت التطورات الأخيرة في مرحلة ما بعد التدريب لنماذج اللغات الكبيرة (LLMs) بشكل كبير إلى نموذجين: التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، الذي يحسن التفضيلات البشرية، والتعلم التعزيزي من المكافآت القابلة للتحقق (RLVR)، الذي يحسن الدقة في مجالات مثل الرياضيات والبرمجة. وبينما أظهر RLVR كفاءة وأداءً فائقين في مهام استدلالية محددة، إلا أنه يعاني من قيود كبيرة: فهو مكلف حوسبياً، ويعتمد بشدة على إشارات الحقيقة الأرضية القابلة للتحقق، ويظهر قدرة ضعيفة على الانتقال إلى مهارات المحادثة العامة. وفي المقابل، غالباً ما يتطلب RLHF القياسي بيانات ضخمة خاصة بمجالات معينة ويكافح لتحفيز قدرات استدلال واسعة دون مسارات استدلال صريحة.

المشكلة الجوهرية التي يعالجها هذا العمل هي "فجوة تغطية النطاق": فالطرق الحالية إما تتخصص بشدة في المجالات القابلة للتحقق (فتفقد القدرة على الدردشة العامة) أو تتطلب ميزانيات حوسبة هائلة لتحقيق قدرات واسعة. علاوة على ذلك، لا يزال من غير الواضح ما إذا كان التعلم التعزيزي الذي يتم إجراؤه في بيئات مفتوحة النهاية وغير قابلة للتحقق يمكن أن يفتح قدرات محادثة عامة تنتقل ضمنياً إلى مهام الاستدلال وتوليد الكود البرمجي اللاحقة دون الحاجة إلى ضبط دقيق متخصص للمجال.

المنهجية: GRLO
يقترح المؤلفون GRLO (التعلم التعزيزي القابل للتعميم من البيئات مفتوحة النهاية)، وهي وصفة تدريبية تنقل التركيز من المُحسِّن (Optimizer) إلى بيئة التدريب. بدلاً من تقديم مُحسِّن خوارزمي جديد، يطبق GRLO أسلوب تحسين يشبه RLHF (تحديداً PPO) على مجموعة مختارة وصغيرة من المطالبات (Prompts) مفتوحة النهاية.

• بيئة التدريب: أنشأ المؤلفون مجموعة تضم حوالي 5,000 مطالبة اصطناعية تغطي مجالات متنوعة ومتطلبة معرفياً وغير قابلة للتحقق إلى حد كبير، بما في ذلك التحليل العلمي، والتركيب الجدلي، والشرح المفاهيمي، والاستدلال طويل الأمد. ويؤكد تدقيق المواضيع أن المجموعة ليست متمحورة حول الرياضيات، بل تغطي السياسة، والتاريخ، والطب الحيوي، والتكنولوجيا، والعلوم الإنسانية.
• التحسين: يتم تهيئة السياسة (Policy) من نموذج أساسي مدرب مسبقاً (مثل Qwen3-4B-Base) وتحسينها باستخدام PPO مع نموذج مكافأة متعلم (Skywork-Reward-V2) وهدف منظم بـ KL. ومن الأهمية بمكان أن توزيع التدريب ($D_{open}$) يتكون من مطالبات مفتوحة النهاية حيث لا يمكن التحقق الدقيق منها، مما يتناقض مع التوزيعات القابلة للتحقق ($D_{ver}$) المستخدمة في RLVR.
• الفرضية: الفرضية المركزية هي أن تحسين النموذج على مجموعة صغيرة من التفاعلات مفتوحة النهاية يمكن أن يعيد تشكيل توزيع المخرجات الخاص به لاستغلال القدرات المدربة مسبقاً بشكل أفضل، مما يحسن قدرة المحادثة العامة التي تنتقل ضمنياً إلى مهام مثل الاستدلال الرياضي وتوليد الكود.

المساهمات الرئيسية

1. إعادة تقييم التعلم داخل النطاق: يتحدى البحث ضرورة تدريب RL داخل النطاق كمصدر أساسي للانتقال إلى المهام اللاحقة، ويقيم ما إذا كان بإمكان RL مفتوح النهاية أن يعمل كبديل عملي وخفيف الوزن.
2. التعميم خفيف الوزن: يوضح المؤلفون أن مرحلة واحدة من RL مفتوح النهاية (GRLO) يمكن أن تحسن بشكل مشترك الاستدلال، وتوليد الكود، وأداء الدردشة العامة. تحقق هذه الطريقة أداءً تراكمبياً مقارباً لنماذج RLVR القوية والمكلفة في الموارد (مثل General-Reasoner)، مع استخدام بيانات أقل بـ 46 مرة وحوسبة أقل بـ 68 مرة.
3. التحليل المنهجي: يقدم العمل تحليلاً مفصلاً لسلوكيات القياس (Scaling behaviors)، والانتقال عبر عائلات النماذج المختلفة (عبر بنيات Qwen وLlama)، وأطوال الاستجابات، موضحاً أن المكاسب الملحوظة ليست مجرد نتاج للإطناب (Verbosity) بل تنبع من تحسين جودة القرار وتنظيم الاستجابة.

النتائج التجريبية
قيم المؤلفون GRLO على عدة نماذج أساسية، بما في ذلك Qwen3-4B، وQwen3-8B، وQwen2.5-3B، وLlama3.2-3B.

• أداء Qwen3-4B: على بنية Qwen3-4B، رفع GRLO متوسط الأداء عبر الاستدلال (Math500، GPQA)، وتوليد الكود (HumanEval، MBPP)، والدردشة العامة (AlpacaEval 2 LC) من خط الأساس 24.1 إلى 63.1. تقترب هذه النتيجة تقريباً من نموذج Qwen3-4B الرسمي (غير المفكر - Non-Thinking) وتتفوق على نموذج General-Reasoner-4B في المقاييس التراكمية، رغم استخدام جزء ضئيل من موارد التدريب.
• مكاسب محددة: مقارنة بالنموذج الأساسي، حسن GRLO مقياس Math500 من 73.6 إلى 79.2، وHumanEval من 6.1 إلى 84.8، وAlpacaEval 2 LC من 1.6 إلى 45.8.
• الاتساق عبر النماذج: لوحظت اتجاهات مماثلة في Qwen3-8B (ارتفاع متوسط الدرجة من 33.7 إلى 67.3) وفي Llama3.2-3B (ارتفاع من 21.5 إلى 39.3)، مما يشير إلى متانة الطريقة عبر عائلات النماذج المختلفة.
• الدراسات الاستئصالية (Ablation Studies): أظهرت التجارب أن استخدام مطالبات رياضيات داخل النطاق لتدريب RL (بدلاً من المفتوحة النهاية) حسن درجات الرياضيات قليلاً ولكنه أدى إلى تدهور شديد في انتقال مهارات الدردشة. وبالمثل، فإن استبدال PPO بـ GRPO في بيئة مفتوحة النهاية أدى إلى نتائج دون المستوى، مما يؤكد أن الجمع بين البيئة مفتوحة النهاية وخوارزمية PPO أمر بالغ الأهمية.
• التعلم التعزيزي القابل للتحقق اللاحق (Supplementary RLVR): وفرت مرحلة RLVR لاحقة داخل النطاق مكاسب هامشية فقط (على سبيل المثال، زيادة المتوسط من 63.1 إلى 63.2 في Qwen3-4B)، مع ظهور التحسينات بشكل أساسي في اختبارات الرياضيات التنافسية الصعبة (AIME). يشير هذا إلى أن الانتقال الواسع مدفوع بالمرحلة الأولى مفتوحة النهاية، بينما يعمل RLVR كتحسين متخصص للمهام القابلة للتحقق الصعبة.
• الكفاءة: تطلب التدريب 5,000 مطالبة فقط و22.7 ساعة من وحدة معالجة الرسومات (GPU). وكشف تحليل أطوال المخرجات أن نماذج GRLO أنتجت استجابات أقصر وأعلى جودة مقارنة بالنماذج المرجعية التي اعتمدت على مسارات استدلال مطولة.

الأهمية والادعاءات
يزعم البحث أن GRLO يقدم "وصفة بسيطة وفعالة" لبناء نماذج ذات قدرات واسعة في مرحلة ما بعد التدريب. تكمن أهميته الأساسية في إثبات أن التعلم التعزيزي مفتوح النهاية يمكنه استعادة جزء كبير من المكاسب الواسعة التي تُنسب عادةً إلى مسارات التدريب الأكثر كثافة والمدعومة بالتحقق.

يجادل المؤلفون بأن البيئة التي يُطبق فيها RL هي عامل أكثر حسمًا من المُحسِّن المحدد أو حجم البيانات. ومن خلال نقل RL إلى بيئة معقدة معرفياً ومفتوحة النهاية، يمكن للنماذج اكتساب مهارات الاستدلال والبرمجة ضمنياً دون إشراف صريح متخصص في المجال. وهذا يتحدى المفهوم السائد بأن الاستدلال عالي الأداء يتطلب ميزانيات ضخمة من RLVR المتخصص، مما يشير بدلاً من ذلك إلى أن مرحلة RL مفتوحة النهاية وخفيفة الوزن من "الصفر" كافية لفتح القدرات القابلة للتعميم. ويخلص العمل إلى أنه بينما يمكن لمرحلة RLVR لاحقة داخل النطاق زيادة التخصص في الاختبارات الصعبة، فإن الانتقال الواسع الأساسي يتحقق من خلال التفاعل مفتوح النهاية نفسه.