ملخص تقني: استثمر عمليات التوليد حيث تكمن الفائدة

بيان المشكلة

في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) عبر التعلم المعزز (RL)، وتحديداً ضمن بيئة التدريب المتصلة والسياسة المباشرة (on-policy)، لا تكمن العقبة الحسابية المهيمنة في خطوة التحسين، بل في عملية توليد الـ "rollouts" (أخذ العينات). تقوم طرق تحسين السياسة القائمة على المجموعات، مثل "تحسين السياسة النسبية للمجموعات" (GRPO)، بحساب المزايا من خلال مقارنة عدة عمليات توليد (rollouts) لنفس المطالبة (prompt). ومع ذلك، فإن النهج الحالي يخصص ميزانية التوليد بشكل عشوائي لجميع المطالبات في الدفعة الواحدة، بغض النظر عن إمكانات التعلم الخاصة بها.

يؤدي هذا إلى عدم كفاءة كبيرة؛ فالمطالبات ذات توزيعات المكافأة المنهارة (حيث تعطي جميع عمليات التوليد مكافآت متطابقة، سواء كانت كلها صحيحة أو كلها خاطئة) تنتج "ميزة" (advantage) صفرية ولا تساهم بأي إشارة تدرج (gradient signal)، ومع ذلك فهي تستهلك موارد أخذ عينات باهظة الثمن. وعلى العكس من ذلك، فإن المطالبات ذات التباين العالي في المكافآت توفر أقوى إشارات التعلم. تفشل الطرق الحالية في التمييز بين هذه الأنظمة أثناء التشغيل، مما يهدر الحوسبة على بيانات غير مفيدة. وبينما تعمل استراتيجيات الإفراط في أخذ العينات مثل DAPO على تحسين الاستكشاف، إلا أنها تزيد تكاليف أخذ العينات خطياً دون تصفية المطالبات منخفضة الإشارة.

المنهجية: Pilot-Commit

يقترح المؤلفون إطار عمل Pilot-Commit (PC)، وهو إطار لتخصيص ميزانية التوليد الواعية بالميزانية والمصمم لفصل تقييم المطالبة عن الاستغلال. يعمل هذا الأسلوب بناءً على النتيجة النظرية التي تفيد بأن التحديثات القائمة على المجموعات تكون أكثر فعالية في الأنظمة ذات التباين العالي في المكافآت، حيث يتم تعظيم مقدار تدرج السياسة.

يتكون الإطار من مرحلتين لكل خطوة تدريب:

1. مرحلة الطيار (Pilot Stage): يُستخدم جزء من إجمالي ميزانية التوليد لأخذ عدد صغير من عمليات التوليد ($n_{pilot}$) لكل مطالبة في دفعة أخذ العينات. يقوم النظام بتقدير معدل النجاح التجريبي (وبالتالي تباين المكافأة) لكل مطالبة في ظل السياسة الحالية.

   • يتم تصفية المطالبات بناءً على عتبات غير متماثلة. المطالبات التي تُعتبر "سهلة للغاية" (معدل النجاح $> p_{upper}$) تُستبعد من أخذ العينات المستقبلي لأن إشارة التدرج الخاصة بها تتلاشى. أما المطالبات التي تُعتبر "صعبة للغاية" (معدل النجاح $< p_{lower}$) فيتم تأجيلها إلى الحقبة التالية بدلاً من استبعادها، وذلك إدراكاً لإمكانية اقترابها من نظام التباين العالي مع تحسن السياسة.
   • المطالبات التي تقع ضمن نطاق التباين المستهدف (عادةً عند $p \approx 0.5$) يتم اختيارها لمرحلة الالتزام.

2. مرحلة الالتزام (Commit Stage): يتم تخصيص ميزانية التوليد المتبقية ($n_{commit}$) حصرياً للمطالبات التي اجتازت مرشح الطيار. وتتلقى هذه المطالبات الجزء الأكبر من موارد أخذ العينات لتوليد بيانات التدريب.

3. التدريب: يتم تحديث السياسة باستخدام اتحاد عمليات التوليد (pilot و commit) للمطالبات المختارة.

التحسينات الرئيسية:

• الربط (Binding): لتقليل عبء الاستدلال، يتم ربط مرحلة الطيار للخطوة $t-1$ بمرحلة الالتزام للخطوة $t$، مما يسمح بتداخل عمليات الاستدلال ويؤدي فقط إلى تأخير طفيف في السياسة غير المباشرة (off-policy).
• مخزن إعادة التشغيل (Replay Buffer): يتم تخزين المطالبات الزائدة التي تجتاز مرشح الطيار لملء دفعة التدريب إذا أسفرت مرحلة الطيار الحالية عن عدد قليل جداً من الناجين، ويتم استبعاد المطالبات القديمة لمنع التقادم.
• استراتيجية الاستبعاد (Eviction Strategy): تُزال المطالبات التي يتم حلها باستمرار (جميع عمليات التوليد صحيحة) نهائياً من مجمع أخذ العينات لمنع هدر الميزانية.

المساهمات الرئيسية

• الرؤية النظرية: يقدم البحث برهاناً تحليلياً (Proposition 3.1) يوضح أن مقدار تدرج مجموعة GRPO يتم تعظيمه عندما تكون نتائج المكافآت داخل المجموعة في أقصى حالات عدم اليقين (أي التباين العالي). وهذا يثبت أن تباين المكافأة هو مؤشر مباشر على مدى أهمية المطالبة.
• تصميم إطار العمل: يقدم Pilot-Commit استراتيجية تخصيص جديدة مكونة من مرحلتين تعيد تخصيص ميزانية التوليد الثابتة ديناميكياً بناءً على تقديرات حية ومباشرة لأهمية المطالبة، مما يغني عن الحاجة إلى نماذج مساعدة أو إحصاءات تاريخية قديمة.
• التنفيذ النظامي: تم تنفيذ الطريقة كوصفة جديدة في إطار عمل verl للتعلم المعزز، مع ميزات تحسين عملية مثل الربط غير المباشر (off-policy binding) ومخازن إعادة التشغيل لضمان القابلية للتوسع.

النتائج التجريبية

قيم المؤلفون Pilot-Commit عبر أحجام نماذج تتراوح من 1.5 مليار إلى 14 مليار معلمة على اختبارات الاستدلال الرياضي (بما في ذلك AIME و AMC و MATH 500 و DeepMath).

• كفاءة التوليد (Rollout Efficiency): يحقق Pilot-Commit باستمرار دقة الخط المرجعي المستهدفة بعدد أقل بكثير من عمليات التوليد التراكمية مقارنة بـ GRPO و DAPO.
  • مقارنة بـ GROO، يحقق PC الدقة المستهدفة أسرع بـ 1.5 إلى 1.9 مرة من حيث عمليات التوليد التراكمية.
  • مقارنة بـ DAPO، يعد PC أسرع بـ 2.3 إلى 4.0 مرات من حيث عمليات التوليد التراكمية.
• وقت التنفيذ (Wall-Clock Time): حتى في البيئات عالية التوازي (64 وحدة GPU من نوع H200)، تترجم عملية تقليل تكلفة أخذ العينات إلى تسريع عملي، حيث يكون PC أسرع بمقدار 1.21 مرة من GRPO و 1.83 مرة من DAPO في وقت التنفيذ لكل خطوة.
• جودة التعلم: يحافظ PC على متوسط تباين مكافأة أعلى طوال فترة التدريب مقارنة بالنماذج المرجعية، مما يشير إلى أن التحديثات تتركز على المطالبات ذات إشارات التدرج الأقوى. وبناءً على ذلك، غالباً ما يحقق PC دقة ذروة أعلى من النماذج المرجعية ضمن نفس عدد خطوات التدريب.
• متانة المعلمات الفائقة (Hyperparameter Robustness): تظهر دراسات الاستئصال (Ablation studies) أن الطريقة متينة تجاه التغيرات في نسب تقسيم الطيار/الالتزام وعتبات التصفية، بشرط ألا تُضبط العتبات عند قيم متطرفة تؤدي إما إلى إهدار الميزانية على مطالبات ميؤوس منها أو استبعاد مطالبات ذات أهمية حدية.

الأهمية والادعاءات

يزعم البحث أن تخصيص التوليد (rollout allocation) هو "مشكلة من الدرجة الأولى" في مرحلة ما بعد التدريب للتعلم المعزز. ومن خلال نقل التركيز من "كم عدد عمليات التوليد التي يجب إنتاجها" إلى "أي المطالبات يجب إنفاق الموارد عليها"، يعالج Pilot-Commit عدم الكفاءة الجوهري في أخذ العينات الموحد.

يؤكد المؤلفون أن نهجهم لا يغير هدف التدريب أو يفرض ترتيب منهج تعليمي ثابت. بدلاً من ذلك، يتكيف النهج حياً مع السياسة المتطورة، مما يضمن إنفاق ميزانية الحوسبة حيث تكون إشارة التعلم في أقوى حالاتها. تشير النتائج إلى أنه بالنسبة للتعلم المعزز القائم على المجموعات، يمكن لتخصيص أخذ العينات الذكي أن يحقق مكاسب كفاءة كبيرة دون التضحية بالأداء النهائي للنموذج، بل وتحسينه في كثير من الأحيان. يُقدم هذا العمل كتحسين مكمل لتحسينات الإنتاجية على مستوى النظام، مع التركيز على فعالية البيانات التي يتم أخذ عيناتها بدلاً من مجرد سرعة التوليد.