ملخص تقني: AGPO – تحسين سياسة المجموعة التكيفي باستخدام التغذية الراجعة الإحصائية المزدوجة

1. بيان المشكلة

أثبت التعلم التعزيزي (RL) فاعليته في تحسين قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs)، لا سيما من خلال خوارزميات مثل تحسين السياسة القريب من الأمثل (PPO) وتحسين سياسة المجموعة النسبي (GRPO). ومع ذلك، تعتمد الأساليب الحالية عادةً على معلمات فائقة (hyper-parameters) ثابتة لمكونين حاسمين:

1. نصف قطر القص ($\epsilon$): حجم منطقة الثقة في تحديث السياسة هو ثابت، مما يتجاهل عدم اليقين المتطور لدفعة التدريب.
2. درجة حرارة فك الترميز ($\tau$): درجة حرارة أخذ العينات المستخدمة لتوليد المسارات ثابتة، مما يفشل في التكيف مع مشهد المكافأة المتغير.

يجادل المؤلفون بأن هذه الإعدادات الثابتة تخلق ثلاث مشكلات متكررة في التعلم التعزيزي من التغذية الراجعة البشرية (RLHF):

• ضبط مكثف: يتطلب الأمر جهداً يدوياً كبيراً لضبط المعلمات الفائقة لمنطقة الثقة وفك الترميز.
• عدم تطابق الاستكشاف والاستغلال: لا يمكن لإعداد واحد أن يدعم الاستكشاف في المراحل المبكرة والاستقرار في المراحل المتأخرة في آن واحد.
• تقارب هش: يمكن أن تؤدي المعلمات الثابتة إلى تحديثات ناقصة في المراحل المبكرة أو قفزات غير مستقرة في المراحل المتأخرة بسبب تباين المكافآت، وعدم الاتفاق على الإجابات، وانحراف KL.

2. المنهجية: AGPO

يقترح المؤلفون تحسين سياسة المجموعة التكيفي (AGPO)، وهو تحسين خفيف الوزن وخالٍ من الناقد (critic-free) لخوارزمية GRPO. يستبدل AGPO المعلمات الفائقة الثابتة بوحدات تحكم تكيفية مدفوعة بـ حالة إحصائية مشتركة مستمدة من مسبار (probe).

البنية الأساسية: مسبار واحد، وحدتا تحكم

يعمل AGPO على مجموعة من $G$ من عمليات التوليد (rollouts) التي يتم أخذ عينات منها لمطالبة (prompt) واحدة. قبل التحديث الرئيسي للسياسة، يتم تشغيل مرحلة مسبار عند درجة حرارة أساسية ($\tau_{base}$) لاستخراج الإحصائيات على مستوى المجموعة. تقود هذه الإحصائيات وحدتي تحكم متميزتين:

أ. القص التكيفي (التحكم في حجم التحديث)

بدلاً من $\epsilon$ الثابتة، يحسب AGPO نصف قطر قص تكيفي ($\epsilon_{adaptive}$) باستخدام صيغة توازن بين الاستكشاف والاستقرار:
$$\epsilon_{adaptive} = \text{clip}\left( \epsilon_{base} \frac{H(\pi_{old}) (1 + \delta E_{probe})}{1 + \alpha \hat{\sigma} + \zeta |\tilde{\kappa}_3(r)| + \gamma \hat{D}^{step}_{KL}}, \epsilon_{min}, \epsilon_{max} \right)$$

• إشارات التوسع (زيادة $\epsilon$): تشير الإنتروبيا العالية للسياسة ($H(\pi)$) وإنتروبيا تصويت المسبر العالية ($E_{probe}$) إلى عدم يقين معرفي أو نقص في الاستكشاف، مما يستدعي منطقة ثقة أكبر.
• إشارات التقلص (تقليل $\epsilon$): يشير تشتت المكافأة ($\hat{\sigma}$)، والتواء المكافأة ($|\tilde{\kappa}_3(r)|$)، وانحراف KL خطوة بخطوة ($\hat{D}^{step}_{KL}$) إلى مخاطر التحسين، مما يستدعي منطقة ثقة أضيق لمنع القفزات غير المستقرة.
• الآلية: يسمح هذا للخوارزمية باتخاذ خطوات أكبر عندما تكون الدفعة غير مؤكدة، وخطوات أصغر عندما تكون إشارة المكافأة ضوضائية أو عندما تنحرف السياسة بسرعة كبيرة.

ب. أخذ عينات درجة الحرارة التكيفي ثنائي الاتجاه (ATS)

يقدم AGPO أخذ عينات درجة الحرارة التكيفي (ATS) للتحكم في تنوع المسارات أثناء جمع المسارات.

1. تقدير عدم اليقين: يتم حساب درجة عدم اليقين $U_t$ من تشتت المكافأة، وعدم اتفاق المسبر، والالتواء.
2. التمركز: يتم تمركز هذه الدرجة مقابل خط أساس جارٍ ($\bar{U}_t$) يتم الحفاظ عليه عبر المتوسط المتحرك الأسي (EMA).
3. ضبط درجة الحرارة: يتم ضبط درجة حرارة أخذ العينات $\tau_t$ بالنسبة إلى $\tau_{base}$:
   $$\tau_t = \text{clip}\left( \tau_{base} (1 + \lambda \tilde{U}_t), \tau_{min}, \tau_{max} \right)$$
   • التسخين: إذا كانت الدفعة الحالية أكثر عدم يقيناً من خط الأساس ($\tilde{U}_t > 0$)، تزداد $\tau_t$ لتشجيع الاستكشاف.
   • التبريد: إذا كانت الدفعة أكثر يقيناً ($\tilde{U}_t < 0$)، تنخفض $\tau_t$ لتشجيع الاستغلال.

إجراء التدريب

تتبع حلقة التدريب هيكل المسبر–التدريب (probe–train):

1. أخذ عينة من مجموعة مسبار عند $\tau_{base}$.
2. حساب إحصائيات المجموعة وتحديث حالة وحدة التحكم ($\epsilon_{adaptive}$ و $\tau_t$).
3. إعادة أخذ عينات من مسارات التدريب باستخدام $\tau_t$ الجديدة.
4. تحديث السياسة باستخدام هدف بديل GRPO مع $\epsilon_{adaptive}$ التكيفي.
5. حمل انحراف KL المقاس خطوة بخطوة إلى الخطوة التالية.

3. المساهمات الرئيسية

1. القص التكيفي: $\epsilon$ مدرك للإحصائيات يضبط منطقة الثقة ديناميكياً بناءً على تشتت المكافأة، والالتواء، وعدم اتفاق المسبر، وإنتروبيا السياسة، وانحراف KL، مما يلغي الحاجة إلى أنصاف أقطار قص ثابتة.
2. التحكم المزدوج بالمسبر المشترك: تصميم مبتكر حيث تقود مرحلة مسبر واحدة كلاً من حجم التحديث (القص) واستراتيجية الاستكشاف (درجة الحرارة)، مما يحقق توازناً أفضل بين الاستكشاف والاستقرار دون الحاجة إلى ناقد (critic) للقيمة.
3. مكاسب متسقة: أظهر تحسينات عبر تسعة معايسات (benchmarks) باللغتين الإنجليزية والصينية في مجالات الرياضيات والعلوم (STEM) تحت ميزانيات توليد رموز (tokens) متساوية، مع نجاح الانتقال إلى عائلات نماذج مختلفة (Llama-3-8B, Gemma-2-9B).

4. النتائج التجريبية

قيم المؤلفون AGPO على نماذج Qwen2.5-14B، و Llama-3-8B، و Gemma-2-9B عبر تسعة معايسات (GSM8K, MATH, OCW, SAT, MMLUSTEM, CodeContests, CMATH, GaokaoMath-Cloze, GaokaoMath-QA).

• الأداء: في نموذج Q2.5-14B، حقق AGPO نسبة 67.3% في GSM8K و 40.5% في MATH.
  • يمثل هذا زيادة قدرها 8.3 نقطة مئوية (pp) عن PPO القياسي و 1.4 نقطة مئوية (pp) فوق أقوى عملية استبعاد (ablation) (وهي AGPO مع القص التكيفي فقط).
  • تفوق AGPO على جميع النماذج المرجعية (PPO, Adaptive-KL PPO, DPO, fixed-clip GRPO) في جميع المعايسات التسعة.
• الكفاءة: لم يتسبب AGPO في عبء إضافي يذكر مقارنة بـ GRPO (انخفاض في الإنتاجية بنسبة 3% تقريباً) ولكنه ظل أسرع بـ ~1.5 مرة في الإنتاجية و أسرع بـ ~1.6 مرة في وقت الجدار (wall-clock time) للوصول إلى الدقة المستهدفة (65% في GSM8K) مقارنة بـ PPO.
• الانتقال عبر النماذج: كانت المكاسب متسقة عبر Llama-3-8B و Gemma-2-9B، مما يؤكد أن الطريقة ليست مقتصرة على عائلة نماذج واحدة.
• دراسات الاستبعاد (Ablation Studies):
  • ساهم كل من القص التكيفي و ATS بشكل إيجابي؛ حيث أدى حذف أي منهما إلى انخفاض الأداء.
  • المتانة: ظلت الطريقة مستقرة عند استخدام مقدرات تشتت قوية (MAD, IQR) بدلاً من الانحراف المعياري، خاصة للمكافآت الثنائية أو ذات الذيول الثقيلة.
  • أهمية الإشارة: أكدت اختبارات الاستبعاد (leave-one-out) أن جميع الإشارات الأربع (التشتت، الالتواء، إنتروبيا المسبر، KL خطوة بخطوة) تساهم في كل من الدقة واستقرار التدريب.

5. الأهمية والقيود

الأهمية:
تضع الورقة البحثية AGPO كخطوة مهمة نحو تقليل الطبيعة "المعتمدة على الضبط المكثف" لـ RLHF. من خلال استخدام إحصائيات المجموعة المرصودة للتحكم التلقائي في كل من حجم التحديث والاستكشاف، يوفر AGPO بديلاً خالياً من الناقد يتسم بالكفاءة الحسابية والمتانة. ويؤكد المؤلفون أن هذا النهج يستهدف معايسات الاستنتاج حيث يكون التوازن بين الاستكشاف والاستقرار أمراً حاسماً.

القيود:
يشير المؤلفون بتواضع إلى أن AGLO يعتمد على إحصائيات مستقرة معقولة على مستوى المجموعة. قد تواجه الطريقة تحديات في سيناريوهات:

• سوء تحديد المكافأة (reward misspecification).
• اختراق المكافأة (reward hacking).
• المكافآت الشحيحة للغاية أو الضوضائية بشكل عدائي.

تخلص الورقة إلى أنه بينما التنفيذ الحالي فعال، فإن التعامل مع ظروف المكافأة القصوى هذه يظل اتجاهاً مفتوحاً للبحوث المستقبلية.