ملخص تقني: تحسين السياسة التخلفي (HPO) لتدريب النماذج اللغوية الكبيرة ذات المكافآت المتناثرة

1. بيان المشكلة

يتقصى البحث في نمط فشل محدد لـ "تحسين السياسة النسبي للمجموعات" (GRPO) عند تطبيقه على النماذج اللغوية الكبيرة (LLMs) تحت أنظمة المكافآت القابلة للتحقق والمتناثرة (على سبيل المثال، مهام الاستدلال حيث يتم إنتاج استجابات صحيحة في جزء صغير فقط من العينات). حدد المؤلفون انحيازين مترابطين يؤديان إلى زعزعة استقرار التدريب في هذا الإعداد:

1. عدم توازن الإشارة (الهيمنة السلبية): في سيناريوهات المكافأة المتناثرة، غالبًا ما تولد السياسة الأولية استجابات غير صحيحة في الغالب. وبناءً عليه، فإن غالبية المسارات التي يتم أخذ عينات منها تقع تحت المتوسط المجموعاتي، مما يؤدي إلى تكرار عالٍ للقيم الميزة (advantages) السلبية ($p_- > p_+$). إن المعاملة المتماثلة لهذه العينات السلبية الوفيرة يمكن أن تطغى على الإشارات الإيجابية النادرة، مما يؤدي إلى كبح مسارات الاستدلال المفيدة ولكن المشوبة بالضجيج.
2. انحياز طول الاستجابة: يقوم نظام GRPO القياسي بتطبيع الخسارة (loss) بناءً على طول كل استجابة فردية ($1/|\tau_i|$). وهذا يخلق علاقة عكسية بين طول الاستجابة وحجم التحديث:
   • الاستجابات الصحيحة القصيرة تتلقى تدرجات (gradients) إيجابية كبيرة بشكل غير متناسب، مما يحيز النموذج نحو الإيجاز.
   • الاستجابات الخاطئة الطويلة تتلقى تدرجات سلبية صغيرة بشكل غير متناسب، مما يفشل في معاقبة الإخفاقات المطولة بشكل كافٍ.
   • هذا التفاعل يجعل ضغط التحسين معتمدًا على كل من المكافأة والطول، وهو أمر مثير للقلق بشكل خاص في مهام الاستدلال حيث يرتبط الطول بعمق البحث أو الشرح.

2. المنهجية

يقترح المؤلفون تحسين السياسة التخلفي (HPO)، وهو تعديل بسيط على هدف GRPO مصمم لمعالجة هذه الانحيازات من خلال آليتين:

2.1 HPO الثابت (Fixed HPO)

يقدم HPO تغييرين هيكليين على هدف GRPO:

• تطبيع متوسط الطول (Mean-Length Normalization): بدلاً من تطبيع كل استجابة بطولها الخاص ($|\tau_i|$)، يقوم HPO بتطبيع الدفعة (batch) بأكملها باستخدام متوسط طول الاستجابة ($|\bar{\tau}|$). هذا يزيل العلاقة العكسية بين حجم التحديث وطول الاستجابة، مما يضمن معاقبة الاستجابات الخاطئة الطويلة بشكل مناسب وعدم هيمنة الاستجابات الصحيحة القصيرة على التدرج.
• الوزن التخلفي غير المتماثل (Asymmetric Hysteric Weighting): يتم قياس تحديثات تدرج السياسة بشكل غير متماثل بناءً على إشارة الميزة ($\hat{A}_i$):
  • الميزات الإيجابية ($\hat{A}_i \geq 0$) تحتفظ بكامل وزنها (العامل = 1).
  • الميزات السلبية ($\hat{A}_i < 0$) يتم تخفيض وزنها بواسطة عامل تخلفي $\alpha \in [0, 1]$.
  • يصبح دالة الهدف:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    حيث $w_i = 1$ إذا كان $\hat{A}_i \geq 0$، و $w_i = \alpha$ خلاف ذلك.

2.2 HPO التكيفي (A-HPO)

إدراكًا بأن $\alpha$ الأمثل يعتمد على نظام التدريب (يتطلب تخلفًا أقل مع تحسن السياسة)، قدم المؤلفون A-HPO. يقوم هذا المتغير بتعديل $\alpha$ ديناميكيًا بناءً على إحصائيات إشارة الدفعة الحالية:

• يقوم بتقدير نسبة تردد الميزات الإيجابية إلى السلبية ($\hat{p}_+ / \hat{p}_-$).
• يتم ضبط الوزن التكيفي كما يلي:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• الآلية: عندما تهيمن العينات السلبية (النظام المتناثر)، تكون $\hat{p}_+ / \hat{p}_-$ صغيرة، مما يؤدي إلى انخفاض $\alpha$ وتخفيف التحديثات السلبية. ومع تحسن السياسة وتوازن التوزيع، يقترب $\alpha$ من 1، مستعيدًا التحديث المتماثل. هذا يتجنب الضبط اليدوي لـ $\alpha$ ثابت.

3. المساهمات الرئيسية

1. تحديد أنماط الفشل: يربط البحث صراحةً بين عدم استقرار GRPO في أنظمة المكافآت المتناثرة وبين الجمع بين هيمنة الميزة السلبية وتطبيع طول الاستجابة.
2. خوارزمية HPO: هي استكمال (interpolation) ببارامتر واحد بين التعلم "الإيجابي فقط" (الذي يتجاهل التغذية الراجعة السلبية) والتحديثات المتماثلة بالكامل. وهي تجمع بين تطبيع متوسط الطول والوزن غير المتماثل.
3. A-HPO: قاعدة خفيفة وتكيفية تضبط الوزن التخلفي تلقائيًا بناءً على إحصائيات إشارة مستوى الدفعة، مما يلغي الحاجة إلى البحث اليدوي عن المعلمات الفائقة (hyperparameters).
4. التحقق التجريبي: تُظهر دراسات الاستئصال (Ablation studies) أن السلوك الأمثل يقع بين أقصى الطرفين: التحديث "الإيجابي فقط" ($\alpha=0$) والتحديثات المتماثلة ($\alpha=1$)، مما يؤكد ضرورة وجود تخلف وسيط.

4. النتائج التجريبية

قيم المؤلفون HPO و A-HPO في مهمتين: TeleLogs (تحليل السبب الجذري لشبكة 5G) و Countdown (بناء العمليات الحسابية)، باستخدام نماذج تتراوح أحجامها من 1.5 مليار إلى 7 مليارات معلمة.

• TeleLogs (Qwen2.5-1.5B):
  • حقق A-HPO مكافأة نهائية قدرها 0.84، متفوقًا على GRPO (0.73، +15%)، و GSPO (0.76، +11%)، و SAPO (0.80، +5%).
  • وصل A-HPO إلى مستويات مكافأة عالية بشكل أسرع بكثير (كفاءة العينات) مع الحفاظ على طول استجابة مماثل للنماذج المرجعية، متجنبًا "انهيار الطول" الذي تسببه طرق "الإيجابي فقط".
• Countdown (نماذج 1.5B–7B):
  • كانت المكاسب أكثر وضوحًا في مراحل التدريب المبكرة وفي التكوينات الأكثر صعوبة (Countdown-4 مع 4 أرقام) حيث تكون المكافآت متناثرة.
  • على سبيل المثال، في Llama3.1-3B مع Countdown-4، حسن A-HPO مكافأة الـ 200 خطوة من 0.40 (GRPO) إلى 0.54.
  • في الأنظمة المشبعة (مثل نماذج 7B في Countdown-3 الأسهل)، تقلصت فجوة الأداء، مما يشير إلى أن A-HPO يكون أكثر أهمية عندما لا تزال السياسة في مرحلة التعلم.
• دراسات الاستئصال (Ablation Studies):
  • أدى HPO الثابت مع $\alpha=0$ (الإيجابي فقط) إلى انهيار المخرجات إلى نصوص قصيرة جدًا (16 توكن) ومكافآت أقل (0.71).
  • أدى HPO الثابت مع $\alpha=1$ (المتماثل) إلى أداء أقل (0.72) بسبب الهيمنة السلبية.
  • كان أفضل أداء ثابت عند $\alpha \approx 0.6$، وهو ما طابقه A-HPO تلقائيًا دون ضبط.
  • أكد تحليل "توازن مساهمة البديل" (surrogate contribution balance) أن A-HPO يوازن بنجاح بين حجم مساهمات التحديث الإيجابية والسلبية، بينما يظل GRPO صاخبًا ومهيمنًا بالسلب.

5. الأهمية والادعاءات

يزعم البحث أن HPO و A-HPO يقدمان تعديلاً عمليًا ومنخفض التكلفة لـ GRPO يحسن بشكل كبير من الاستقرار وكفاءة العينات في التعلم التعزيزي (RL) للمكافآت المتناثرة للنماذج اللغوية الكبيرة.

• المبدأ الأساسي: يجادل المؤلفون أنه في أنظمة المكافآت المتناثرة، يجب استخدام تحديثات الميزة السلبية ولكن لا ينبغي الوثوق بها بشكل متماثل عندما تكون وفيرة للغاية.
• التوازن: تنجح الطريقة في منع كبح مسارات الاستدلال المفيدة بسبب الإخفاقات الوفيرة، مع تجنب السلوك المتدهور الناتج عن التخلص من الأدلة السلبية تمامًا.
• التكيف: يُقدم A-HPO كحل قوي يقوم تلقائيًا بتتبع النظام الوسيط بين "الإيجابي فقط" والمتماثل، متكيفًا مع تحول توزيع التدريب من المكافآت المتناثرة إلى المكافآت الكثيفة.

يضع هذا العمل HPO كتحسين ضروري لضبط النماذج اللغوية الكبيرة بكفاءة في الحوسبة عندما لا تتوفر مكافآت عملية كثيفة أو تغذية راجعة من "الناقد" (critic).