ملخص تقني: GRPO المصحح للضجيج: من المكافآت الضوضائية إلى التدرجات غير المنحازة

1. بيان المشكلة

تتناول الورقة ثغرة حرجة في التعلم المعزز من المكافآت القابلة للتحقق (RLVR)، وهو نموذج يُستخدم بشكل متزايد لمواءمة النماذج اللغوية الكبيرة (LLMs) في المجالات الصارمة مثل الرياضيات والبرمجة. وبينما يستبدل RLVR التغذية الراجعة البشرية الذاتية بإشارات آلية وموضوعية (مثل تنفيذ الكود، أو التحقق من المطابقة التامة)، فإن هذه الموثقات (verifiers) غير مثالية؛ فهي تعاني من ضجيج منهجي، يشمل:

• الإيجابيات الكاذبة (False Positives): قبول الحلول غير الصحيحة بسبب الصياغة المقنعة أو التحيزات في أنظمة "النموذج اللغوي كحكم" (LLM-as-a-judge).
• السلبيات الكاذبة (False Negatives): رفض الإجابات المتكافئة رياضياً بسبب الاختلافات في التنسيق أو قيود المحلل (parser).

يصيغ المؤلفون هذا كسيناريو يكون فيه المكافأة المرصودة $\tilde{r}$ ملاحظة ضوضائية لمكافأة حقيقية كامنة $r^*$، مشوهة بواسطة قناة ضجيج بيرنولي تعتمد على الاستعلام (query). وتتمثل المشكلة الجوهرية في أن خوارزمية تحسين المجموعة النسبي للسياسة (GRPO) ومتغيرها Dr.GRPO، عند تطبيقهما مباشرة على هذه المكافآت الضوضائية، يعانيان من:

1. تضاؤل الإشارة (Signal Attenuation): حيث تتقلص إشارة التعلم (الميزة/advantage) ضربياً بواسطة عامل الاحتفاظ بالضجيج $(1 - \rho_+ - \rho_-)$.
2. التقارب دون الأمثل (Suboptimal Convergence): يثبت التحليل النظري أنه بدون تصحيح، تتقارب السياسة نحو نقطة ثابتة أسوأ بشكل صريح من السياسة المثلى التي يمكن تحقيقها بالمكافآت النظيفة.
3. عدم تطابق التباين (Variance Mismatch): في GRPO، يتفاعل التقييس القياسي (standardization) عن طريق الانحراف المعياري بشكل سيئ مع الضجيج، مما يؤدي إلى "تحيز الصعوبة" الذي يقلل الأداء بشكل أكبر.

2. المنهجية

الحل المقترح هو إطار عمل GRPO/Dr.GRPO المصحح للضجيج الذي ينمذج تشوه المكافأة صراحةً ويطبق آلية لإزالة الانحياز مستوحاة من التعلم باستخدام الملصقات الضوضائية في التعلم الخاضع للإشراف.

أ. النمذجة النظرية

ينمذج المؤلفون المكافأة المرصودة $\tilde{{r}}$ كدالة للمكافأة الحقيقية $r^*$ وقناة ضجيج تتميز بـ:

• $\rho_+(q)$: معدل الإيجابيات الكاذبة (احتمال ملاحظة 1 عندما تكون $r^*=0$).
• $\rho_-(q)$: معدل السلبيات الكاذبة (احتمال ملاحظة 0 عندما تكون $r^*=1$).

وقد استنتجوا أن توقع الميزة الضوضائية يتضاءل بالعامل $(1 - \rho_+ - \rho_-)$، مما يؤدي إلى إشارة تدرج أضعف وسقف تقارب أدنى مقارنة بالحالة الخالية من الضجيج.

ب. آلية التصحيح

لاستعادة تدرج غير منحاز، تستخدم الطريقة استراتيجية تصحيح من خطوتين:

1. إزالة انحياز المتوسط (تصحيح ناتاراجان - Natarajan Correction):
   يتم تحويل المكافأة المرصودة إلى مُقدّر غير منحاز $\hat{r}$ للمكافأة الحقيقية $r^*$:
   $$\hat{r} = \begin{cases} \frac{1 - \rho_+}{1 - \rho_+ - \rho_-} & \text{إذا كان } \tilde{r} = 1 \\ \frac{-\rho_+}{1 - \rho_+ - \rho_-} & \text{إذا كان } \tilde{r} = 0 \end{cases}$$
   هذه الخطوة تصحح الانحياز في إشارة متوسط المكافأة.

2. تعديل التباين/التقييس:
   يوضح المؤلفون أن إعادة التوصيف الخطي البسيطة غير كافية لـ GRPO لأن التقييس (القسمة على الانحراف المعياري) يتفاعل مع الضجيج.

• بالنسبة لـ Dr.GRPO: بما أن Dr.GRPO يزيل مقسم التباين، فإن تطبيق إزالة انحياز المتوسط وحده يكفي لاستعادة تدرج المجتمع النظيف.
• بالنسبة لـ GRPO: تقدم الطريقة هدفاً معمماً حيث يتم استبدال تقييس الانحراف المعياري $\sigma_k(q)$ بمُقدّر $M_k(q)$. يقترح المؤلفون تقدير التباين الحقيقي للمكافأة النظيفة عن طريق حساب تباين المكافآت منزوعة الانحياز وطرح التباين الإضافي الناتج عن عملية التصحيح العشوائية نفسها.

ج. التنفيذ العملي (الخوارزمية 1)

تعمل الخوارزمية العملية على مرحلتين:

1. تقدير معدل الضجيج: تُستخدم مجموعة فرعية صغيرة من البيانات المحجوزة لتقدير معدلات الانقلاب العالمية ($\rho_+, \rho_-$). يتم ذلك بمقارنة مخرجات نموذج المكافأة مع الحقائق الأرضية المعروفة (على سبيل المثال، عن طريق تشويه الإجابات الصحيحة اصطناعياً أو استخدام مجموعات بيانات موثقة).
2. التدريب القوي: خلال حلقة التدريب الرئيسية، تُستخدم المعدلات المقدرة لحساب المكافآت منزوعة الانحياز $\hat{r}$ ومصطلح التقييس المعدل $M_k(q)$ قبل حساب الميزة وتحديث السياسة.

3. المساهمات الرئيسية

1. التحليل الرسمي للضجيج في GRPO: توفر الورقة دراسة نظرية صارمة تثبت أن تشوه المكافأة يقلل من إشارة التعلم ويؤدي إلى التقارب عند نقطة ثابتة أسوأ بشكل صريح ($p^*_{noisy} < p^*_{noiseless}$). كما توضح كيفية تفاعل الضجيج مع حساب الميزة النسبية للمجموعة.
2. تصحيح الضجيج المنهجي: يقترح المؤلفون خوارزمية لإزالة الضجيج تكيّف نظرية تصحيح الملصقات الضوضائية مع سياق RLVR. ويوفرون قاعدة تحديث ذات صيغة مغلقة وحدود تحسن رتيبة، مما يضمن أن الخوارزمية المصححة تستعيد التدرج غير المنحاز للهدف النظيف.
3. ضمانات تعقيد العينات: تشتق الورقة حدوداً صريحة لخطأ التقدير لمعدلات الانقلاب، مما يظهر أن التصحيح يظل فعالاً حتى عند تقدير المعدلات من بيانات محدودة، بشرما توفر مجموعة معايرة متوازنة.
4. التحقق التجريبي: تم التحقق من صحة طريقتهم عبر مهام توليد الرياضيات (GSM8K, MATH) والبرمجة (APPS) باستخدام مقاييس نماذج مختلفة (Qwen, Llama).

4. النتائج التجريبية

قيم المؤلفون طريقتهم تحت شرطين:

• الضجيج الاصطناعي (صحة الافتراض الكاملة):

  • تم تشويه المكافآت الحقيقية (Ground-truth) اصطناعياً بمعدلات انقلاب معروفة.
  • النتيجة: تفوقت النماذج المصححة للضجيج باستمرار على نماذج GRPO/Dr.GRPO القياسية. في بعض الحالات (مثل Llama-3.2-1B تحت ضجيج خفيف)، تجاوز النموذج المصحح حتى أداء النموذج المرجعي الخالي من الضجيج، مما يشير إلى فائدة تنظيمية محتملة.
  • الدراسة الاستقصائية (Ablation): أكدت التجارب أن "القص" (clipping) وحده (وهو تقنية استقرار شائعة) لا يصحح الانحياز المنهجي؛ فكلا من إزالة انحياز المتوسط وتعديل التباين ضروريان.

• التقدير الواقعي (الضجيج المجهول):

  • تم استخدام نماذج مكافأة مدربة مسبقاً (مثل AceMath-7B-RM, RM-Mistral-7B) وتم تقدير معدلات الانقلاب من مجموعة معايرة محجوزة.
  • مهام الرياضيات (GSM8K): حققت الطريقة تحسينات كبيرة في الدقة. على سبيل المثال، تحسن نموذج Llama-3.2-1B الموجه بواسطة AceMath-7B-RM من 52.52% إلى 59.21% (+6.7 نقطة مئوية). وأظهر Qwen3-0.6B مكاسب تزيد عن نقطتين عبر نماذج مكافأة مختلفة.
  • مهام البرمجة (APPS): رغم معدل الإيجابيات الكاذبة المرتفع للغاية لنموذج مكافأة الكود ($\rho_+ \approx 0.53$)، قدم التصحيح مكاسب ثابتة، وإن كانت متواضعة (على سبيل المثال، تحسن Qwen3-0.6B من 9.01% إلى 10.50%).

5. الأهمية والادعاءات

تدعي الورقة أنها تسد الفجوة بين تصحيح ضجيج الملصقات في التعلم الخاضع للإشراف وبين RLHF/RLVR الحديث. وتكمن أهميتها الأساسية في:

• الرؤية النظرية: إثبات أن الطرق القائمة على المجموعات تخفف بطبيعتها من بعض الضجيج، ولكن يلزم وجود آليات تصحيح محددة للوصول إلى الأمثل النظيف.
• الفائدة العملية: تقديم خوارزمية بسيطة قابلة للإضافة تسمح باستمرار تدريب RL بفعالية حتى مع وجود نماذج مكافأة غير مثالية وضوضائية، مما يقلل الاعتماد على مجموعات بيانات تحقق مثالية ومنسقة بدقة.
• القابلية للتوسع: من خلال تقدير معدلات الضوضبة من مجموعة معايرة صغيرة، تمكن الطريقة من إنشاء حلقات تغذية راجعة مؤتمتة وقابلة للتوسع في عمليات النشر الواقعية حيث تكون نماذج المكافأة معيبة بطبيعتها.

يظل المؤلفون متواضعين فيما يتعلق بالتداعقات المستقبلية، مشيرين إلى أنه بينما تحسن الطريقة الأداء، فإن هناك حاجة لدراسات واسعة النطاق مع نماذج أكبر ومجالات أوسع لتوصيف فائدتها بالكامل في خطوط الإنتاج. كما حددوا اتجاهات للعمل المستقبلي، مثل تقدير معدل الانقلاب المعتمد على الاستعلام وجداول التنظيم الواعية بالضجيج.