Negative Advantage Is a Double-Edged Sword: Calibrating Advantage in GRPO for Deep Search

2. المنهجية: CalibAdv

يقترح المؤلفون إطار عمل CalibAdv، وهو إطار لمعايرة المزايا يتكون من ثلاثة محاور، صُمم للتخفيف من حدة العقوبات الخاطئة وإعادة توازن إشارات التدريب.

أ. العقاب اللين للمزايا في الخطوات المتوسطة

لمعالجة سوء تخصيص العقوبات، يقدم CalibAdv آلية دقيقة لضبط المزايا السلبية بناءً على صحة خطوات الاسترجاع المتوسطة.

• الوثائق الفضية (Silver Documents): بالنسبة لسؤال معين، تُعامل الوثائق التي تم استرجاعها بواسطة المسارات (rollouts) الصحيحة كـ "وثائق فضية" (بدائل للحقيقة الأرضية).
• درجة الصحة ($c_s$): بالنسبة لخطوة متوسطة في مسار خاطئ، يتم حساب درجة الصحة كنسبة الوثائق المسترجعة التي تتداخل مع الوثائق الفضية.
• التخفيف (Attenuation): إذا كانت الخطوة المتوسطة تمتلك ميزة سالبة ($A < 0$) ولكن لديها درجة صحة عالية، يتم تقليل مقدار العقوبة:
  $$\tilde{A}_s = A_s \cdot (1 - c_s)$$
  يضمن ذلك عدم معاقبة إجراءات البحث المفيدة بشدة لمجرد أن الإجابة النهائية كانت غير صحيحة.

ب. إعادة توازن المزايا لخطوة الإجابة النهائية

لمكافحة انهيار التدريب الناتج عن هيمنة الإشارات السلبية، تقوم الطريقة بإعادة توازن نسبة المزايا الإيجابية إلى السلبية خصيصًا عند خطوة الإجابة النهائية.

• حساب النسبة: لكل مجموعة من المسارات، يتم حساب النسبة ($r_g$) للقيمة المطلقة للمزايا السلبية إلى المزايا الإيجابية.
• التحجيم (Scaling): يتم رفع حجم المزايا الإيجية بمقدار هذه النسبة (يتم التحكم فيه بواسطة معامل $\lambda$) لاستعادة التوازن:
  $$\tilde{A}^+_g = \lambda \cdot r_g \cdot A^+_g$$
  يمنع هذا النموذج من الانغمار بالإشارات السلبية، مما يؤدي إلى انهيار الإنتروبيا (entropy collapse).

ج. فك ارتباط الرموز الخاصة (Decoupling Special Tokens)

لاحظ المؤلفون أن رمز <think> (المستخدم لتحديد عملية التفكير) هو ضحية متكررة لعدم توازن المزايا، مما يؤدي إلى انهيار التنسيق (format collapse).

• الاستراتيجية: بدلاً من مطالبة النموذج بتوليد <think>، يتم إلحاقه بالمطالبة (prompt) كبادئة ثابتة.
• الأثر: بما أن النموذج لا يولد هذا الرمز، فلا يتم تخصيص أي إشارة ميزة له، مما يمنع تقلبات الاحتمالية التي قد تؤدي إلى تدهور التنسيق.

3. المساهمات الرئيسية

1. تشخيص إخفاقات GRPO: تقدم الورقة أدلة تجريبية تربط انهيار التدريب في البحث العميق بهيمنة المزايا السلبية والتخصيص الخشن (coarse-grained) للخطوات الصحيحة المتوسطة.
2. إطار عمل CalibAdv: طريقة مبتكرة لا تتطلب تسميات توضيحية (annotation-free)، تقوم بمعايرة المزايا باستخدام الإشارات الداخلية (الوثائق الفضية المستمدة من المسارات الصحيحة) بدلاً من الحاجة إلى تسميات من نماذج لغوية كبيرة خارجية أو تسميات للأسئلة الفرعية.
3. الاستقرار والأداء: نجحت الطريقة في منع الانهيار الكارثي للتدريب مع تحسين أداء الإجابة على الأسئلة بشكل كبير عبر أحجام ومعماريات مختلفة من النماذج.

4. النتائج التجريبية

قام المؤلفون بتقييم CalibAdv على ثلاثة نماذج (Qwen2.5-3B, Qwen2.5-7B, Llama-3.2-3B) عبر سبعة معايير مرجعية (بما في ذلك HotpotQA, 2WikiMultiHopQA, Natural Questions، إلخ).

• تحسين الأداء: حقق CalibAdv متوسط تحسن نسبي قدره 11.80% في درجة F1 مقارنة بـ GRPO القياسي (Search-R1).
• استقرار التدريب:
  • غالبًا ما عانت GRPO القياسية والنماذج المرجعية (مثل SimpleTIR و LLD) من انهيار التدريب (كما هو موضح بانخفاض حاد في الأداء أو ارتفاع في الارتباك/Perplexity) خلال 50-200 خطوة.
  • نجح CalibAdv في التدريب حتى النهاية ("لا يوجد انهيار") في جميع النماذج ومجموعات البيانات.
  • قلل من "نسبة الارتباك العالية" (المخرجات ذات الارتباك > 50، مما يشيد بالهراء) إلى 0.00%.
• دراسات الاستبعاد (Ablation Studies):
  • أدى إزالة العقاب اللين (Soft Penalization) إلى انخفاض في درجة F1 وزيادة في معدل الخطوات التي عوقبت بشكل خاطئ.
  • أدت إزالة إعادة توازن المزايا (Advantage Rebalancing) إلى عودة انهيار التدريب وارتفاع نسب الارتباك.
  • أدت إزالة الرمز المفكك (Decoupled Token) إلى عدم استقرار التنسيق.
• الكفاءة: وُجد أن وسيط "الوثيقة الفضية" المستخدم لتسجيل الصحة كان موثوقًا للغاية (89% تحقق بشري) وأكثر فعالية من حيث التكلفة بشكل كبير من استخدام نموذج لغوي كبير خارجي (DeepSeek-V3.2) لتقييم الخطوات، مما وفر حوالي 67% من وقت التشغيل و200% من تكلفة وحدة معالجة الرسومات (GPU).

5. الأهمية

يسلط هذا العمل الضوء على أنه بينما تعتبر المزايا السلبية ضرورية لـ RLVR، إلا أنها تعمل كـ "سلاح ذو حدين" في المهام متعددة الخطوات. إذا لم تتم معايرتها بعناية، يمكنها تدمير القدرات اللغوية الطبيعية للنموذج.

• الأثر العملي: يتيح CalibAdv التدريب القوي لوكلاء البحث العميق دون الحاجة إلى تسميات توضيحية متوسطة مكلفة أو عينات معقدة ذات بنية شجرية.
• القدرة على التعميم: النهج مستقل عن النموذج وفعال عبر أحجام المعلمات المختلفة، مما يشير إلى أن معايرة المزايا هي مطلب أساسي لتوسيع نطاق التعلم التعزيزي (RL) في مهام الاستدلال المعقدة متعددة الخطوات.
• الاتجاه المستقبلي: إنه ينقل النموذج من مجرد "معاقبة الإجابات الخاطئة" إلى "معايرة إشارة التعلم" لضمان تعزيز السلوكيات المتوسطة الصحيحة حتى في وجود أخطاء نهائية.