The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and The Channel, Not the Content, Decides What Works

=== ملخص تقني: "الغرفة المظلمة في قناة المكافأة" ===

1. بيان المشكلة

غالباً ما تتعلم وكلاء النماذج اللغوية الكبيرة (LLMs) ذات الأفق الطويل، المدربة باستخدام مكافآت النجاح المتفرقة، ببطء. أحد الحلول الشائعة هو الإشراف الكثيف لكل خطوة، وتحديداً مكافأة السياسة على التنبؤ بالملاحظة التالية (تقليل خطأ التنبؤ). وبينما يعد هذا الأمر مبرراً نظرياً من خلال تشكيل المكافأة القائم على الجهد (PBRS)، والذي يشير إلى أن مثل هذه المكافآت آمنة إذا كانت متسلسلة، إلا أن هذه الورقة تثبت أنه تحت نظام التحسين المستند إلى مجموعة التوزيع الطبيعي لـ Proximal Policy Optimization (GRPO)، يفشل هذا الحل بشكل كارثي.

المشكلة الجوهرية هي ظهور ما يسمى بـ "الغرفة المظلمة" (Dark Room): حيث يدفع المحسن الوكيل إلى حالة امتصاص متدهورة، حيث يتراجع الوكيل إلى سلوكيات منخفضة الإنتروبيا وعالية القدرة على التنبؤ لتعظيم دقة التنبؤ، مما يؤدي إلى صفر نجاح في المهمة. يحدث هذا رغم أن إشارة المكافأة مقيدة وآمنة نظرياً. تبحث الورقة في سبب حدوث ذلك، وتحدد الآلية المحددة للفشل، وتحدد ما إذا كان الفشل نابعاً من محتوى الإشارة أم من قناة التوصيل.

2. المنهجية

تستخدم الدراسة تصميماً تجريبياً مضبوطاً عبر ثلاثة بيئات (ALFWorld، وWebShop، وبيئة اصطناعية تسمى HiddenRule-Gym) وثلاثة أحجام للنماذج (Qwen3-1.7B، و4B، و8B).

• تصميم الإشارة: يتم إدراج كتلة <predict> قابلة للتحقق في كل خطوة. الإشارة هي إشارة في شكل فرق: $r_{pred}(t) = \lambda(\Phi_t - \Phi_{t-1})$، حيث $\Phi$ هو درجة مستخرجة من القواعد لمقارنة التنبؤ بالملاحظة التالية الفعلية.
• إطار التدريب: يستخدم الوكلاء خوارزمية GRPO، التي تقوم بتطبيع المزايا (advantages) ضمن مجموعة من المسارات عن طريق طرح المتوسط والقسمة على الانحراف المعياري ($\sigma$).
• المصفوفة التجريبية: أجرى المؤلف 74 ذراع تدريب مسجلة مسبقاً. ومن المهم أنها تباينت فقط في آلية توصيل الإشارة مع تثبيت محتوى الإشارة، والنموذج، والبيئة، والميزانية.
  • قناة المكافأة (Reward Channel): يتم حقن الإشارة كمكافأة تشكيل (shaping reward).
  • قناة الخسارة (Loss Channel): تُستخدم الإشارة كخسارة Cross-Entropy (CE) مساعدة تعتمد على الإجبار المعلمي (teacher-forced).
  • ضوابط التحكم: تتضمن أذرع "النائب" (placebo) (مثل النصوص الذهبية المبعثرة، أو المفردات العشوائية، أو الرموز العشوائية)، والتطبيع المعتمد على المتوسط فقط (إزالة $\sigma$)، وتصفية المجموعات التي "فشلت بالكامل".

3. النتائج الرئيسية والآليات

أ. آلية الانهيار (الغرفة المظلمة)

تحدد الورقة نمط فشل جبري محدد في GRPO عندما تُستخدم مكافآت التنبؤ الكثيفة مع تطبيع الانحراف المعياري:

1. مجموعات الفشل الكلي: في إعدادات المكافأة المتفرقة، غالباً ما تفشل مجموعات من المسارات جميعها في المهمة (تعيد $R_i = C$).
2. هيمنة التباين: في هذه المجموعات التي فشلت بالكامل، المصدر الوحيد للتباين داخل المجموعة هو حد التشكيل الصغير بمقياس $\epsilon$ (أي $\lambda(\Phi_t - \Phi_{t-1})$).
3. تضخيم الدرجة المعيارية (Z-Score): تقوم GRPO بالقسمة على الانحراف المعياري للمجموعة ($\sigma$). عندما يهيمن حد التشكيل على التباين، فإن التطبيع يلغي معامل التشكيل $\lambda$.
   • الفرضية 1: تصبح الميزة المطبعة $\hat{A}_i \approx (s_i - \bar{s}) / \sigma_s$، وهي مستقلة عن $\lambda$.
4. النتيجة: يتم تضخيم إشارة محدودة لتصبح مزايا كاملة النطاق. يفسر المحسن التباينات الصغيرة في التنبؤ على أنها تدرجات ضخمة، مما يدفع السياسة لتقليل خطأ التنبؤ على حساب أداء المهمة. يدخل الوكيل في "غرفة مظلمة" حيث يتنبأ بدقة مثالية (الدقة $\to$ 1.0) ولكنه ينجح في المهمة بنسبة 0% من الوقت.

ب. معيار التباين-المسار (Variance-Trajectory Criterion)

تقترح الورقة معيار سلامة: الإشارة الكثيفة تكون خطيرة تحت التطبيع بالانحراف المعياري إذا كانت تحافظ على التباين داخل المجموعة خلال المرحلة التي يهيمن فيها ذلك التباين على ميزة المجموعة.

• هذا المعيار يفسر حالات الانهيار المرصودة ويفسر بنجاح حالات الفشل في الحالات التي تم اختبارها مسبقاً.
• يميز بين الإشارات التي يتلاشى تباينها (آمنة) وتلك التي تحافظ على التباين في مجموعات الفشل الكلي (خطيرة).

ج. تأثير القناة (المحتوى مقابل التوصيل)

تتحدى الورقة الافتراض بأن المكاسب من أهداف النموذج العالمي المساعدة تأتي من محتوى التنبؤ.

• فشل قناة المكافأة: كل نسخة من إشارة التنبؤ التي يتم تقديمها عبر قناة المكافأة (مع التطبيع بالانحراف المعياري) تنهار أو تؤدي إلى مستوى الأساس فقط.
• ديناميكيات قناة الخسارة: عندما يتم تقديم نفس الإشارة كخسارة CE مساعدة، غالباً ما يتحسن الأداء، ولكن المكسب لا يعزى إلى محتوى الإشارة.
• سلم النائب (The Placebo Ladder): من الأهمية بمكان أن النماذج النائبة الخالية من المحتوى (سلاسل عشوائية، ذهب مبعثر) التي يتم تقديمها عبر قناة الخسارة المساعدة، تعمل بمستوى يضاهي أو يتفوق على الإشارة "الذهبية" (الحقيقية).
  • الاستنتاج: المكسب ليس من محتوى النموذج العالمي، بل من التحديث المساعد نفسه الذي يعمل كمنظم (regularizer). "المحتوى" غير فعال؛ "القناة" (آلية التحديث) هي ما يهم.

د. المقياس والازدواجية (Bistability)

• مقياس 4B: تنهار قناة المكافأة؛ أما قناة الخسارة المساعدة فهي آمنة، لكن مكاسب الأداء مدفوعة بآلية التحديث (التنظيم) وليس بمحتوى الإشارة، حيث أن النماذج النائبة الخالية من المحتوى تضاهي أو تتجاوز الإشارات الذهبية.
• مقياس 8B: تصبح قناة الخسارة المساعدة ثنائية الاستقرار (bistable). مع إشارات ذهبية بكامل الوزن، تنهار اثنتان من أصل ثلاث بذور (seeds) في الغرفة المظلمة، بينما تهرب واحدة إلى أفضل نتيجة في الدراسة. تظل الأذرع الخالية من المحتوى سليمة. يشير هذا إلى أنه في المقاييس الأكبر، يقدم محتوى الإشارة الحقيقي خطراً للتسبب في الانهيار، وهو ما لا تفعله الإشارات العشوائية، حتى داخل قناة الخسارة "الآمنة".

4. المساهمات الرئيسية

1. تحديد مكان الآلية: إثبات سببي بأن حد الانحراف المعياري في GRPO يضخم مكافآت التشكيل المحدودة إلى ضغط كارثي في مجموعات الفشل الكلي، وهو ما تمت صياغته في الفرضية 1.
2. معيار السلامة: معيار "التباين-المسار" الذي يتنبأ متى ستسبب الإشارة الكثيفة انهياراً، وقد تم التحقق من صحته عبر اختبارات استشرافية مسجلة مسبقاً.
3. نسب القناة (Channel Attribution): مصفوفة مضبوطة تثبت أن المكاسب من أهداف النموذج العالمي المساعدة تعزى إلى آلية التحديث (التنظيم) وليس إلى المحتوى الدلالي للتنبؤ، كما أظهرت النماذج النائبة الخالية من المحتوى تفوقها على الإشارات الذهبية.
4. رسم حدود الفشل: توصيف دقيق لأنماط الفشل عبر المقاييس (1.7B إلى 8B) والبيئات، بما في ذلك اكتشاف الازدواجية المعتمدة على البذرة عند مقياس 8B.

5. الأهمية والادعاءات

تدعي الورقة أنها تقدم "رواية مضبوطة" حول متى تكون قنوات المكافأة خطيرة. تكمن أهميتها الأساسية في:

• دحض افتراضات السلامة: إظهار أن ضمانات سلامة PBRS لا تصمد تحت التطبيع الجماعي عندما تهيمن الإشارة على التباين في مجموعات المكافأة المتفرقة.
• إعادة تعريف الأهداف المساعدة: المجادلة بأن نجاح خسائر النموذج العالمي المساعدة في الأدبيات السابقة قد يعود إلى أثر التنظيم للتحديث نفسه، وليس إلى دقة التنبؤ للنموذج.
• الإرشاد العملي: التوصية باستخدام التطبيع المعتمد على المتوسط فقط (إزالة حد الانحراف المعياري) أو تصفية مجموعات الفشل الكلي كحلول هيكلية لقناة المكافأة. وتنصح بعدم خلط تشكيل التنبؤ الذاتي بصيغة الفرق مع GRPO الذي يستخدم التطبيع بالانحراف المعياري دون هذه التخفيفات.

يظل المؤلف متواضعاً بشأن التعميم، مشيراً إلى أن النتائج خاصة بعائلة Qwen3 وإطار عمل GRPO، وأن ازدواجية الـ 8B تشير إلى مخاطر تعتمد على المقياس تتطلب مزيداً من البحث. لا تقترح الورقة بنية وكيل جديدة، بل تقدم إطاراً تشخيصياً ومجموعة من الحدود التجريبية لتقنيات الإشراف الكثيف الحالية.