ملخص تقني: RC-GRPO للوكلاء ذوي الاستدعاء المتعدد للأدوات

1. بيان المشكلة

يمثل استدعاء الأدوات متعدد الخطوات تحديات كبيرة للنماذج اللغوية الكبيرة (LLMs) بسبب ندرة المكافآت وارتفاع تكلفة الاستكشاف. ويعد تحسين المجموعة النسبي (GRPO) طريقة شائعة للتعلم التعزيزي (RL) تلغي الحاجة إلى شبكة ناقد (critic) منفصلة، إلا أنه يعاني من نمط فشل حرج عند تطبيقه على وكلاء الأدوات متعددة الخطوات التي تم تهيئتها عبر الضبط الدقيق الخاضع للإشراف (SFT).

تكمن المشكلة الجوهرية في "مفارقة المثالية" (paradox of perfection). فعندما يتم تدريب النموذج (LLM) عبر الـ SFT على عروض توضيحية مثالية، فإنه يطور سياسة شديدة التمركز (prior) ذات مسار ذهبي قوي. وخلال تدريب GRPO، يؤدي هذا إلى انخفاض التنوع في مجموعات العينات (rollout groups)؛ حيث غالبًا ما تتلقى المسارات المتعددة التي يتم أخذ عينات منها مكافآت متطابقة (على سبيل المثال، جميعها 0 أو جميعها 1). وبناءً على ذلك، يقترب الانحراف المعياري داخل المجموعة ($\sigma_g$) من الصفر، مما يؤدي إلى تدهور إشارة الميزة (advantage signal) الموحدة للمجموعة ($A_j \approx 0$). وينتج عن ذلك تلاشي التدرجات (vanishing gradients) وتوقف التعلم، لا سيالما في البيئات ذات الإدراك الجزئي حيث يمكن أن تؤدي الثقة المحلية إلى سلوكيات متكررة وقصيرة الأمد.

2. المنهجية: RC-GRPO

يقترح المؤلفون RC-GRPO (تحسين المجموعة النسبي المشروط بالمكافأة)، وهو مسار يتكون من مرحلتين مصمم لمعاملة التنوع داخل المجموعة كمتغير يمكن التحكم فيه بدلاً من كونه نتاجاً عرضياً لدرجة حرارة أخذ العينات (sampling temperature).

المرحلة 1: الضبط الدقيق لسياسة المسار المشروطة بالمكافأة (RCTP)

قبل مرحلة التعلم التعزيزي (RL)، يتم ضبط النموذج اللغوي الأساسي ليصبح سياسة مسار مشروطة بالمكافأة (RCTP).

• بناء البيانات: يتم إنشاء مجموعة بيانات مختلطة الجودة عبر ربط المسارات برموز أهداف المكافأة المنفصلة (على سبيل المثال، <|high reward|> للنجاح، و <|low reward|> للفشل).
• الهدف: يتم تدريب النموذج على تعظيم احتمالية اللوغاريتم (log-likelihood) للأفعال المشروطة بكل من التاريخ ورمز المكافأة المحدد: $\pi_\theta(a_t | h_t, r)$.
• النتيجة: تتعلم السياسة توليد مسارات متميزة في الجودة عند الطلب. فالاشتراط بـ <|high reward|> يستحث الأفعال المثالية، بينما يولد <|low reward|> أنماط فشل معقولة.

المرحلة 2: GRPO المشروط بالمكافأة

تعمل الـ RCTP كتهيئة لمرحلة التعلم التعزيزي (RL).

• أخذ عينات محكوم: لكل مطالبة (prompt)، يتم توليد مجموعة من $G$ من المسارات. وخلافاً لـ GRPO القياسي، الذي يأخذ عينات من سياسة واحدة غير مشروطة، يقوم RC-GRPO بأخذ عينات من رمز مكافأة منفصل $r_j$ لكل مسار في المجموعة من توزيع ثابت $P_{sample}(r)$.
• التوليد المشروط: يتم توليد كل مسار $\tau_j$ مشروطاً برمز المكافأة الخاص به $r_j$ (أي $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$).
• حساب الميزة: نظرًا لأن المجموعة تحتوي على مسارات مشروطة بأنماط مكافأة مختلفة (عالية مقابل منخفضة)، يتم حقن التباين داخل المجموعة بشكل صريح. وهذا يضمن أن الميزة الموحدة للمجموعة $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ تظل غير متدهورة ومعلوماتية.
• دالة المكافأة: تُستخدم دالة مكافأة موحدة على مستوى المسار $R(\tau)$، وتُعرف بأنها حاصل ضرب اتساق الحالة ($R_{state}$) وتغطية الفعل الأساسي ($R_{action}$)، مما ينتج إشارة نجاح ثنائية (1 للنجاح، 0 للفشل).

3. المساهمات الرئيسية

1. إطار عمل RC-GRPO: تقديم نهج مشروط بالمكافأة يحول الاستكشاف إلى مشكلة توجيه يمكن التحكم فيها عبر رموز مكافأة منفصلة، مما يمنع مشكلة تلاشي الميزة في السياسات المتمركزة.
2. مسار من مرحلتين: سير عمل محدد يتضمن ضبط RCTP الدقيق على بيانات مختلطة الجودة يليه GRPO المشروط بالمكافأة، مما يضمن قدرة السياسة على إنتاج سلوكيات متنوعة موثوقة مطلوبة لتحديثات المجموعة النسبية الفعالة.
3. التحقق التجريبي: تجارب شاملة على تقسيم الخطوات المتعددة لـ Berkeley Function Calling Leaderboard v4 (BFCLv4) باستخدام LLaMA-3.1-8B-Instruct و Qwen2.5-7B-Instruct.
4. التحليل النظري والديناميكي:
   • نظرياً: تحليل قائم على التباين (الافتراضات 4.2 و s4.3) يوضح كيف ينهار GRPO القياسي عندما $\sigma_g \to 0$ بسبب سياسات SFT المتمركزة، بينما يضمن التكييف بالمكافأة حداً أدنى من التباين داخل المجموعة.
   • ديناميكياً: أدلة تظهر أن RC-GRPO يحسن الأداء مع تقليل اعتلاج السياسة (policy entropy)، مما يثبت أن المكاسب مدفوعة بالتباين المهيكل بدلاً من زيادة العشوائية.

4. النتائج التجريبية

تم تقييم الطريقة على تقسيم الخطوات المتعددة لـ BFCLv4.

• Qwen2.5-7B-Instruct: حقق مسار RC-GRPO الكامل دقة إجمالية بلغت 85.00%. وقد تفوق هذا بشكل كبير على النموذج الأساسي (11.25%)، وSFT+GRPO القياسي (48.75%)، بل وتجاوز جميع نماذج واجهة برمجة التطبيقات (API) مغلقة المصدر التي تم تقييمها (والتي حققت أفضلها، Opus-4.5، نسبة 61.25%).
• LLaMA-3.1-8B-Instruct: حققت الطريقة دقة بنسبة 48.75%، متفوقة على SFT+GRPO (35.00%) والنموذج الأساسي (0.00%).
• دراسات الاستئصال (Ablation Studies):
  • ضرورة RCTP: أدى إضافة التكييف بالمكافأة إلى تهيئة SFT قياسية إلى مكاسب ضئيلة. ومع ذلك، فإن الانتقال إلى التهيئة باستخدام RCTP تحت إطار RC-GRPO أدى إلى تحسينات هائلة (+38.75% على Qwen2.5-7B).
  • الآلية: كشف تحليل ديناميكيات التدريب أن RC-GRPO يحقق أداءً عالياً مع اعتلاج أقل وارتباط سلبي بين الاعتلاج والمكافأة، على عكس GRPO القياسي حيث يعتمد الأداء على الاعتلاج العالي.

5. الأهمية والادعاءات

يزعم البحث أن RC-GRPO يعالج قصوراً جوهرياً في تطبيق التعلم القائم على المجموعات للوكلاء الأقوياء الذين تم تهيئتهم عبر SFT: وهو انهيار إشارة التعلم بسبب نقص التنوع داخل المجموعة.

• التنوع المتحكم فيه: يوضح العمل أن التنوع في عينات الـ RL يمكن التحكم فيه صراحةً عبر رموز التكييف بدلاً من الاعتماد على درجة حرارة أخذ العينات العشوائية، والتي غالباً ما تكون غير كافية للسياسات المتمركزة.
• الاستقرار فوق العشوائية: يجادل المؤلفون بأن التحسينات الملحوظة ليست ناتجة عن زيادة العشوائية (الاعتلاج) ولكن عن استعادة إشارات الميزة المعلوماتية وغير المتلاشية من خلال التباين المهيكل.
• الأثر العملي: من خلال تمكين النماذج مفتوحة الأوزان من التفوق على نماذج API مغلقة المصدر في مهام استدعاء الأدوات المعقدة متعددة الخطوات، توفر هذه الطريقة مساراً قابلاً للتوسع لتدريب أنظمة وكيلة قوية دون العبء الحسابي لشبكات الناقد أو عدم استقرار GRPO القياسي.

يحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه رغم تقديمهم لتفسير نظري قائم على التباين لاستقرار طريقتهم، إلا أنهم لا يدعون امتلاك نظرية كاملة لديناميكيات تدريب الوكلاء متعدد الخطوات. المساهمة الأساسية هي صياغة التوليد القابل للتحكم والتعلم القائم على المجموعة كحل موحد لمشكلة "التحديث المتلاشي" في بيئات المكافأة المتفرقة.