ملخص تقني: حل مشكلة "عنق زجاجة الأفعال" في التعلم المعزز الوكيل

بيان المشكلة: عنق زجاجة الأفعال (The Action Bottleneck)

في مجال التعلم المعزز الوكيل (Agentic Reinforcement Learning)، يتم تدريب نماذج اللغات الكبيرة (LLMs) لحل مهام طويلة المدى ومتعددة الخطوات عبر دمج مسارات استدلال طويلة مع أفعال قصيرة موجهة للبيئة. تعتمد طرق تدرج السياسة القياسية، مثل تحسين السياسة القريبة (PPO) وتحسين السياسة النسبية للمجموعة (GRPO)، عادةً على توزيع ائتماني موحد، حيث تعامل كل رمز (token) في المسار بالتساوي أثناء عملية التحسين.

حدد المؤلفون عدم تطابق هيكلي حرج أطلقوا عليه اسم "عنق زجاجة الأفعال". ففي مسارات الوكيل النموذجية، تفوق رموز الاستدلال (مثل تلك الموجودة داخل كتل <thought>) عدد رموز الأفعال (مثل تلك الموجودة داخل كتل <answer>) بشكل هائل. على سبيل المثال، في مهام "سوكوبان" (Sokoban)، تشكل رموز الأفعال حوالي 4% فقط من المخرجات المولدة، بينما تشكل رموز الاستدلال الـ 96% المتبقية. وتحت تأثير التوزيع الائتماني الموحد، تهيمن كتلة التدرج (gradient mass) على رموز الاستدضاء، مما يؤدي إلى تخفيف إشارة التدريب لرموز الأفعال النادرة التي تقود فعلياً تغييرات الحالة وتحدد مكافأة الحلقة (episodic reward).

تثبت الورقة أن هذا النهج الموحد يسيء تخصيص إشارات التدريب؛ فبينما تعد رموز الأفعال هي المحركات الرئيسية لتباين النتائج، تفشل الطرق القياسية في تركيز التعلم عليها.

المنهجية: ACTFOCUS

لمعالجة "عنق زجاجة الأفعال"، يقترح المؤلفون ACTFOCUS، وهو آلية إعادة وزن للرموز بسيطة للغاية ولا تتطلب تكاليف إضافية في وقت التشغيل أو الذاكرة، حيث تقوم بتعديل هدف تدرج السياسة القياسي دون إدخال تعقيدات جديدة. تستند الطريقة إلى منظور النمذجة القائمة على الطاقة وتتكون من مكونين رئيسيين:

1. تشخيص الإشارة القائم على الطاقة

يحدد المؤلفون "إشارة التدريب" لكل رمز باستخدام طاقة الرمز المرجعي المجمد. من خلال الاستفادة من نموذج مرجعي مجمد ($\pi_{ref}$)، يقومون بحساب الطاقة الحرة لتوزيع التنبؤ بالرمز التالي لكل رمز:
$$E_t = -\log \sum_{v \in V} \exp(f^{ref}_{t,v})$$
حيث تمثل $f^{ref}_{t,v}$ القيم المنطقية (logits) من النموذج المجمد.

• طاقة منخفضة: تشير إلى ثقة عالية (رمز يمكن التنبؤ به).
• طاقة عالية: تشير إلى عدم يقين عالٍ (رمز أقل قابلية للتنبؤ).

من خلال التحليل التجريبي، أظهر المؤلفون أن متوسط طاقة رموز الأفعال يرتبط ارتباطاً قوياً بتباين مكافآت الحلقة عبر عمليات التشغيل ($\rho \approx +0.537$). في المقابل، يظهر طاقة رموز الاستدلال أو المسار الكامل ارتباطاً يقترب من الصفر مع تباين المكافأة. وهذا يؤكد أن إشارات التدريب المعلوماتية تتركز في رموز الأفعال غير المؤكدة، وليس في أغلبية الاستدلال.

2. آلية إعادة وزن الرموز

يقوم ACTFOCUS بتعديل وزن الرمز لكل رمز ($w_t$) في دالة الخسارة البديلة (المعادلة 6) بناءً على نوع الرمز وطاقته:
$$w_t = \begin{cases} \alpha, & t \in T_{\text{think}} \quad (\text{رموز الاستدلال}) \\ 1 + \beta \cdot \text{sigmoid}\left(\frac{E_t - \mu_E}{\sigma_E}\right), & t \in T_{\text{action}} \quad (\text{رموز الأفعال}) \end{cases}$$

• تقليل وزن الاستدلال ($\alpha < 1$): يقلل من مساهمة التدرج لرموز الاستدلال، مما ينقل كتلة التدرج نحو نطاق الفعل.
• إعطاء الأولوية بناءً على الطاقة ($\beta > 0$): ضمن نطاق الفعل، تحصل الرموز ذات الطاقة الأعلى (عدم اليقين الأعلى) على أوزان أعلى. يضمن ذلك تركيز النموذج على قرارات الفعل المحددة التي يكون فيها النموذج أكثر عدم يقيناً وحيث تكون النتيجة أكثر تباينًا.

هذا النهج متوافق مع كل من PPO (الذي يستخدم دالة قيمة متعلمة) وGRPO (الذي يستخدم ميزات المجموعة الطبيعية للمسار)، لأنه يغير فقط أوزان إشارات الميزة (advantage signals) الموجودة بدلاً من تقدير الميزة نفسه.

المساهمات الرئيسية

1. تحديد عنق زجاجة الأفعال: تقدم الورقة تحليلاً دقيقاً يوضح أن إشارات التدريب المعلوماتية في التعلم المعزز الوكيل تتركز في جزء صغير من رموز الأفعال، بينما لا تساهم رموز الاستدال المهيمنة إلا بالقليل في تباين النتائج.
2. خوارزمية ACTFOCUS: مخطط لإعادة وزن الرموز يعتمد على البنية، يعمل على تقليل تدرجات الاستدلال وإعادة توزيع الأوزان بين رموز الأفعال بناءً على طاقة المرجع المجمد.
3. التحقق التجريبي: أظهرت التجارب المكثفة عبر أربع بيئات متنوعة (Sokoban, FrozenLake, Sudoku, WebShop) وعدة أحجام للنماذج (من 0.5B إلى 3B) تحسينات متسقة مقارنة بالتوزيع الموحد للائتمان.

النتائج

قيم المؤلفون ACTFOCUS مقابل خطوط الأساس القياسية PPO وGRPO. وتشمل النتائج الرئيسية ما يلي:

• مكاسب الأداء: يتفوق ACTFOCUS باستمرار على خطوط الأساس. في PPO، حقق تحسينات في معدل نجاح الخطوة النهائية تصل إلى 65.2 نقطة مئوية (Sudoku 0.5B) و63.7 نقطة مئوية (Sudoku 1.5B) مقارنة بالتوزيع الموحد.
• استقرار التدريب: أحد الاكتشافات الهامة هو التحسن في استقرار التدريب، لا سيال في GRPO. غالباً ما يؤدي التوزيع الموحد للائتمان إلى "تدهور من الذروة إلى النهاية"، حيث تؤدي السياسات أداءً جيداً في البداية ثم تنهار لاحقاً. يخفف ACTFOCUS من ذلك، مما يساعد السياسات على الحفاظ على الأداء أو تحسينه طوال فترة التدريب.
• الكفاءة: تحقق هذه الطة مكاسبها دون عبء حسابي إضافي، حيث تتطلب فقط تمريرة أمامية واحدة عبر نموذج مرجعي مجمد لحساب الطاقات.
• التعميم: تظل التحسينات قائمة عبر أحجام النماذج والبيئات المختلفة، مما يشير إلى أن "عنق زجاجة الأفعال" هو مشكلة هيكلية أساسية في التعلم المعزز الوكيل وليس مجرد سمة مرتبطة بمهمة محددة.
• دراسات الاستئصال (Ablation Studies): وجد المؤلفون أن الاحتفاظ الأمثل بتدرجات الاستدلال ($\alpha$) يختلف باختلاف تعقيد المهمة (مثلاً، $\alpha=0.1$ لـ Sokoban مقابل $\alpha=0.3$ لـ WebShop)، وأن تعديل قوة الطاقة ($\beta$) يجب ضبطه لتجنب التركيز المفرط للتدرجات على القيم المتطرفة.

الأهمية والادعاءات

تدعي الورقة أن "عنق زجاجة الأفعال" هو عقبة مركزية في التعلم المعزز الوكيل تم تجاهلها من قبل الطرق التي تعامل جميع الرموز بالتساوي. ومن خلال تصحيح هذا الاختلال الهيكلي، يوفر ACTFOCUS مساراً مبدئياً لتدريب أكثر فعالية. ويؤكد المؤلفون أن نهجهم متواضع في التعقيد — فهو لا يتطلب بنيات جديدة، أو صياغة مكافآت معقدة، أو بيانات تدريب إضافية — بل يعيد فقط وزن الإشارات الموجودة لتتماشى مع المصدر الحقيقي لتباين النتائج.

تشير الورقة إلى أن أنظمة التعلم المعزز الوكيل المستقبلية يجب أن تبتعد عن متوسط الرموز الموحد وتتبنى بدلاً من ذلك توزيع ائتماني مدرك للبنية يعطي الأولوية للقرارات النادرة وعالية التأثير (الأفعال) على عمليات الاستدلال المطولة التي تسبقها. وتخلص الورقة إلى أن ACTFOCUS يعمل كبديل عملي وسهل الاستبدال لهدف متوسط الرموز الموحد في خطوط إنتاج التعلم المعزز الوكيل الحالية.