ملخص تقني: تخصيص الائتمان القائم على التغذية الراجعة البيئية (EFCA)

1. بيان المشكلة

تواجه التعلم المعزز الوكيل (Agentic RL) الذي يستخدم النماذج اللغوية الكبيرة (LLMs) تحديًا حاسمًا في البيئات التفاعلية طويلة المدى: المكافآت المتفرقة والمتأخرة. بخلاف التعلم المعزز التقليدي ذي المكافآت القابلة للتحقق (RLVR) الذي يقيم الإجابات الفردية أو مسارات الاستدلال، يتضمن التعلم المعزز الوكيل تسلسلات من الأفعال غير المتجانسة حيث تكون المساهمات متفاوتة للغاية. تعمل نتيجة المهمة النهائية (النجاح أو الفشل) كإشارة إشراف أساسية، مما يخلق عدم تطابق بين اتخاذ القرار على مستوى الخطوة والإشراف على مستوى الحلقة (episode).

تحاول الحلول الحالية معالجة ذلك من خلال:

1. تفكيك المسار (Trajectory Decomposition): استنتاج إشارات مستوى الخطوة من النتائج النهائية، وهو ما غالبًا ما يواجه صعوبة في تحديد الأفعال الوسيطة الفعالة محليًا.
2. النقاد المتعلمين (Learned Critics): استخدام نماذج حالة-قيمة أو مكافأة معلمة (مثل PPO، VAPO). ومع ذلك، تتطلب هذه النماذج تدريب مقيمين منفصلين لكل بيئة ويمكن أن تؤدي إلى عدم تطابق بين تقديرات الناقد وديناميكيات البيئة الحقيقية.

من الأهمية بمكان أن الطرق الحالية تتجاهل إلى حد كبير معلومات العملية الغنية المتولدة طبيعيًا أثناء التفاعل مع البيئة (مثل التغذية الراجعة النصية، وصحة الأفعال، وتغيرات الحالة). تجادل هذه الورقة بأن مثل هذه الإشارات المرتكزة على البيئة توفر إشرافًا قيمًا وغير مستغل لتحديد مساهمة الأفعال الفردية دون الحاجة إلى تسميات توضيحية خارجية أو مقيمين متعلمين.

2. المنهجية: تخصيص الائتمان القائم على التغذية الراجعة البيئية (EFCA)

إن EFCA هو نهج لتخصيص الائتمان متعدد المقاييس الزمنية مصمم لتحسين عوائد مستوى الخطوة باستخدام إشارات مستخرجة مباشرة من التغذية الراجعة للبيئة. يعمل كـ وحدة قابلة للتركيب والتشغيل (plug-and-play) تكمل إشارة النتيجة طويلة المدى من خلال إشارتين للعملية مرتكزتين على البيئة، ويتم دمجهما عبر آلية إعادة وزن العائد. هو لا يستبدل المحسن الأساسي ولا يقدم ناقد قيمة صريحًا.

2.1 المكونات الأساسية

تبني الطريقة درجة ائتمان موحدة ($C_t$) عند كل خطوة $t$ من خلال الجمع بين إشارتين:

1. إشارة التغذية الراجعة قصيرة المدى ($c^{fb}_t$):

   • الهدف: التقاط التأثير الفوري للفعل الحالي.
   • الآلية: تحليل التغذية الراجعة النصية ($f_t$) التي تعيدها البيئة. باستخدام مجموعات أنماط محددة مسبقًا للإيجاب ($P$) والسلب ($N$) (مثل "لقد التقطت..." مقابل "لا شيء يحدث")، يخصص النظام ائتمانًا قدره $+1$ (تقدم)، أو $-1$(فشل/غير صالح)، أو$0$ (محايد).
   • الوظيفة: تحديد ما إذا كان الفعل الحالي قد أنتج انتقالًا محليًا ذا معنى في الحالة.

2. إشارة تاريخ الحالة متوسطة المدى ($c^{hist}_t$):

   • الهدف: تحديد الأنماط غير الفعالة والحلقات السلوكية قصيرة المدى.
   • الآلية: فحص نافذة حديثة ($K$) من ائتمانات التغذية الراجعة. تخصص عقوبة قدرها $-1$إذا كانت النافذة تحتوي على تغذية راجعة سلبية متتالية (فشل متكرر) أو عقوبة طفيفة ($-\eta$) إذا كانت النافذة لا تحتوي على تغذية راجعة إيجابية (ركود).
   • الوظيفة: اكتشاف وقمع السلوكيات غير الفعالة المتكررة أو نقص التقدم عبر أفق زمني قصير.

2.2 إعادة وزن العائد

يتم تحويل درجة الائتمان المجمعة إلى وزن يعتمد على الخطوة ($w_t$) لتعديل العائد الأساسي ($R^{base}_t$)، والذي يتم حسابه عادةً عبر التراكم المخصوم للمكافآت في المسار.

• درجة الائتمان: $C_t = \alpha \cdot c^{fb}_t + \beta \cdot c^{hist}_t$
• حساب الوزن: $w_t = \text{clip}(1 + \lambda C_t, w_{min}, w_{max})$
• العائد المعاد وزنه نهائيًا: $\tilde{R}_t = w_t \cdot R^{base}_t$

تعمل هذه الآلية على معايرة الإشراف بشكل تكيفي: فهي تقوي الإشارة للأفعال المفيدة محليًا وتثبط الإشارات للخطوات الزائدة عن الحاجة أو غير الفعالة، وكل ذلك مع الحفاظ على التوافق مع خطوط تحسين الخطوات الحالية (مثل GiGPO، HGPO).

3. المساهمات الرئيسية

• مصدر إشارة مبتكر: تقترح الورقة الاستفادة من التغذية الراجعة الطبيعية للبيئة (الاستجابات النصية، فحوصات الصلاحية) كمصدر أساسي لتخصيص الائتمان على مستوى الخطوة، متجاوزة الحاجة إلى نماذج مكافأة متعلمة أو تسميات توضيحية خارجية.
• إطار عمل متعدد المقاييس الزمنية: تقدم نهجًا مهيكلًا لتخصيص الائتمان يدمج:
  • إشارات النتيجة طويلة المدى (المكافآت النهائية).
  • إشارات التنفيذ قصيرة المدى (التغذية الراجعة الفورية).
  • إشارات الكفاءة متوسطة المدى (التاريخ الحديث للركود/الفشل).
• تنفيذ خفيف الوزن: تم تصميم EFCA كوحدة إعادة وزن خفيفة الوزن لا تتطلب شبكات قيمة إضافية، مما يجعلها فعالة حاسوبيًا وسهلة التكامل مع طرق التحسين خطوة بخوة الخالية من الناقد.
• التحقق التجريبي: تم التحقق من الطريقة على معيارين ممثلين طويلي المدى: ALFWorld (اتخاذ القرار النصي المجسد) و WebShop (التسوق عبر الويب).

4. النتائج التجريبية

أُجريت التجارب باستخدام النماذج الأساسية Qwen2.5-1.5B-Instruct و Qwen2.5-7B-Instruct.

• مكاسب الأداء: تفوق EFCA باستمرار على النماذج المرجعية القوية، بما في ذلك الطرق القائمة على التلقين (ReAct, Reflexion) والمحسنات الخطوية القائمة على التعلم المعزز (PPO, GRPO, GiGPO, GraphGPO, HGPO).
  • في ALFWorld، حقق EFCA أعلى الدرجات الإجمالية لكلا حجمي النموذج (على سبيل المثال، 96.03 مع Qwen2.5-7B، متفوقًا على HGPO بـ +4.04 نقطة).
  • في WebShop، حقق EFCA أفضل درجة مهمة (Task Score) (التي تقيس التوافق الدلالي مع تعليمات المستخدم فيما يتعلق بالسمات والخيارات والسعر)، حيث وصل إلى 89.81 مع نموذج 1.5B و 89.06 مع نموذج 7B. ومن الجدير بالذكر أنه بينما حقق GraphGPO معدل نجاح مهمة أعلى قليلاً، إلا أن درجة المهمة المتفوقة لـ EFCA أشارت إلى توافق أفضل مع متطلبات المنتج المحددة.
• ديناميكيات التدريب:
  • نسبة إعادة الوزن: ارتفعت متوسط نسبة إعادة الوزن من ما يقرب من 1.0 في مراحل التدريب المبكرة إلى ~1.4–1.5 في المراحل اللاحقة، مما يشير إلى أن السياسة تنتج بشكل متزايد أفعالًا مدعومة بأدلة عملية إيجابية.
  • التباين: كان الانحراف المعياري للعوائد المعاد وزنها أعلى من العوائد الأساسية، مما يثبت أن EFCA تنجح في التمييز بين الخطوات ذات المساهمة العالية والخطوات ذات المساهمة المنخفضة بدلاً من تطبيق قياس موحد.
• دراسات الاستئصال (Ablation Studies): أدى إزالة إما إشارة التغذية الراجعة قصيرة المدى أو إشارة تاريخ الحالة متوسطة المدى إلى انخفاض كبير في الأداء، مما يؤكد الطبيعة التكاملية لكلا الإشارتين.

5. الأهمية والادعاءات

تدعي الورقة أن EFCA توفر تكملة عملية وفعالة لطرق التعلم المعزز القائمة على المجموعات للمهام الوكيلية طويلة المدى. تكمن أهميتها الأساسية في إثبات أن:

1. الإشارات المرتكزة على البيئة كافية: يمكن اشتقاق إشراف عالي الجودة على مستوى الخطوة مباشرة من عملية التفاعل دون الحاجة لتدريب نماذج مكافأة منفصلة.
2. التحسين متعدد المقاييس الزمنية أمر بالغ الأهمية: دمج التغذية الراجعة الفورية مع السياق التاريخي يقلل بفعالية من تشتت وتأخر المكافآت، مما يوجه السياسة نحو الأفعال الفعالة محليًا ويمنع الركود.
3. القابلية للتوسع: تحسن الطريقة الأداء عبر أحجام نماذج مختلفة (1.5B إلى 7B) وبيئات متنوعة (وكلاء مجسدون ووكلاء ويب) مع عبء حسابي ضئيل مقارنة بتدريب النموذج الأساسي.

يضع المؤلفون EFCA ليس كبديل لنماذج المكافأة المتقدمة، بل كاستراتيجية مبسطة، وقابلة للتفسير، وقابلة للتطبيق الفوري لتعزيز تخصيص الائتمان في السيناريوهات التي تكون فيها التغذية الراجعة للبيئة غنية ولكن المكافآت النهائية متفرقة.