AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان: "AEM: التعديل التكيفي للإنتروبيا لتعلّم التعزيز الوكيل متعدد الخطوات (Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning)."

1. بيان المشكلة

تعالج الورقة عقبة حرجة في تدريب وكلاء النماذج اللغوية الكبيرة (LLM agents) لمهام التعلم التعزيزي متعدد الخطوات (multi-turn RL) (مثل هندسة البرمجيات، والتنقل عبر الويب، والوكلاء المجسدين).

• المكافآت الشحيحة (Sparse Rewards): في التعلم التعزيزي الوكيلي، تكون التغذية الراجعة عادةً قائمة على النتيجة فقط (نجاح/فشل في نهاية المسار). وهذا يجعل من الصعب تخصيص الائتمان (credit assignment) للخطوات المتوسطة، مما يؤدي إلى تباين عالٍ في التدرجات (gradients).
• محدودية الحلول الحالية:
  • نماذج مكافأة العمليات (PRMs): تتطلب إشرافاً متوسطاً كثيفاً وتدريباً إضافياً للنماذج، مما يزيد من التعقيد ويقلل من القدرة على التعميم.
  • الطرق ذاتية الإشراف (Self-Supervised Methods): غالباً ما تعاني الأساليب الحالية (مثل GiGPO وIGPO) من عدم اتساق السياق، أو انحياز التجميع، أو افتراضات هيكلية مقيدة.
  • الطرق ذات الهيكل الشجري (Tree-Structured Methods): رغم فعاليتها، إلا أنها تسبب عبئاً حاسوبياً عالياً في البيئات متعددة الخطوات.
• التحدي الجوهري: هناك حاجة إلى طريقة لتخصيص الائتمان تكون خالية من الإشراف (supervision-free)، وقابلة للتوسع، ودقيقة، يمكنها الموازنة التكيفية بين الاستكشاف (تجربة إجراءات جديدة) والاستغلال (تحسين الإجراءات الجيدة المعروفة) دون الاعتماد على تسميات خارجية أو حسابات ثقيلة.

2. المنهجية: تعديل الإنتروبيا التكيفي (AEM)

يقترح المؤلفون خوارزمية AEM، وهي خوارزمية إضافية (plug-in) تعمل على تعديل إشارة الميزة (advantage signal) أثناء تدريب التعلم التعزيزي بناءً على ديناميكيات الإنتروبيا على مستوى الاستجابة.

الأساس النظري

يضع المؤلفون رابطاً نظرياً بين الإنتروبيا على مستوى الاستجابة وتخصيص الائتمان:

• الإنتروبيا على مستوى الاستجابة ($H_{resp}$): بدلاً من إنتروبيا مستوى الرمز (token-level)، قاموا بتعريف الإنتروبيا على مستوى استجابة الوكيل الكاملة (الإجراء). وهذا يقلل من تباين أخذ العينات ويوفر مقياساً أكثر استقراراً لعدم اليقين.
• نظرية انجراف الإنتروبيا (Entropy Drift Theorem): أثبتوا أن الانجراف في الإنتروبيا العالمية أثناء التدريب محكوم بالتفاعل بين الميزة ($A$) للاستجابة المختارة والدهشة النسبية ($S - H_{resp}$).
  • إذا كانت الاستجابة ذات ميزة عالية ولكن دهشة نسبية منخفضة (كانت متوقعة ولكنها جيدة)، فيجب أن تنخفض الإنتروبيا (استغلال).
  • إذا كانت الاستجابة ذات ميزة سلبية ولكن دهشة نسبية عالية (كانت غير متوقعة ولكنها سيئة)، فيجب أن تزداد الإنتروبيا (لتشجيع الاستكشاف بعيداً عن هذا المسار).
• التدرج الطبيعي (Natural Gradient): أُجري التحليل ضمن هندسة "فيشر-راو" (Fisher-Rao) لمتعدد الوجوه للسياسة (policy simplex)، مما يوضح أن ديناميكيات الإنتروبيا هي جزء أصيل من اتجاه تحديث السياسة.

خوارزمية AEM

تعمل AEM كمعدل خفيف الوزن فوق مقدرات التعلم التعزيزي القائمة على المجموعات (مثل GRPO):

1. وكيل عدم اليقين (Uncertainty Proxy): لكل استجابة في مجموعة التدفق (rollout group)، تحسب AEM مقدراً للدهشة النسبية باستخدام متوسط إنتروبيا مستوى الرمز لتلك الاستجابة.
2. معامل التعديل ($\alpha$):
   • يتم تطبيع الاستجابات داخل مجموعاتها (باستخدام min-max scaling).
   • تقوم دالة أسية مع درجة حرارة (temperature-scaled exponential function) بتحويل الإنتروبيا الموحدة إلى معامل $\alpha$.
   • المنطق:
     • إنتروبيا منخفضة (ثقة عالية) $\leftarrow$ $\alpha > 1$ (زيادة الوزن إذا كانت إيجابية، وتقليل الوزن إذا كانت سلبية).
     • إنتروبيا عالية (ثقة منخفضة) $\leftarrow$ $\alpha < 1$ (تقليل الوزن إذا كانت إيجابية، وزيادة الوزن إذا كانت سلبية).
3. إعادة تحجيم الميزة (Advantage Rescaling): يتم إعادة تحجيم الميزة الأساسية ($A_{base}$): $A_{AEM} = \alpha \cdot A_{base}$.
4. الانتقال التكيفي:
   • بداية التدريب: تهيمن العينات السلبية؛ مما يدفع AEM نحو ضغط زيادة الإنتروبيا لتعزيز الاستكشاف.
   • نهاية التدريب: تهيمن العينات الإيجابية؛ مما يدفع AEM نحو ضغط تقليل الإنتروبيا لتعزيز التقارب والاستغلال.

3. المساهمات الرئيسية

1. التوصيف النظري: تقدم الورقة أول تحليل نظري لـ ديناميكيات الإنتروبيا على مستوى الاستجابة في التعلم التعزيزي الوكيلي، حيث تثبت أن انجراف الإنتروبيا المحلي مدفوع بضرب الميزة والدهشة النسبية.
2. خوارزمية AEM: طريقة مبتكرة لتخصيص الائتمان خالية من الإشراف، لا تتطلب نماذج إضافية، أو مكافآت كثيفة، أو افتراضات هيكلية معقدة. وهي تعمل كإضافة (plug-in) لأطر التعلم التعزيزي الحالية.
3. التحكم الضمني في الاستكشاف والاستغلال: تنتقل AEM بالسياسة طبيعياً من الاستكشاف إلى الاستغلال بناءً على التوازن المتطور للعينات الإيجابية/السلبية، مما يلغي الحاجة إلى جداول زمنية يدوية للإنتروبيا.

4. النتائج التجريبية

قيم المؤلفون AEM عبر ثلاثة اختبارات معيارية صعبة (ALFWorld، وWebShop، وSWE-bench-Verified) باستخدام نماذج تتراوح أحجامها بين 1.5 مليار إلى 32 مليار معلمة.

• ALFWorld وWebShop:
  • حسنت AEM باستمرار الخطوط المرجعية المتطورة (GRPO، GSPO، DAPO).
  • مكاسب الأداء: حققت ذروة مكاسب بلغت 8.8% في ALFWorld و5.6% في WebShop باستخدام نماذج 1.5 مليار معلمة.
  • القابلية للتوسع: كانت التحسينات متسقة عبر نماذج 7 مليار معلمة ومختلف هياكل التعلم التعزيزي (RL backbones).
• SWE-bench-Verified (هندسة برمجيات من العالم الحقيقي):
  • تم دمجها في DeepSWE (إطار عمل رائد لوكلاء البرمجيات).
  • النتيجة: حسنت معدل النجاح من 42.3% إلى 43.7% (+1.4%) في اختبار SWE-bench-Verified شديد الصعوبة.
• التحليل:
  • ديناميكيات الإنتروبيا: أكدت التجارب أن AEM تمنع الانهيار المبكر للإنتروبيا (نمط فشل شائع حيث يعلق الوكلاء في الأمثل المحلية) وتحافظ على تنوع أعلى في بداية التدريب.
  • التكلفة الحسابية: تفرض AEM عبئاً ضئيلاً جداً (~1.1% من إجمالي وقت التدريب) لأنها تعيد استخدام حسابات الإنتروبيا من عملية التمرير الأمامي القياسية ولا تتطلب عمليات تدفق (rollouts) إضافية.

5. الأهمية والأثر

• تحول في النموذج الفكري: تنقل تخصيص الائتمان في التعلم التعزيزي الوكيلي من الاعتماد على الإشراف الخارجي (PRMs) أو الافتراضات الهيكلية المعقدة إلى تعديل الإشارة الذاتية (الإنتروبيا).
• الكفاءة: تقدم حلاً "جاهزاً للتشغيل" (plug-and-play) يعزز الأداء بشكل كبير دون زيادة تكاليف التدريب أو الحاجة إلى تسمية بيانات إضافية.
• المتانة: أظهرت فعالية عبر مجالات متنوعة (الملاحة القائمة على النصوص، التجارة الإلكترونية، وهندسة البرمجيات المعقدة)، مما يشير إلى أن الإنتروبيا على مستوى الاستجابة هي انحياز استقرائي (inductive bias) عالمي لتحسين الوكيل متعدد الخطوات.
• العملية: تعتبر الطريقة ذات قيمة خاصة للتطيات الواقعية مثل وكلاء هندسة البرمجيات حيث تكون مكافآت النتيجة شحيحة ويصعب أو يستحيل توفير إشراف متوسط.

ختاماً، توفر AEM آلية قائمة على أسس نظرية وفعالة حسابياً لحل مشكلة تخصيص الائتمان في التعلم التعزيزي الوكيلي متعدد الخطوات، مما يمكن الوكلاء اللغويين من التعلم بشكل أكثر فعالية من التغذية الراجعة الناتجة عن النتيجة فقط.