MAPO: Mixed Advantage Policy Optimization for Long-Horizon Multi-Turn Dialogue

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MAPO: تحسين سياسة الميزة المختلطة للحوارات متعددة الأدوار طويلة الأمد."

1. بيان المشكلة

تتناول الورقة التحديات المتعلقة بتطبيق التعلم المعزز (RL) على مهام الحوار متعدد الأدوار ذات الأفق الطويل والذاتية (مثل الدعم العاطفي). تواجه الطرق الحالية عقبتين رئيسيتين:

• فشل تخصيص الائتمان (Credit Assignment Failure): تقوم طرق التعلم المعزز التقليدية التي تعتمد على النتيجة النهائية فقط (مثل GRPO) بتعيين مكافأة واحدة لمسار كامل. يؤدي هذا إلى انهيار إشارة التعلم، مما يفشل في التمييز بين الأدوار الجيدة والسيئة داخل محادثة طويلة.
• أخذ العينات غير الممكن على مستوى الدور: يتطلب تحسين مستوى الدور الساذج عمليات تشغيل (rollouts) مستقلة متعددة من نفس الحالة لحساب المزايا. في الحوار التفاعلي، يغير كل إجراء الحالة المستقبلية (الديناميكيات الداخلية)، مما يجعل عمليات التشغيل المستقلة مستحيلة دون تكاليف حوسبة أسية.
• قصور النقاد (Critic Limitations): تعتمد الطرق القائمة على القيمة (مثل PPO) على نقاد متعلمين لتقدير القيم المستقبلية. ومع ذلك، تسبب هذه النقاد أخطاء تقريب تتراكم عبر الآفاق الطويلة، مما يؤدي إلى زعزعة استقرار التدريب.

2. المنهجية: MAPO

يقترح المؤلفون خوارزمية MAPO (تحسين سياسة الميزة المختلطة)، وهي خوارزمية تعلم معزز خالية من الناقد (critic-free) مصممة لتحسين مسارات الحوار باستخدام تغذية راجعة كثيفة للعملية.

أ. الإطار الأساسي

• التغذية الراجعة للعملية (Process Feedback): بدلاً من الانتظار حتى النتيجة النهائية، تستخدم MAPO "نموذج حكم" (Judge Model) لتوفير مكافآت كثيفة على مستوى الدور (إشراف العملية) بناءً على الجودة الفورية للاستجابة وتأثيرها على حالة المستخدم.
• عوائد مونت كارلو (Monte Carlo Returns): تعامل الخوارزمية الحوار بأكمله كعينة مونت كارلو. حيث تحسب العائد $R_t$ لدور محدد $t$ عن طريق جمع المكافآت المستقبلية المخصومة، مما يلتقط التأثير طويل الأمد لذلك الدور.

ب. مقدر الميزة المختلطة (Mixed Advantage Estimator)

الابتكار الجوهري هو الميزة المختلطة التي تجمع بين استراتيجيتي تطبيع (normalization) لتحقيق التوازن بين التغذية الراجعة المحلية واتساق المسار العالمي:

1. ميزة مستوى الدور ($A_t$):

   • تقوم بتطبيع عوائد مونت كارلو ضمن نفس مؤشر الدور عبر مجموعة (batch) من المسارات.
   • الغرض: التقاط التأثيرات طويلة الأمد وتخصيص الائتمان على مستوى المسار.
   • القيد: تُحسب فقط للأدوار $t \leq T_{min}$ (طول أقصر مسار في المجموعة) لضمان الاتساق الإحصائي.

2. ميزة مستوى الدفعة ($A_b$):

   • تقوم بتطبيع المكافآت الفورية عبر كامل الدفعة من جميع الأدوار والمسارات.
   • الغرض: توفير تغذية راجعة مستقرة وموضعية لجودة الاستجابة الفردية. لوحظ أن المكافآت الفورية أكثر استقرارًا عبر الأدوار مقارنة بالعوائد التراكمية.

3. الجمع المحدب (Convex Combination):
   الميزة النهائية هي مجموع أوزان:
   $$A(a_t) = \alpha A_t(a_t) + \beta A_b(a_t)$$
   حيث $\alpha + \beta = 1$. وجد المؤلفون تجريبيًا أن $\alpha = \beta = 0.5$ هو الخيار الأمثل. هذا الجمع يمنع انفجار معيار التدرج (الشائع في التطبيع القائم على الدفعة فقط) ويتجنب التباين العالي للتطبيع القائم على الدور فقط.

ج. تصميم المكافأة (مكافأة المسافة المتزايدة - IDR)

لمعالجة انحياز "الاعتماد التاريخي" في المكافآت القياسية القائمة على المسافة (حيث يمكن للأداء الجيد في الماضي أن يحجب دورًا سيئًا حاليًا)، حدد المؤلفون مكافأة المسافة المتزايدة (IDR):

• يتتبع البيئة الحالة التعاطفية للمستخدم كإحداثيات ثلاثية الأبعاد $(x, y, z)$ تمثل التعاطف المعرفي (Cognitive)، والعاطفي (Affective)، والمبادرة (Proactive).
• المكافأة $r_t$ هي النقص في المسافة الإقليدية إلى الأصل بين الدور $t-1$ والدور $t$:
  $$r_t = \phi(x_{t-1}, y_{t-1}, z_{t-1}) - \phi(x_t, y_t, z_t)$$
• يضمن هذا مكافأة النموذج تحديدًا على تحسين حالة المستخدم في الدور الحالي، بغض النظر عن الحالة التي بدأ منها.

3. المساهمات الرئيسية

1. تحسين طويل الأمد خالٍ من الناقد: تلغي MAPO الحاجة إلى دالة قيمة متعلمة (ناقد) أو عمليات تشغيل شجرية مكلفة، مما يجعلها قابلة للتوسع للحوارات الطويلة.
2. تطبيع الميزة المختلطة: حددت الورقة أن استخدام التطبيع القائم على الدفعة فقط أو الدور فقط يؤدي إلى عدم الاستقرار أو الانحياز. يحقق مقدر الميزة المختلط المقترح تدريبًا مستقرًا ومكافآت تقارب أعلى.
3. التحقق التجريبي: تم التحقق من المنهجية باستخدام معايير EMPA (الدعم العاطفي)، و EmoBench، و EQ-Bench عبر نماذج بمقاييس تتراوح من 7 مليار إلى 32 مليار معلمة.
4. الموارد المفتوحة: أطلق المؤلفون الكود، ونقاط التفتيش (checkpoints)، وسكريبتات محاكاة البيئة لتسهيل الأبحاث في الوكلاء ذوي الذكاء العاطفي.

4. النتائج التجريبية

تظهر التجارب أن MAPO تتفوق بشكل كبير على الطرق المرجعية (النماذج الأساسية و GRPO) عبر جميع المقاييس:

• مكاسب الأداء:
  • في EMPA، حسنت MAPO معدل النجاح بنسبة تصل إلى 9 نقاط ودرجة الحوار بـ +43.2 للنموذج الأساسي 7B.
  • في Qwen3-32B، حققت MAPO درجة EMPA بلغت 84.3، متفوقة على DeepSeek-V3.2 (78.4) ومقتربة من Claude-3.5-sonnet (85.1).
  • التعميم: رغم التدريب فقط على بيانات نمط EMPA، أظهرت MAPO تحسنًا ثابتًا في الاختبارات غير المرئية: +4.0 في EmoBench و +3.5 في EQ-Bench.
• الاستقرار: تظهر دراسات الاستئصال (Ablation studies) أن التطبيع القائم على الدفحة فقط يسبب انفجارًا في معيار التدرج، بينما يؤدي التطبيع القائم على الدور فقط إلى عوائد أقل. نجحت الميزة المختلطة في استقرار التدريب (إبقاء معيار التدرج < 2) مع تحقيق أعلى مكافأة تقارب.
• قدرة النماذج الصغيرة: مكنت MAPO النماذج بحجم 7B/8B من تحقيق معدلات نجاح غير صفرية في مهام كانت تفشل فيها تمامًا (0% معدل نجاح)، مما فتح فعليًا قدرات الاستدلال التعاطفي الكامنة.

5. الأهمية

يوفر هذا العمل حلاً قابلاً للتوسع للحوار متعدد الأدوار مفتوح النهاية والذاتي، وهو مجال واجه فيه التعلم المعزز التقليدي صعوبات بسبب غياب الإشراف العملياتي الموثوق وتعقيد تخصيص الائتمان طويل الأمد.

• الأثر النظري: يثبت أن التغذية الراجعة الكثيفة للعملية مع التطبيع المختلط يمكن أن تحل محل النقاد المتعلمين للمهام طويلة الأمد، مما يوفر بديلًا أكثر استقرارًا وكفاءة حوسبية لـ PPO.
• الأثر العملي: تسد هذه الورقة الفجوة في الأداء بين النماذج مفتوحة المصدر خفيفة الوزن والنماذج المملوكة رائدة المجال في الذكاء العاطفي، مما يشير إلى أن التحسينات الخوارزمية يمكن أن تكون بنفس تأثير زيادة عدد معلمات النموذج.
• القابلية للتطبيق المستقبلي: رغم التركة على الحوار، فإن الإطار قابل للتطبيق على أي مهمة تعلم معزز وكيلية (agentic) تتطلب مكافآت عملية وسيطة، مثل وكلاء استخدام الأدوات أو بيئات التخطيط.