Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ترجمة السياسة إلى لغة: مطابقة التدفق لتوليد المكافآت لشروحات النماذج اللغوية الكبيرة"، المنشورة في مؤتمر ICLR 2026.

1. بيان المشكلة

مع تزايد دمج الوكلاء الأذكياء (وكلاء التعلم المعزز، النماذج اللغوية الكبيرة، الروبوتات) في البيئات البشرية، تصبح القدرة على شرح عمليات اتخاذ القرار الخاصة بهم بلغة طبيعية أمراً بالغ الأهمية لتعزيز الثقة والسلامة والمواءمة. ومع ذلك، تواجه الطرق الحالية تحديين رئيسيين:

• خصوصية المهمة: معظم طرق الشرح مصممة لمهام محددة (مثل القيادة الذاتية أو التنبؤ بالأسهم)، مما يفتقر إلى القدرة على التعميم.
• محدودية نمذجة المكافأة: تعتمد عملية تدريب النماذج اللغوية الكبيرة لتوليد الشروحات عبر التعلم المعزز من التغذية الراجعة للذكاء الاصطناعي (RLAIF) عادةً على نماذج لغوية "وكيلة" (Proxy LLMs) لتوليد إشارات المكافأة. غالباً ما تكون هذه المكافآت الوكيل ضوضائية وتفشل في استيعاب الطبيعة التعددية والاحتمالية للحكم البشري. علاوة على ذلك، تواجه أساليب RLAIF القياسية صعوبة في إدارة الانحراف بين مكافآت الوكيل وتوزيعات المكافأة البشرية الحقيقية بشكل صريح، مما يؤدي إلى شروحات دون المستوى قد تفتقر إلى السلامة المنطقية أو تفشل في تمكين الأطراف الثالثة من استنتاج قرار الوكيل الفعلي.

2. المنهجية

يقترح المؤلفون إطار عمل عاماً يقوم بتدريب نموذج لغوي كبير للشرح (EXPLANATION LLM) لاستعادة سياسة الوكيل الأساسية وتوليد شروحات بلغة طبيعية باستخدام التعلم المعزز من التغذية الراجعة للذكاء الاصطناعي (RLAIF)، حيث يكون نموذج المكافأة عبارة عن تدفق تطبيع مستمر توليدي (Generative Continuous Normalizing Flow - CNF)، وبالتحديد التدفق المصحح (Rectified Flow - RF).

المكونات الأساسية:

1. الهدف: تدريب نموذج لغوي كبير للشرح ($\pi_e$) لتوليد شرح ($y$) بناءً فقط على سياق القرار ($c$)، بحيث يمكن لطرف ثالث استنتاج القرار الحقيقي ($a$) للوكيل من خلال ($y$). يتم إخفاء القرار الفعلي ($a$) عن النموذج اللغوي المولد للشرح أثناء عملية التوليد لمنع إعادة الصياغة السطحية.
2. النماذج اللغوية الوكيل (Proxy LLMs): بدلاً من التغذية الراجعة البشرية المكلفة، يستخدم النظام عدة نماذج لغوية وكيلة مستقلة لتوليد إشارات مكافأة أولية. يتم استجواب هذه النماذج بالاستعانة بالسياق والشرح المولد للتنبؤ باحتمالية القرار الحقيقي.
3. نموذج مكافأة التدفق المصحح ($\phi$):
   • البنية: يتم دمج نموذج التدفق المصحح (RF) داخل هيكل نموذج لغوي كبير. يأخذ السياق والشرح كمدخلات ويستخدم آلية الانتباه المتقاطع (Cross-attention mechanism) للانتباه انتقائياً إلى الإشارات اللغوية. ويقوم بإخراج حقل متجه يحول توزيع الضجيج الأساسي (Gaussian) إلى توزيع مكافأة معقد فوق القرارات المحتملة.
   • التدريب: يتم تدريب نموذج RF لتقليل مسافة "واسرشتاين" (Wasserstein distance) بين توزيع الـ (logits) الناتج عن النماذج اللغوية الوكيل ومخرجات التدفق. إنه يتعلم "إزالة الضجيج" من مكافآت الوكيل، مما يؤدي فعلياً إلى استعادة توزيع المكافأة البشرية الأساسي.
   • الضمان النظري: تثبت الورقة أنه إذا كان الضجيج في مكافآت النماذج اللغوية الوكيل يتبع نفس الشكل الدالي لتوزيع التدفق الأساسي (مثل التوزيع الطبيعي/Gaussian)، فإن نموذج RF يمكنه حصر الانحراف عن توزيع المكافأة البشرية الحقيقي بشكل مثبت. وهذا يسمح للنموذج بتصحيح أخطاء الوكيل.
4. حلقة التدريب:
   • العملية التكرارية: يتم تدريب النموذج اللغوي الكبير للشرح ونموذج مكافأة RF بشكل متبادل.
   • إشارة المكافأة: يولد نموذج RF توزيعاً على القرارات. وتُشتق المكافأة من التغير في الاحتمالية (الـ logit) للقرار الحقيقي مع إضافة جمل إلى الشرح (مكافآت على مستوى الجملة)، مما يوفر تغذية راجعة كثيفة.
   • التحسين: يتم ضبط النموذج اللغوي الكبير للشرح باستخدام خوارزمية PPO (التحسين السياساتي القريب - Proximal Policy Optimization) مع تقنية LoRA لتعظيم المكافآت التي يولدها نموذج RF.

3. المساهمات الرئيسية

• مطابقة التدفق لـ RLAIF: هذا هو العمل الأول الذي يستخدم مطابقة التدفق التوليدي (تحديداً التدفق المصحح) كنموذج مكافأة لتدريب النماذج اللغوية الكبيرة لتوليد الشروحات. وهو يعالج محدودية نماذج المكافأة الحتمية من خلال نمذجة توزيع التفضيلات البشرية.
• الحدود النظرية للخطأ: يقدم المؤلفون برهاناً نظرياً يوضح أن نموذج التدفق المصحح يمكنه حصر الخطأ بالنسبة لتوزيع المكافأة البشرية الحقيقي، بشرط أن يتطابق نموذج الضجيج مع التوزيع الأساسي للتدفق. وهذا يوفر تبريراً صارماً لاستخدام النماذج التوليدية لتصحيح أخطاء النماذج اللغوية الوكيل.
• إطار عمل قابل للتعميم: المنهج غير مرتبط بمهمة محددة؛ فهو لا يتطلب معرفة النموذج اللغوي الكبير للشرح بهيكل الوكيل أو تفاصيل المهمة، بل يعتمد فقط على المعلومات السياقية لاستعادة السياسة.
• إزالة الضجيج من مكافآت الوكيل: ينجح إطار العمل في التمييز بين "السوالب الحقيقية" (الشروحات السيئة) و"السوالب الكاذبة" (الشروحات الجيدة التي صنفتها النماذج الوكيل خطأً)، مما يخصص المكافآت المناسبة لكل منهما.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة معايير متنوعة: SMAC (التعلم المعزز متعدد الوكلاء)، AI2-THOR (الذكاء الاصطناً المنبثق/Embodied AI)، MMLU (المعرفة المهنية)، و MathQA (المسائل الرياضية اللفظية).

• الأداء مقابل النماذج المرجعية: تفوقت الطភាព المقترحة على جميع النماذج المرجعية المتطورة، بما في ذلك SFT، وRLHF (PPO, DPO, KTO)، وRLAIF (Skywork)، وأطر الاستدلال (CoT+SFT, ReFT).
  • مكاسب الدقة: حققت دقة أعلى بنسبة 6.9% إلى 12.4% في استنتاج القرارات الحقيقية مقارنة باستخدام مكافآت النماذج اللغوية الوكيل الخام.
  • التحسن العام: تفوقت على جميع النماذج المرجعية بنسبة تتراوح بين 1.9% إلى 18.2% عبر جميع المهام والنماذج الأساسية (Llama-3.1, Qwen, Gemma).
• التقييم البشري: صنف المقيمون البشريون الشروحات المولدة بأنها تمتلك:
  • أعلى دقة: أعلى بنسبة 25.7% من أقوى نموذج مرجعي (DPO) في التنبؤ بالقرار الصحيح.
  • السلامة المنطقية والقابلية للتنفيذ: درجات أعلى بكثير في التماسك المنطقي والمنفعة العملية.
  • عبء معرفي أقل: سهولة أكبر في الفهم والمعالجة من قبل البشر.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التدفق المصحح (باستخدام مكافآت النماذج الوكيل الخام) إلى انخفاض كبير في الأداء.
  • أدت إزالة آلية الانتباه المتقاطع في نموذج RF إلى ركود في التعامل مع العينات السالبة، مما يثبت أهمية البنية في التعميم على البيانات غير المرئية.
  • وفرت المكافآت على مستوى الجملة توجيهاً أفضل من المكافآت المتفرقة (على مستوى الرمز الواحد).

5. الأهمية

تمثل هذه الورقة تقدماً كبيراً في مجال الذكاء الاصطناً القابل للتفسير (XAI) و RLHF/RLAIF:

• سد الفجوة: تسد الورقة الفجوة بين الطبيعة الاحتمالية للحكم البشري والطبيعة الحتمية لنماذج المكافأة القياسية. ومن خلال التعامل مع المكافآت كتوزيعات، فإنها تستوعب التعددية المتأصلة في التغذية الراجعة البشرية.
• المتانة: يظهر البرهان النظري والتجريبي أن تدفقات المطابقة يمكنها "إزالة الضجيج" من مكافآت الوكيل، مما يقدم نموذجاً جديداً لتدريب النماذج اللغوية الكبيرة عندما تكون البيانات البشرية عالية الجودة نادرة.
• القابلية للتوسع: تقدم الطريقة حلاً قابلاً للتوسع والتعميم لشرح سلوكيات الوكلاء المعقدة (من الروبوتات إلى الاستدلال في النماذج اللغوية الكبيرة) دون الحاجة إلى هندسة خاصة بالمهمة أو جهود هائلة في التوسيم البشري.
• الثقة والسلامة: من خلال توليد شروحات سليمة منطقياً وتسمح للأطراف الثالثة باستنتاج قرارات الوكيل بدقة، تساهم هذه الدراسة مباشرة في بناء أنظمة ذكاء اصطناعي أكثر شفافية وموثوقية.