Reinforcement World Model Learning for LLM-based Agents

ملخص تقني: تعلم نموذج العالم المعزز (RWML) للنماذج اللغوية الكبيرة (LLM) القائمة على الوكلاء

1. بيان المشكلة

بينما تتفوق النماذج اللغوية الكبيرة (LLMs) في المهام اللغوية، إلا أنها غالبًا ما تعاني في البيئات الوكيلية (Agentic Settings)—وهي البيئات التي تتطلب تخطيطًا طويل الأمد وتفاعلًا. ويتمثل أحد القيود الرئيسية في عدم التوافق بين التدريب المسبق القياسي (التنبؤ بالرمز التالي على نصوص ثابتة) والذكاء الوكيلي، الذي يتطلب نمذجة العالم (World Modeling): أي القدرة على توقع عواقب الأفعال والتكيف مع ديناميكيات البيئة.

تعتمد المحاولات الحالية لتزويد الوكلاء بنماذج عالم عبر الضبط الدقيق الخاضع للإشراف (SFT) للتنبؤ بالحالة التالية. وقد حدد المؤلفون عيبين رئيسيين في هذا النهج:

• مشكلات القابلية للتوسع: يعتمد الـ SFT بشكل كبير على مسارات خبراء عالية الجودة أو بيانات اصطناعية من نماذج لغوية كبيرة أقوى، وهو أمر مكلف.
• الدقة الدلالية مقابل دقة الرموز (Token Fidelity): يعطي الـ SFT الأولوية لإعادة إنتاج الصياغة الدقيقة (دقة مستوى الرمز) بدلاً من التكافؤ الدلالي. يمكن أن يؤدي هذا إلى انهيار النموذج (Model Collapse) أو "اختراق المكافأة" (Reward Hacking)، حيث يتعلم النموذج محاكاة الأنماط النصية دون فهم ديناميكيات البيئة الأساسية.

2. المنهجية: تعلم نموذج العالم المعزز (RWML)

يقترح المؤلفون RWML، وهو طريقة تعلم ذاتي الإشراف تستخدم التعلم المعزز (RL) لتعلم نماذج عالم مشروطة بالأفعال.

المكونات الرئيسية لمسار RWML:

• المواءمة بين المحاكاة والواقع (Sim-to-Real Alignment): بدلاً من التنبؤ برموز دقيقة، يقوم RWML بتدريب النموذج لتقليل التباين بين الحالة التالية المحاكية ($\hat{s}_{t+1}$) والحالة التالية المتحققة ($s_{t+1}$) المرصودة من البيئة. يتم قياس هذه المواءمة في فضاء تضمين (Embedding Space) مُدرب مسبقًا باستخدام تشابه جيب التمام، مما يعطي الأولوية للاتساق الدلالي فوق الصياغة الدقيقة.
• دالة المكافأة: تُستخدم مكافأة ثنائية خفيفة الوزن: $r_{WM} = 1.0$ إذا كانت المسافة بين التضمينات أقل من عتبة $\tau_d$، و $0.0$ بخلاف ذلك. هذا النهج أكثر متانة وأقل عرضة للاختراق مقارنة باستخدام "النموذج اللغوي كحكم" (LLM-as-a-judge).
• التحسين عبر GRPO: يتم تحسين النموذج باستخدام تحسين السياسة النسبي للمجموعة (GRPO)، وهو خوارزمية تعلم معزز تستخدم المزايا النسبية للمجموعات لتثبيت التدريب دون الحاجة إلى نموذج ناقد (Critic) منفصل.
• جمع البيانات وأخذ العينات الفرعية: الطريقة ذاتية الإشراف بالكامل. يتفاعل الوكيل مع البيئة لجمع عمليات التنفيذ (Rollouts)، والتي يتم تحويلها إلى ثلاثيات من نوع $\langle s_{\le t}, a_t, s_{t+1} \rangle$. ولمنع النموذج من إضاعة قدرته على مهام تافهة، طبق المؤلفون استراتيجية أخذ عينات فرعية تقوم بتصفية العينات "السهلة للغاية"، مما يجبر النموذج على التركيز على انتقالات البيئة غير البديهية.
• تدريب مرحلتين: يعمل RWML كـ "مرحلة تدريب وسيطة". أولاً، يتعلم النموذج نموذج العالم عبر RWML؛ ثانياً، يخضع لـ التعلم المعزز للسياسة (Policy RL) للتحسين من أجل مكافأة نجاح المهمة الفعلية.

3. المساهمات الرئيسية

1. إطار عمل قابل للتوسع ذاتي الإشراف: طريقة لتحسين الذكاء الوكيلي باستخدام بيانات التفاعل فقط، مما يلغي الحاجة إلى عروض الخبراء أو النماذج المعلمة المكلفة.
2. التعلم المرتكز على الدلالة: التحول من هدف التنبؤ بالرمز التالي إلى المواءمة الدلالية القائمة على التضمين، مما يحافظ على الانتقالات ذات الصلة بالمهمة ويمنع انهيار النموذج.
3. تخفيف النسيان الكارثي: إثبات أن تعلم نموذج العالم القائم على التعلم المعزز هو أكثر "كفاءة في المعلمات" وتحفظاً من الـ SFT، مما يحافظ على قدرات النموذج العامة في الاستنتاج والبرمجة.
4. تحسين التوافق البراميتري: إظهار، من خلال تحليل تغير الأوزان، أن RWML يحافظ على مشهد براميتري يتوافق بشكل عالٍ مع تحسين السياسة اللاحق.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارين معقدين: ALFWorld (مهام تجسد نصية) و $\tau^2$ Bench (استخدام أدوات متداخل/خدمة عملاء).

• الأداء المستقل: حتى بدون مكافآت نجاح المهمة، حسن RWML أداء النموذج الأساسي بمقدار 19.6 نقطة في ALFWorld و 7.9 نقطة في $\tau^2$ Bench.
• التآزر مع RL للسياسة: عند الجمع مع مكافآت نجاح المهمة، تفوق RWML + Policy RL على الـ Policy RL القياسي بمقدار 6.9 نقطة (ALFWorld) و 5.7 نقطة ($\tau^2$ Bench).
• التنافس مع الخبراء: في ALFWorld، تفوق نهج RWML ذاتي الإشراف فعليًا على الطرق التي استخدمت تعليقات الخبراء وبيانات النماذج اللغوية الكبيرة القوية.
• المتانة: أكدت دراسات الاستئصال (Ablation studies) أن المكافأة القائمة على التضمين أكثر موثوقية من "النموذج اللغوي كحكم"، والذي وُجد أنه عرضة لاختراق المكافأة.

5. الأهمية

تقدم هذه الورقة تحولًا جذريًا في كيفية تدريب الوكلاء المعتمدين على النماذج اللغوية الكبيرة. من خلال التعامل مع نمذجة العالم كمسألة تعلم معزز بدلاً من مسألة توليد نص خاضعة للإشراف، يوفر المؤلفون مسارًا نحو التطور الذاتي للوكلاء. يتيح RWML للوكلاء تعلم "كيف يعمل العالم" من خلال التجربة والخطأ، مما يخلق أساسًا أكثر استقرارًا وقابلية للتوسع لاتخاذ القرارات المعقدة طويلة الأمد التي تحاكي الذكاء البيولوجي.