ملخص تقني: تعلم نماذج عالم POMDP من الملاحظات باستخدام أولويات النماذج اللغوية الكبيرة

بيان المشكلة

يجب على الوكلاء الفعالين في البيئات ذات الإدراك الجزئي تعلم نموذج داخلي لكيفية استجابة العالم لأفعالهم. وبينما توفر عمليات ماركوف لاتخاذ القرار جزئية الملاحظة (POMDPs) صياغة مرنة لمثل هذه النماذج العالمية، فإن تعلمها من مسارات الملاحظة والعمل فقط يعد أمراً صعباً للغاية. عادة ما تتطلب الأساليب التقليدية (المقدرات الجدولية، الطرق الطيفية، النماذج الكامنة العميقة) تفاعلاً مكثفاً مع البيئة، أو افتراضات هيكلية قوية، أو الوصول إلى الحالات الخفية الحقيقية.

تعتمد الأسالبية الموجودة التي تستفيد من النماذج اللغوية الكبيرة (LLMs) لاستحثاث نماذج العالم على افتراض تبسيط حاسم: وهو الوصول إلى الحالات الخفية المميزة أثناء التدريب. حتى أن أقرب سلف لها، POMDP Coder، يفترض الوصول اللاحق للحالات الحقيقية بعد كل حلقة. هذا القصور يجعل مثل هذه الأساليب غير قابلة للتطبيق في السيناريوهات الواقعية حيث لا تتوفر الرقابة على الحالة، مثل الروبوتات التي تعمل في مساحات مزدحمة أو الوكلاء في ألعاب المعلومات الناقصة. السؤال المركزي الذي تعالجه هذه الدراسة هو ما إذا كانت أولويات النماذج اللغوية الكبيرة قوية بما يكفي لاستحثاث نماذج POMDP قابلة للتنفيذ باستخدام مسارات (الملاحظة-العمل-المكافأة) فقط، دون أي وصول إلى تسميات الحالة الخفية.

المنهجية: Pinductor

يقدم المؤلفون Pinductor (مستحث POMDP)، وهو إطار عمل يستحث نماذج عالم POMDP قابلة للتنفيذ من مسارات (الملاحظة-العمل-المكافأة) وحدها. تعمل الطريقة وفق حلقة (التوليد-التقييم-التحسين-التخطيط)، متجنبة المقارنة المباشرة بين الحالات المتوقعة والحالات الخفية الحقيقية.

1. اقتراح النموذج

يتم توجيه نموذج لغوي كبير (LLM) عبر وصف للبيئة باللغة الطبيعية، ومجموعة بيانات صغيرة غير متصلة (offline) من المسارات، وواجهة برمجة تطبيقات (API) برمجية تحدد فضاءات الحالة، والعمل، والملاحظة. يقوم النموذج اللغوي بتوليد نموذج مرشح قابل للتنفيذ $m = (\rho_0^m, T^m, O^m, R^m)$، والذي يحدد توزيع الحالة الأولية، وديناميكيات الانتقال، ونموذج الملاحظة، ودالة المكافأة.

2. تقييم النموذج القائم على الاعتقاد

بما أن الحالات الخفية غير مرصودة، يقوم Pinductor بتقييم المرشحين باستخدام درجة احتمالية قائمة على الاعتقاد (Belief-based likelihood score).

• ترشيح الجسيمات (Particle Filtering): بالنسبة لنموذج مرشح، يتم أخذ عينات من مجموعة من الجسيمات من توزيع الحالة الأولية المقترح وتمريرها عبر نموذج الانتقال $T^m$ باستخدام الأفعال المرصودة.
• احتمالية الملاحظة الناعمة: غالباً ما يكون نموذج الملاحظة الناتج عن LLM ($O_{LLM}^m$) حتمياً. وللتعامل مع عدم التطابق وتوفير إشارة تشبه التدرج، تستخدم الطريقة نواة مسافة (distance kernel). يتم تحويل المسافة $d_{obs}$ بين الملاحظة المتوقعة والملاحظة المتحققة إلى احتمالية ناعمة:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• التسجيل (Scoring): يتم تسجيل النموذج بناءً على لوغاريتم الاحتمالية المتوقع للمسار المرصود تحت توزيع الاعتقاد المستحث بواسطة مرشح الجسيمات:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  تقيم هذه الدرجة مدى جودة قدرة ديناميكيات الترشيح الخاصة بالنموذج على تفسير تدفق الملاحظات، دون الحاجة إلى وصول مميز للحالة.

3. التغذية الراجعة والتحسين

تقوم الطريقة بتحسين النماذج بشكل تكراري باستخدام تغذية راجعة مهيكلة لتصحيح الأخطاء:

• الدرجة العالمية (Global Score): تشير درجة الاحتمالية القياسية إلى مدى الملاءمة العامة.
• التشخيصات المحلية: يحدد النظام أوضاع الفشل المحددة، مثل أخطاء التنفيذ، أو مقاطع المسارات ذات المسافة الملاحظة العالية، أو عدم تطابق المكافآت.
• إشارات عدم الاتفاق: يتم استخدام "لجنة" من نماذج الانتقال المولدة سابقاً لحساب إنتروبيا التصويت. يتم تسليط الضوء على السياقات ذات الإنتروبيا العالية (حيث تختلف النماذج المرشحة حول الحالة التالية) للنموذج اللغوي، لتوجيهه نحو حل الغموض في الديناميكيات.
• استراتيجية التحسين: يستخدم Pinductor عملية تحسين مهيكلة كشجرة (اختيار UCB1) بدلاً من سلسلة واحدة من التعديلات، مما يسمح باستكشاف عائلات متعددة من المرشحين قبل اختيار النموذج الأفضل تقريباً.

4. التخطيط

يُستخدم النموذج المختار للتخطيط في فضاء الاعتقاد (مثلاً عبر مخططات بأسلوب A*) أثناء التفاعل المباشر. يتم إلحاق المسارات الجديدة بمجموعة البيانات، مما يحفز جولات إضافية من التحسين.

المساهمات الرئيسية

1. استحثاث POMDP القائم على الملاحظة فقط: تثبت الورقة أن أولويات النماذج اللغوية الكبيرة كافية لاستحثاث نماذج عالم POMDP قابلة للتنفيذ من مسارات (الملاحظة-العمل-المكافأة) وحدها، مما يلغي الحاجة إلى الإشراف على الحالة الخفية الحقيقية أثناء التدريب أو الاستدلال.
2. تسجيل النموذج القائم على الاعتقاد: قدم المؤلفون هدف احتمالية يعتمد على النواة (kernel-based) يقوم بتسجيل البرامج المرشحة تحت توزيعات اعتقادها المفلترة. يوفر هذا إشارة إصلاح لكل خطوة يمكن حسابها فقط من الملاحظات الجزئية.
3. التحقق الشامل (End-to-End): تم التحقق من الطريقة عبر خمس مهام MiniGrid جزئية الملاحظة. حقق Pinductor أداء وكفاءة عينة تضاهي نموذج (POMDT Coder) الذي يمتلك وصولاً للحالة المميزة، مع تفوقه بشكل كبير على النماذج غير اللغوية (بما في ذلك نماذج POMDP الجدولية التي مُنحت وصولاً للحالة).

النتائج

• الأداء: في بيئات MiniGrid (Empty, Corners, Lava, Unlock, Four Rooms)، حقق Pinductor متوسط مكافآت لكل حلقة ومعدلات فوز مقاربة للنموذج المرجعي ذي الحالة المميزة، رغم استخدامه لمعلومات أقل صرامة.
• كفاءة العينة: يصل Pinductor إلى أداء قوي باستخدام عدد قليل جداً من المسارات غير المتصلة (كما قلي من 2 إلى 10)، مما يطابق كفاءة العينة لطرق الوصول للحالة.
• جودة الاعتقاد: أثناء التخطيط، تصبح حالات الاعتقاد في Pinductor أكثر تركيزاً على الحالة الخفية الحقيقية مع تراكم الملاحظات، مما يثبت أن النماذج المتعلمة تدعم تحديثات خلفية (posterior updates) معلوماتية.
• الدراسات الاستقصائية (Ablations):
  • قدرة النموذج اللغوي: يتوسع الأداء مع قدرة النموذج اللغوي؛ حيث تفشل النماذج الأضعف في تخليق نماذج عالم قابلة للاستخدام، بينما تحقق النماذج الأقوى (مثل Qwen 3.6 Plus و Claude Opus 4.7) أداءً عالياً.
  • المعلومات الدلالية: يؤدي حجب الأوصاف الدلالية للبيئة إلى تدهور الأداء، مما يشير إلى أن الطريقة تعتمد على أولويات النموذج اللغوي المرتكزة على المعلومات النصية.
  • العشوائية: تظل الطريقة فعالة في النسخ العشوائية من البيئات، وإن كان الأداء ينخفض مقارنة بالإعدادات الحتمية.

الأهمية والقيود

تضع هذه الورقة أولويات النماذج اللغوية الكبيرة كأداة عملية لتعلم نماذج العالم بكفاءة عينة عالية تحت ظروف الملاحظة الجزئية. ومن خلال إزالة شرط الوصول إلى الحالة المميزة، يوسع Pinductor نطاق استحثاث النماذج الموجهة باللغة ليشمل الإعدادات المميزة للواقع (مثل الروبوتات أو ألعاب المعلومات الناقصة).

يشير المؤلفون بتواضع إلى عدة قيود:

• النطاق: يقتصر التقييم على بيئات MiniGrid؛ ولا يزال الانتقال إلى مجالات أخرى أو إعدادات واقعية معقدة غير مختبر.
• المكونات الثابتة: دالة مسافة الملاحظة، والمخطط (planner)، ومخزن البيانات التجريبية هي مكونات ثابتة حالياً وليست محسنة بواسطة النموذج اللغوي.
• التباين: الاعتماد على استدعاءات واجهة برمجة تطبيقات (API) النماذج اللغوية يؤدي إلى تباين عالٍ في وقت التنفيذ والنتائج.
• جمع البيانات: يتم جمع مجموعات البيانات غير المتصلة يدوياً؛ ولم يتم استكشاف تأثير استراتيجيات جمع البيانات المؤتمتة.

يمثل هذا العمل خطوة نحو وكلاء عامين قادرين على تعلم نماذج عالم داخلية من الخبرة الشخصية في بيئات ذات إدراك جزئي.