ملخص تقني: النموذج العالمي المنشوري (PRISM-WM)

1. بيان المشكلة

تعتبر نماذج التعلم المعزز القائمة على النماذج (MBRL) والتخطيط في المجالات الروبوتية محدودة بشكل جوهري بسبب الطبيعة الهجينة للديناميكيات الفيزيائية. فالأنظمة في العالم الحقيقي، لا سيما في حركة الأطراف (locomotion) والتحكم في الأشياء، تتضمن حركة مستمرة تتخللها أحداث منفصلة (مثل التلامس، والاصطدام، والانزلاق مقابل الالتصاق). وتخلق هذه التفاعلات ديناميكيات غير سلسة وعالية غير الخطية مع انقطاعات حادة في المجال المتجهي الأساسي.

عادةً ما تستخدم النماذج العالمية الكامنة التقليدية شبكات عصبية متجانسة (monolithic) تفرض استمرارية عالمية. وبينما هي قادرة نظرياً على التقريب الشامل، إلا أن هذه النماذج تتعلم عملياً تمثيلاً متوسطاً يؤدي إلى تنعيم مفرط (over-smoothing) للأنماط الديناميكية المتميزة. وبالنسبة لمخططات تحسين المسار، يؤدي هذا التنعيم المفرط إلى حدوث أخطاء تراكمية أثناء عمليات التطلع بعيد المدى (long-horizon lookaheads)، خاصة عند الحدود الفيزيائية. وينتج عن ذلك:

• تلاشي طيفي (Spectral blurring) عبر حدود التلامس، مما يسبب عدم تطابق كبير في التدرج.
• انحراف تراكمي (Compounding drift) في فضاءات التكوين عالية الأبعاد، مما يجعل التخطيط طويل المدى غير موثوق.
• انهيار السياسة (Policy collapse) في البيئات الغنية بالتلامس حيث تفشل النماذج القياسية في التمييز بين الأنظمة المستقرة وغير المستقرة.

2. المنهجية: النموذج العالمي المنشوري (PRISM-WM)

لمعالجة هذه القيود، قدم المؤلفون PRISM-WM، وهو بنية هيكلية مصمم لتفكيك الديناميكيات الهجينة المعقدة إلى بدائيات قابلة للتركيب. بُني النموذج على إطار عمل خليط من الخبراء (MoE) مدرك للسياق مع هدف مبتكر لـ التعامد الكامن (latent orthogonalization).

البنية الأساسية

• البوابة المدركة للسياق (Context-Aware Gating): تستقبل شبكة بوابة ($G$) متجه سياق $c_t$ (يتكون من الحالة $z_t$، والفعل $a_t$، واختيارياً تضمين المهمة $e_{task}$) وتنتج أوزان $w_t$ معيرة ببرنامج (softmax). تعمل هذه الآلية على تحديد النظام الفيزيائي النشط ضمنياً (مثل الطيران مقابل الوقوف) دون إشراف صريح.
• الخبراء المتخصصون: يتم توجيه الحالة إلى مجموعة من شبكات الخبراء $K \{E_k\}$. يتخصص كل خبير في تعلم التدفق المستمر ضمن نظام ديناميكي محلي محدد، مما يتجنب التداخل من الأنماط المتضاربة.
• التنبؤ بالبواقي (Residual Prediction): يتم التنبؤ بالحالة الكامنة التالية كمزيج مرجح من مخرجات الخبراء مضافاً إلى الحالة الحالية:
  $$\hat{z}_{t+1} = z_t + \sum_{k=1}^{K} w_{t,k} \cdot v_k(x_t)$$
  حيث تمثل $v_k$ الديناميكيات المتبقية (residual dynamics) التي يتنبأ بها الخبير $k$.

الابتكار الرئيسي: التعامد الكامن

لمنع انهيار النمط (mode collapse) (حيث يتعلم الخبراء سمات مكررة) ولضمان التنوع، قدم PRISM-WM طبقة تعامد غرام-شميت (Gram-Schmidt) قابلة للتفاضل.

• بعد أن يخرج كل خبير متجهاً $u_k$ من الطبقة قبل الأخيرة، يطبق النموذج عملية "غرام-شميت" مستقرة لتوليد متجهات أساس متعامدة $v_k$.
• يفرض هذا جعل تمثيلات الخبراء تقع على متشعب ستيفل (Stiefel manifold)، مما يضمن أنها تغطي فضاءً فرعياً ذا رتبة قصوى وغير مكرر للديناميكيات المتبقية.
• بينما تكون أنماط التلامس الفيزيائي غير مرتبة، يضمن هذا التعامد أن يلتقط الخبراء مكونات متميزة من المتشعب المتبقي، مما يسمح لشبكة البوابة بإعادة بناء الأنماط الفيزيائية غير المرتبة عبر مجموع مرجح.

التكامل مع التخطيط

تم دمج PRISM-WM في إطار تخطيط TD-MPC. ومن خلال تحليل الديناميكيات المعقدة إلى خبراء غير مكررين، يقلل النموذج من بقايا الخطوة الواحدة من $\epsilon$ إلى حوالي $\epsilon/K\alpha$. يقلل هذا التفكيك الهيكلي من الانحراف التراكمي، مما يتيح عمليات تطلع (rollouts) عالية الدقة طويلة المدى وانتشاراً مستقراً للتدرج لتعلم السياسة.

3. المساهمات الرئيسية

1. التفكيك الهيكلي: تقديم PRISM-WM، الذي يفكك الديناميكيات الهجينة باستخدام بنية MoE مدركة للسياق مقترنة بالتعامد الكامن، مبتعداً عن التقريبات العالمية المتجانسة.
2. هدف التعامد: هدف تدريب مبتكر باستخدام تعامد غرام-شميت القابل للتفاضل لفرض تنوع الخبراء ومنع انهيار النمط، مما يربط هيكلياً الفضاء الكامن بالانتقالات الفيزيائية المنفصلة.
3. التحقق النظري والتجريبي: إثبات أن هذا التفكيك يقلل من الأخطاء التراكمية في الفضاءات عالية الأبعاد ويحسن هندسة مشهد الخسارة (loss landscape) لكل من التخطيط (TD-MPC) وتعلم السياسة المباشر (PWM).
4. القدرة على النقل صفرية المرة (Zero-Shot Transfer): دليل على أن القاعدة المتعامدة تسمح للنموذج بالتعميم عبر محاكيات ذات فيزياء تلامس مختلفة (مثل IsaacGym ذو التلامس الناعم إلى MuJoCo ذو التلامس الصلب) من خلال عزل أنماط ديناميكية محددة (مثل الاحتكاك مقابل الدعم الرأسي).

4. النتائج التجريبية

قيم المؤلفون PRISM-WM على اختبارات التحكم المستمر، بما في ذلك البشر الآليين (humanoids) عاليي الأبعاد، والإعدادات متعددة المهام، والنقل من محاكاة إلى محاكاة (sim-to-sim) بصفر من المرات.

• الحركة عالية الأبعاد (DiffRL & Humanoid-Bench): حقق PRISM-WM كفاءة أعلى في العينات وأداءً نهائياً مقارنة بالنماذج الأساسية المتجانسة (TD-MPC2, DreamerV3, PWM, SAC). والجدير بالذكر أنه بينما عانت النماذج المتجانسة من انهيار السياسة في مهام حركة البشر الآليين (Humanoid, SNU-Humanoid) بسبب متوسط أحداث التلامس غير السلسة، حافظ PRISM-WM على استقرار التحسين.
• التعميم متعدد المهام: في اختبار DeepMind Control Suite المكون من 30 مهمة، حقق PRISM-WM متوسط درجة معيرة قدره 0.531، وهو تحسن بنسبة 23.5% عن نموذج TD-MPC2 المتجانس (0.430). وقد تفوق على النموذج الأساسي في 26 مهمة من أصل 30، مما قلل بفعالية من الانتقال السلبي بين الديناميكيات غير المتجانسة.
• النقل من محاكاة إلى محاكاة (Zero-Shot Sim-to-Sim): عند الانتقال من IsaacGym إلى MuJoCo، عانى نموذج MLP المتجانس من انخفاض في الأداء بنسبة 47.8% مع معدل نجاح 12%. بينما قلل PRISM-WM هذا الانخفاض إلى 11.8% مع معدل نجاح 88%. سمح التعامد للنموذج بتعديل أوزان خبراء محددين (مثل الاحتكاك الأفقي) دون المساس بالمتشعب الديناميكي العالمي.
• الاستقرار والكفاءة: أكدت دراسات الاستئصال (Ablation studies) أن التعامد يمنع تدهور تقدير المكافأة الذي لوحظ في نماذج MoE غير المقيدة. وأظهرت اختبارات كفاءة الاستدلال على NVIDIA RTX 4090 أن PRism-WM (عند K=4) حقق 7,712 إطاراً في الثانية (FPS)، متفوقاً قليلاً على النموذج المتجانس (7,499 FPS) مع الحد الأدفنى من استهلاك الذاكرة.

5. الأهمية والادعاءات

يزعم البحث أن PRVM-WM يوفر ركيزة عالية الدقة لخوارزميات تحسين المسار، حيث يعمل كنموذج تأسيسي للوكلاء القائمين على النماذج. ومن خلال تفكيك الفيزياء المعقدة إلى بدائيات متعامدة، يقوم النموذج بـ:

• الحد من الانحراف طويل المدى في آفاق التخطيط، مما يتيح تفكيراً موثوقاً بعيد المدى في البيئات الغنية بالتلامس.
• تثبيت انتشار التدرج لتعلم السياسة، محولاً مشاهد الخسارة المتكسرة إلى مزيج محدب سلس وظيفياً.
• تمكين اتخاذ القرار القوي في الأنظمة الهجينة حيث تفشل النماذج العالمية القياسية بسبب التنعيم المفرط.

خلص المؤلفون إلى أن تفكيك الفيزياء المعقدة إلى بدائيات متعامدة هو أمر "ضروري جوهرياً لإتقان التحكم الغني بالتلامس". وبينما يتطلب الإطار الحالي ضبطاً يدوياً لعدد الخبراء $K$، فإن العمل يؤسس لقاعدة هيكلية لبناء نماذج عالمية عامة ومستندة إلى الفيزياء للوكلاء المستقبليين في العالم المادي.