🤖 AI

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

يقدم نموذج HaM-World نموذج عالم مهيكل يدمج الذاكرة الانتقائية القائمة على Mamba مع فضاء كامن "سافت-هاميلتوني" (Soft-Hamiltonian) مفكك لاستقرار التخطيط طويل الأمد وتحسين المتانة بشكل كبير ضد تحولات الديناميكيات خارج نطاق التوزيع.

المؤلفون الأصليون: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haoyun Tang, Haodong Cui, Keyao Xu, Kun Wang, Zhandong Mei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت لعب لعبة معقدة، مثل التلاعب بالكرات (juggling) أو موازنة عمود. للقيام بذلك بشكل جيد، يحتاج الروبوت إلى "نموذج عالم" (world model)—وهو محاكاة داخلية تسمح له بتخيل ما سيحدث إذا اتخذ إجراءً معيناً قبل القيام به فعلياً.

تقدم هذه الورقة البحثية HaM-World، وهو نوع جديد من نماذج العالم المصممة لجعل هذه المحاكاة الذهنية أكثر استقراراً ودقة، خاصة على الفترات الطويلة أو عندما تتغير قواعد اللعبة قلياً.

إليك كيف يعمل، مقسماً إلى مفاهيم وأمثى تشبيهية بسيطة:

1. المشكلة: "أحلام اليقظة" تصبح ضبابية

نماذج العالم الحالية تشبه طالباً يحاول حفظ قصة عن طريق قراءتها جملة بجملة. إذا كانت القصة قصيرة، فسيحفظها بدقة. ولكن إذا حاول تخيل القصة بعد 100 خطوة في المستقبل، فإن التفاصيل تصبح ضبابية وتنهار القصة.

المشكلة: كلما خطط الروبوت للمستقبل لمسافات أبعد، تصبح توقعاته غير مستقرة. كما أنه يعاني إذا تغيرت البيئة (على سبيل المثال، إذا أصبحت الأرض زلقة أو أصبح ذراع الروبوت أثقل).
السبب: تجادل الورقة بأن النماذج الحالية تخلط بين الكثير من الأشياء في "دماغها". فهي تخلط بين موقع الروبوت (أين هو)، وزخمه (مدى سرعة حركته)، والسياق (ما هو الهدف أو ما إذا كانت الأرض مبللة). هذا الخلط يتسبب في تراكم الأخطاء بسرعة.

2. الحل: "دماغ" متخصص بـ ثلاث غرف

يحل HaM-World هذه المشكلة عن طريق تنظيم الحالة الداخلية للروبوت في ثلاث "غرف" أو مقصورات متميزة، بدلاً من غرفة واحدة فوضوية:

الغرفة (أ): محرك الفيزياء (q و p)
هذه الغرفة تتعامل مع الفيزياء البحتة: الموقع ( $q$ ) والزخم ( $p$ ). يستخدم المؤلفون هنا مفهوماً رياضياً يسمى ديناميكيات هاميلتون (Hamiltonian dynamics).
- التشبيه: فكر في هذا كـ طاولة بلياردو. على طاولة البلياردو، تُحفظ الطاقة؛ حيث تصطدم الكرات ببعضها البعض بطرق يمكن التنبؤ بها. يحاول HaM-World جعل موقع الروبمار وزخمه يتصرفان مثل كرات البلياردو. هذا يخلق "هيكلاً" مستقراً للمحاكاة، مما يمنع الروبوت من تخيل فيزياء مستحيلة (مثل تسارع كرة فجأة دون سبب).
- اللمسة "المرنة": الحياة الواقعية ليست طاولة بلياردو مثالية؛ فهناك احتكاك، والروبوت لديه محركات. لذا، يستخدم HaM-World نهج "هاميلتون الناعم" (Soft-Hamiltonian). فهو يحافظ على هيكل طاولة البلياردو المستقر، ولكنه يسمح بطبقة "متبقية" (residual) لتعلم الأشياء المعقدة في العالم الحقيقي مثل الاحتكاك والتحكم في المحركات.
الغرفة (ب): غرفة السياق (c)
هذه الغرفة تحتوي على المعلومات التي لا تتبع قواعد طاولة البلياردو.
- التشبيه: هذه بمثابة دفتر ملاحظات الروبوت. هو يدون أشياء مثل "الهدف هو تدوير الإصبع"، "الأرض زلقة"، أو "أحتاج لأن أكون حذراً". هذه تفاصيل دلالية لا تناسب الفيزياء البحتة للموقع والسرعة، لكنها حاسمة لمعرفة ما يجب فعله.
الغرفة (ج): غرفة الذاكرة (Mamba)
هذه هي الذاكرة قصيرة المدى للروبوت.
- التشبيه: أحياناً لا يستطيع الروبوت رؤية كل شيء (رؤية جزئية)، أو قد يكون هناك تأخير بين اتخاذ القرار وحركة الروبوت الفعلية. النموذج القياسي قد ينسى ما حدث قبل 5 ثوانٍ. يستخدم HaM-World نظام ذاكرة خاصاً يسمى Mamba يعمل كفلتر انتقائي. هو يتذكر الأجزاء المهمة من الماضي اللازمة لاتخاذ قرار في اللحظة الحالية، مما يضمن عدم "ضياع" الروبوت في أحلام يقظته.

3. كيف تعمل معاً

عندما يخطط الروبوت لحركة، فهو لا يخمن فقط. بل يقوم بتشغيل محاكاة (rollout) داخل رأسه:

ينظر إلى الحالة الحالية.
يستخدم غرفة الذاكرة لاستكمال أي تفاصيل مفقودة من الماضي.
يحدث غرفة الفيزياء باستخدام قواعد طاولة البلياردو المستقرة، المعدلة بواسطة التحكم في المحركات.
يحدث غرفة السياق بالمعلومات الجديدة حول الهدف أو البيئة.
يكرر ذلك لخطوات عديدة في المستقبل ليرى أي إجراء سيؤدي إلى أفضل نتيجة.

لأن جزء الفيزياء مستقر للغاية (مثل طاولة البلياردو) وجزء الذاكرة جيد جداً في سد الفجوات، تظل "أحلام يقظة" الروبوت واضحة ودقيقة حتى في عمليات التخطيط طويلة المدى.

4. النتائج: أفضل في كل شيء

اختبر المؤلفون HaM-World في أربع مهام روبوتية قياسية (مثل ركض حيوان "الشيتا" أو تدوير إصبع حول جسم).

الدقة: ارتكب أخطاء أقل بكثير عند تخيل المستقبل مقارنة بالنماذج الرائدة الأخرى. في الواقع، كانت أخطاء التنبؤ طويل المدى لديه أقل من نصف أخطاء النموذج التالي الأفضل.
القوة (Robustness): عندما قام الباحثون بتغيير قواعد اللعبة (مثل جعل الروبوت أثقل، أو إبطاء حركاته، أو إخفاء أجزاء من رؤيته)، حافظ HaM-World على أدائه الجيد. كان النموذج الوحيد الذي حافظ على أعلى درجة في كل حالة اختبار صعبة.
الكفاءة: تعلم التحكم في الروبوتات بشكل أسرع وبمحاولات تدريب أقل من الطرق الأخرى.

الملخص

HaM-World يشبه منح الروبوت خريطة داخلية أفضل. بدلاً من رسم تخطيطي ضبابي ومختلط، فإنه يمنحه خريطة منظمة ذات أساس فيزيائي مستقر (طاولة البلياردو)، ومكان للملاحظات الهامة (السياق)، وذاكرة موثوقة (الفلتر). هذا يسمح للروبوت بالتخطيط لأفعال معقدة وطويلة المدى دون أن يرتبك أو يفقد طريقه، حتى عندما يتغير العالم من حوله.

ملخص تقني: HaM-World

1. بيان المشكلة

تُمكّن النماذج العالمية (World Models) التخطيط القائم على النموذج من خلال تعلم الديناميكيات الكامنة لإجراء عمليات محاكاة تخيلية. ومع ذلك، مع امتداد أفق التخطيط أو تغير ديناميكيات البيئة، غالبًا ما تصبح هذه المحاكات التخيلية غير مستقرة. يرى المؤلفون أن عدم الاستقرار هذا ينبع من نقص مكونين هيكليين في التمثيلات الكامنة الموجهة للمخطط (Planner-facing):

الاكتمال الماركوفي التقريبي (Approximate Markov Completeness): يؤدي عدم اكتمال الملاحظة وتأخير الأفعال إلى جعل التمثيلات الكامنة أحادية الإطار غير كافية كحالات ماركوفية، ومع ذلك تفتقر النماذج الحالية غالبًا إلى الذاكرة المشروطة بالتاريخ لمعالجة ذلك.
التنظيم الهندسي (Geometric Organization): تعمل التمثيلات الكامنة المتجانسة (Monolithic) على خلط التكوين، والزخم، ودلالات المهام. يتسبب هذا الخلط في نمو أخطاء التنبؤ متعددة الخطوات دون قيود هيكلية، مما يؤدي إلى ضعف الاستقراء للهيكل الفيزيائي تحت أنظمة التحكم المضطربة.

تركز النهج الحالية بشكل أساسي على التقاط الارتباطات الإحصائية بدلاً من البنية التوليدية الأساسية (مثل الثوابت والقوانين الحافظة)، مما ينتج عنه مخططات تعاني في تحقيق الاتساق طويل الأمد والتعميم خارج التوزيع (OOD).

2. المنهجية: HaM-World

يقترح المؤلفون HaM-World (HMW)، وهو نموذج عالمي مهيكل يقوم بتفكيك الحالة الكامنة إلى واجهة موحدة مشتركة عبر التنبؤ بالديناميكيات، وتقدير المكافأة/القيمة، والمحاكاة التخيلية، والبحث عن الأفعال باستخدام طريقة الاعتلاج (CEM). تتكون البنية من ثلاثة مكونات أساسية:

أ. التفكيك الكامن ( $q, p, c$ )

يتم تقسيم الحالة الكامنة $z_t$ صراحةً إلى:

الفضاء الجزئي القانوني $(q, p)$ : يمثل التكوين والزخم. يخضع هذا الفضاء لسابقة "هاميلتون الناعمة" (Soft-Hamiltonian).
الفضاء الجزئي السياقي $c$ : يلتقط العوامل الدلالية، والتبددية، وغير الحافظة (مثل تبديل التلامس، الاحتكاك، دلالات المهام) التي لا تخضع بصرامة لقانون حفظ الطاقة.

ب. ديناميكيات هاميلتون الناعمة (Soft-Hamiltonian Dynamics)

بدلاً من فرض حفظ صارم للطاقة (وهو أمر مقيد للغاية للأنظمة المتحكم بها التي تحتوي على احتكاك وتلامس)، يستخدم HaM-World تحديث "هاميلتون ناعم" لزوج $(q, p)$ :
$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$
$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$

$H_\phi(q, p)$ : حقل طاقة قابل للتعلم.
$\alpha$ : معامل خلط يوازن بين تحديثات الشبكة المعتمدة على البيانات ومجال المتجه الهاميلتوني.
$G_t a_t$ : قوة تحكم متعلمة صريحة تُضاف إلى تحديث الزخم.
الآلية: يسمح هذا التصميم للنموذج بالحفاظ على هيكل هندسي منظم بالطاقة لضمان الاستقرار، مع الاحتفاظ بالمرونة لتناسب التلامس، والاحتكاك، وأهداف المهام عبر الديناميكيات المتبقية وقوى التحكم.

ج. الذاكرة الانتقائية (Mamba)

لمعالجة عدم اكتمال الملاحظة وتأخير الأفعال، يدمج HaM-World نماذج حالة الفضاء الانتقائية (Mamba) كمدخل مشروط بالتاريخ ( $h_t$ ) للديناميكيات الكامنة.

على عكس نماذج المحاكاة التكرارية المتوازية، يوفر Mamba مدخلاً واحداً مشروطاً بالتاريخ لنفس الديناميكيات الكامنة المستخدمة من قبل المخطط.
يضمن هذا بقاء واجهة المخطط موحدة عبر التدريب، والمحاكاة التخيلية، والبحث باستخدام CEM دون الحاجة إلى حالة تكرارية منفصلة للمخطط.

د. أهداف التدريب

يتم تدريب النموذج باستخدام دالة خسارة مركبة تتضمن:

اتساق المحاكاة متعدد الخطوات ( $L_{roll}$ ): يحد من تراكم الخطأ عبر أفق التخطيط.
المحاذاة الهاميلتونية ( $L_{ham}$ ): انحياز اتجاهي ناعم يحاذي فرع الشبكة مع مجال المتجه الهاميلتوني.
تنظيم الطاقة الخالي من الأفعال ( $L_{energy}$ ): يمنع انحراف الطاقة في غياب الأفعال.
الأهداف القياسية: محاذاة تمثيل من نوع JEPA، واتساق الديناميكيات أحادي الخطوة، وانحدار المكافأة/القيمة (باستخدام أهداف symlog two-hot).

3. المساهمات الرئيسية

ديناميكيات موجهة للمخطط مهيكلة: تقديم تفكيك كامن $q/p/c$ يربط الذاكرة الانتقائية لـ Mamba مع ديناميكيات $(q, p)$ الهاميلتونية الناعمة. يوفر هذا واجهة كامنة واحدة للتخطيط بـ CEM، وتقدير المكافأة، والتنبؤ بالديناميكيات.
تقييم مدرك للآليات: بروتوكول تقييم شامل يتضمن أداء التحكم القياسي، واتساق المحاكاة طويلة الأمد (MSE عند $k \in \{3, 5, 7\}$ )، و12 اضطراباً خارج التوزيع (OOD).
المكاسب التجريبية: أظهر تفوقاً في مقاييس متعددة، وتحديداً في الاستقرار طويل الأمد والمتانة خارج التوزيع (OOD)، مدعوماً بتشخيصات الآلية التي أظهرت انحرافاً محدوداً في الطاقة ونقلاً متسقاً للطاقة المستحث بالتحكم.

4. النتائج التجريبية

تم التقييم على أربع مهام من مجموعة DeepMind Control Suite (DMC) (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) بميزانية عينات قدرها 100 ألف خطوة:

أداء التحكم: حقق HaM-World أعلى متوسط مساحة تحت المنحنى (Avg. AUC) قدره 117.9، متفوقاً على TD-MPC2 (+9.5%)، وSAC (+66.3%)، وDreamerV3 (+101.2%). كما حقق أعلى عائد نهائي في مهام Finger Spin وReacher Easy.
الاستقرار طويل الأمد: قلل HaM-World خطأ المحاكاة طويلة الأمد إلى 45% مقارنة بالنموذج المرجعي القوي (TD-MPC2) وإلى 14.3% مقارنة بـ DreamerV3. وفاز في 11 من أصل 12 خلية MSE لـ $k \in \{3, 5, 7\}$ .
التعميم خارج التوزيع (OOD): تحت 12 اضطراباً (بما في ذلك تغييرات الكتلة، التخميد، الاحتكاك، تأخير الأفعال، وحجب الملاحظات)، حقق HaM-World أعلى عائد في كل حالة.
- في مهمة Finger Spin، أظهر زيادة في متوسط عائد OOD بنسبة 10.2% عن TD-MPC2.
- في مهمة Reacher Easy، أظهر زيادة في متوسط عائد OOD بنسبة 13.6% عن TD-MPC2.
تشخيصات الآلية:
- انحراف الطاقة: في عمليات المحاكاة الخالية من الأفعال، ظلت طاقة هاميلتون المتعلمة مستقرة تقريباً (انحراف حوالي 1%)، مما يؤكد بنية هاميلتون الناعمة.
- اقتران التحكم: أظهر التحليل أن "دفع" الفعل (إسقاط التحكم على $\nabla_p H$ ) يرتبط باستمرار بعبور طبقة الطاقة، مما يؤكد تصميم الهاميلتون المتحكم به.
- الدراسة الاستبعادية (Ablation): أدى إزالة الهيكل الهندسي (A1) أو الذاكرة (A2) إلى تدهور الأداء بشكل كبير. ومن الجدير بالذكر أن الذاكرة كانت المتطلب الأساسي للقدرة على الاستخدام تحت ظروف الملاحظة الجزئية، بينما رفعت بنية هاميلتون الناعمة سقف متانة المحاكاة.

5. الأهمية والادعاءات

يزعم البحث أن HaM-World يثبت أن التعامل مع الاكتمال الماركوفي (عبر الذاكرة الانتقائية) والاتساق الهندسي (عبر بنية هاميلتون الناعمة) كخطوات مقترنة لديناميكيات كامنة موحدة يحسن بشكل كبير من أداء المخطط.

الهيكلي مقابل الإحصائي: تُعزى المكاسب إلى قدرة النموذج على دمج الانتظامات الفيزيائية (تنظيم الطاقة) بدلاً من الاعتماد فقط على ملاءمة الارتباطات الإحصائية.
الواجهة الموحدة: يوضح العمل أن حالة كامنة واحدة، مشتركة بين التنبؤ وتقدير القيمة والتخطيط، يمكن جعلها مستقرة وفعالة للمهام طويلة الأمد إذا احترمت الفصل بين الديناميكيات الحافظة ( $q, p$ ) والسياق غير الحافظ ( $c$ ).
المتانة: يقدم هذا العمل حلاً هيكلياً لعدم استقرار المحاكاة التخيلية، مما يسمح باستقراء أفضل تحت تحولات التوزيع والاضطرابات دون الحاجة إلى حالات تكرارية منفصلة للمخطط.

القيود: يشير المؤلفون إلى أن عملهم الحالي يقتصر على الملاحظات القائمة على الحالة في أربع مهام من DMC. يظل التوسع ليشمل مدخلات بكسلية، وأشكال مورفولوجية أوسع، وسيناريوهات التلامس المتقطع تحدياً مفتوحاً. تدعم التشخيصات الواجهة المتعلمة ولكنها لا تثبت أن الديناميكيات هي هاميلتونية عالمياً.