Correcting a learned physical invariant improves world-model rollouts
تُظهر هذه الورقة أنه بينما يمكن لنماذج العالم مثل DreamerV3 أن تتعلم تشفير الثوابت الفيزيائية مثل الطاقة من بيانات الفيديو، فإن هذه الثوابت تنحرف أثناء عمليات التدحرج الذاتية، وأن تصحيح الحالة الكامنة لتلبية القيد المتعلم يحسن دقة التنبؤ بشكل كبير.
في مجال الذكاء الاصطناعي، برز نوع محدد من البرمجيات يُعرف باسم "نموذج العالم" (world model) كأداة قوية للتنبؤ. تُدرب هذه الأنظمة على مشاهدة لقطات الفيديو وتعلُّم كيفية حركة العالم، مما يسمح لها بتخيل ما سيحدث بعد ذلك. إذا تعلم الروبوت التنبؤ بمسار كرة ساقطة أو أرجحة بندول، فبإمكانه استخدام تلك الاستبصارية للتخطيط لأفعاله الخاصة. ومع ذلك، يوجد فرق جوهري بين نموذج يتنبأ بالبكسلات بشكل صحيح ونموذج يفهم حقًا الفيزياء التي تحكم تلك البكسلات. قد يتعلم النموذج تخمين الإطار التالي للفيديو بدقة عالية من خلال رصد الأنماط، دون أن يستوعب أبدًا القوانين الأساسية للحركة، مثل الجاذبية أو حفظ الطاقة. هذا الفجوة تكتسب أهمية بالغة عندما نطلب من هذه النماذج تخيل سيناريوهات تتجاوز بكثير ما رأته أثناء التدريب؛ فإذا لم يحترم النموذج القواعد الأساسية للكون، فإن تنبؤاته طويلة المدى ستنزلق في النهاية نحو العبث.
سعى باحثون مؤخرًا لاختبار ما إذا كان نموذج عالم متطور، تم تدريبه فقط على فيديو لبندول يتأرجح، قد تعلم بالفعل قانون حفظ الطاقة الفيزيائي. استخدموا نظامًا يُدعى DreamerV3، والذي ثبتت قدرته على التنبؤ بإطارات الفيديو بفعالية، لكنهم جردوه من أي توجيه خارجي. تم تغذية النموذج بفيديوهات بحجم 64×64 بكسل لبندول يتأرجح في فراغ، دون تسميات توضح ماهية الطاقة، أو معادلات فيزيائية، أو مكافآت لكونه صحيحًا. كان الهدف هو معرفة ما إذا كان النموذج، بعد التدريب، قد اكتشف تلقائيًا رقمًا خفيًا داخل حالته الداخلية يظل ثابتًا بينما يتأرجح البندول، تمامًا كما تفعل الطاقة في العالم الحقيقي.
تحقق الفريق أولاً مما إذا كان بالإمكان "قراءة" النموذج للعثور على مثل هذا الرقم. واكتشفوا أنه حتى قبل تدريب النموذج، يمكن للتخمينات العشوائية لحالته الداخلية أن تنتج أحيانًا رقمًا يبدو كأنه طاقة. وهذا يشير إلى أن مجرد امتلاك المعلومات الصحيحة داخل النموذج لم يكن كافيًا لإثبات أنه تعلم الفيزياء. جاء الاختبار الحقيقي بعد التدريب. حلل الباحثون الحالة الداخلية لثلاثة نماذج تم تدريبها بشكل مستقل، ووجدوا أنها جميعًا قد تقاربت نحو نفس الرقم الخفي تقريبًا. تصرف هذا الرقم تمامًا مثل الطاقة الكلية للبندول: فقد ظل ثابتًا بينما يتأرجح البندول ذهابًا وإيابًا، مع تغير طفيف ناتج عن الحدود الطبيعية للمحاكاة. ومن الأهمية بمكان أن هذا الاتساق لم يظهر في النماذج المدربة على بندول مخمد، حيث يتسبب الاحتكاك في تلاشي الطاقة. في تلك الحالات، فشلت عملية البحث عن رقم محفوظ تمامًا، مما أثبت أن النماذج لم تكن تجد مجرد أنماط عشوائية، بل كانت تستجيب تحديدًا لوجود قانون حفظ فيزيائي.
ومع ذلك، ظهرت مشكلة أعمق عندما طلب الباحثون من النماذج تخيل المستقبل دون النظر إلى الفيديو الحقيقي. عندما تُركت النماذج للتنبؤ بحركة البندول بمفردها، بدأ الرقم الخفي الذي تعلمته بالانحراف. لقد تغيرت قيمته ببطء بمرور الوقت، مما أدى إلى انتهاك القانون الفيزيائي الذي بدا أن النموذج قد تعلمه. تسبب هذا الانحراف في جعل تنبؤات النموذج تصبح غير دقيقة بشكل متزايد. وللاختبار ما إذا كان هذا الانحراف هو سبب الخطأ، طبق الباحثون تصحيحًا بسيطًا: عند كل خطوة من خطوات التخيل، قاموا بإجبار الحالة الداخلية للنموذج على العودة إلى مستوى الطاقة الصحيح. لم يتضمن هذا التدخل إعادة تدريب النموذج أو تغيير كوده البرمجي؛ بل كان مجرد دفع الحالة الداخلية للعودة إلى المسار الصحيح. وكانت النتيجة فورية ومتسقة. في جميع النماذج الثلاثة التي تعلمت القانون الفيزيائي، أدى هذا التصحيح إلى تقليل الخطأ في تنبؤاتها لـ 50 خطوة بنسبة 3 بالمائة تقريبًا. في المقابل، فإن تطبيق تصحيح مماثل بناءً على رقم عشوائي لا معنى له جعل التنبؤات أسوأ عادةً.
تكشف الدراسة عن نمط فشل محدد في كيفية عمل هذه العقول الاصطناعية. لقد نجحت النماذج في ترميز قيد فيزيائي من البكسلات التي شاهدتها، لكنها فشلت في الحفاظ على ذلك القيد عندما حاولت التخيل للأمام. الأمر يشبه إلى حد ما طالبًا يمكنه تسميع قواعد اللعبة بدقة، لكنه يستمر في ارتكاب حركات غير قانونية عندما يلعب بمفرده. تشير الأبحاث إلى أنه بينما يمكن لنماذج العالم تعلم هيكل القوانين الفيزيائية، فإنها لا تحترم تلك القوانين تلقائيًا أثناء عمليات المحاكاة الداخلية الخاصة بها. يسلط هذا الاكتشاف الضوء على الفجوة بين تعلم النمط وفهم القاعدة، مظهرًا أنه حتى الأنظمة المتقدمة يمكنها حمل حقيقة فيزيائية في ذاكرتها بينما تنتهكها في آن واحد في خيالها. لا يدعي هذا العمل أنه حل هذه المشكلة لجميع الأنظمة المعقدة، ولكنه يوفر طريقة واضحة لتحديد متى تعلم النموذج ثابتًا فيزيائيًا وطريقة ملموسة لإصلاح الأخطاء التي تنشأ عندما ينسى تطبيق ذلك القانون.
ملخص تقني: تصحيح ثابت فيزيائي مُتعلم يحسن عمليات التنبؤ للنماذج العالمية
بيان المشكلة تتمتع النماذج العالمية، مثل DreamerV3، بالقدرة على التنبؤ بملاحظات الفيديو المستقبلية واستخدام هذه التنبؤات للتخطيط. ومع ذلك، فإن التنبؤ بالفيديو عالي الجودة لا يعني بالضرورة أن النموذج قد تعلم الديناميكيات الفيزيائية الأساسية للنظام المرصود. هناك تمييز جوهري بين نموذج يحتفظ فقط بمعلومات حول متغير فيزيائي (قابلية فك التشفير/decodability) ونموذج تكون فيه ديناميكيات الانتقال الداخلية تحترم بالفعل القوانين الفيزيائية التي تحكم ذلك المتغير. الطرق السابقة، مثل استقصاء الحالات الخفية للمتغيرات الفيزيائية، تخلط بين هذين المفهومين؛ إذ يمكن أن يوجد ارتباط قوي بين الحالة الكامنة وكمية فيزيائية (مثل الطاقة) حتى في النماذج ذات التهيئة العشوائية أو النماذج التي تفشل في احترام قوانين الحفظ أثناء التنبؤ الذاتي. يبحث هذا البحث فيما إذا كان النموذج العالمي المدرب على فيديو بندول يتعلم ثابتاً قياسياً (scalar invariant) تحافظ ديناميكيات انتقاله تقريباً عليه، وما إذا كان الفشل في الحفاظ على هذا الثابت يساهم في خطأ التنبؤ أثناء عمليات التنبؤ الذاتي (rollouts).
المنهجية تستخدم الدراسة بنية DreamerV3 مجمدة مدربة حصرياً على إطارات فيديو بحجم 64×64 من بندول (Pendulum-v1) من مكتبة Gymnasium دون تسميات فيزيائية، أو فاعلين (actors)، أو نقاد (critics). تتكون بيانات التدريب من 204 مسارات، كل منها يتكون من 120 إطاراً، مع ضبط الأفعال عند الصفر وأخذ الحالات الأولية كعينات موحدة.
تتقدم المنهجية عبر ثلاث مراحل:
استعادة الثابت (Invariant Recovery): يحلل المؤلف الحالات المتكررة الحتمية (h) للنموذج المدرب. يقومون بإسقاط هذه الحالات إلى فضاء كامن ذي 12 بُعداً (z) باستخدام تحليل المكونات الرئيسية (PCA). يبحثون عن دالة قياسية C(z)، تُعرف بأنها متعدد حدود من الدرجة الرابعة فوق الإحداثيات الكامنة، والتي تكون محفوظة تقريباً على طول المسارات المشروطة بالملاحظة. يبحث البحث عن تقليل نسبة التباين داخل المسار إلى التباين الكلي (خارج قسمة رايلي). وللتمييز بين الدوال المحفوظة بشكل تافه (مثل E مقابل E2)، يتم تطبيق معيار ثانوي وهو "محاذاة التدفق" (flow alignment)، حيث يتم ملاءمة مؤثر غير متماثل B بحيث يقترب مجال الإزاحة للنموذج من B∇C.
تجارب الضبط (Control Experiments): لضمان أن الثابت المستعاد هو نتيجة لتعلم الديناميكيات وليس نتاجاً لعملية الاستخراج، يستخدم المؤلف ضوابط اثنين:
الأساس غير المدرب: تم إخضاع ستة نماذج DreamerV3 ذات تهيئة عشوائية لنفس عملية استخراج البيانات.
الضبط المخمد (Damped Control): تم تدريب ثلاثة نماذج على نظام بندول مخمد حيث لا يتم حفظ الطاقة. تم اختيار نسبة التخميد بعناية لضمان عدم انهيار المسارات بشكل تافه مع إزالة قانون الحفظ.
التدخل وتصحيح التنبؤ (Intervention and Rollout Correction): يختبر المؤلف ما إذا كان الثابت المستعاد C يُنتهك أثناء التخيل الذاتي (rollouts). يقومون بإدخال آلية تصحيح تقوم بإسقاط الحالة الكامنة مرة أخرى نحو مستوى المجموعة (level set) الأولي في كل خطوة من حلقات التخيل: z←z−α(C(z)−C0)∥∇C(z)∥2∇C(z). تُقاس فعالية هذا التصحيح من خلال تقليل متوسط الخطأ التربيعي للبكسلات عبر تنبؤات مدتها 50 خطوة. تتم مقارنة ذلك بقيود متعدد الحدود العشوائية المتطابقة وتطبيق القيد المستعاد على النماذج المخمدة.
النتائج الرئيسية
قابلية تكرار الثوابت: استعادت ثلاثة نماذج محافظة مدربة بشكل مستقل ثوابت تشبه الطاقة متطابقة تقريباً، حيث تراوحت الارتباطات بالطاقة الحقيقية للبندول (∣ρ∣E) بين 0.967 و0.975. في المقابل، أظهرت ستة نماذج ذات تهيئة عشوائية تشتتاً واسعاً (0.17–0.908)، مما يشير إلى أن التدريب يجعل استعادة هذا الثابت القياسي عملية قابلة للتكرار، وليس مجرد عملية فك تشفير.
الغياب في الأنظمة المبددة: عند تطبيق نفس العملية على النماذج المدربة على ديناميكيات مخمدة، لم يتم العث وجود أي ثابت قياسي مماثل. كان "الانحراف" في الثابت المستعاد في النماذج المخمدة أكبر بنحو 2,400 مرة منه في النماذج المحافظة، وكانت نسبة الثبات قريبة من 1.0 (مما يشير إلى عدم وجود حفظ). يؤكد هذا أن العملية لا تصنع ثوابت حيث لا توجد.
التصحيح يحسن التنبؤ: أثناء عمليات التنبؤ الذاتي، ينحرف الثابت المستعاد C. يؤدي فرض القيد عن طريق إسقاط الحالة الكامنة للعودة إلى مستوى المجموعة الأولي إلى تقليل خطأ التنبؤ لمدة 50 خطوة بنسبة 2.9% إلى 3.5% عبر جميع النماذج الثلاثة المحافظة.
خصوصية التحسين: تؤدي قيود متعدد الحدود العشوائية المتطابقة عموماً إلى زيادة خطأ التنبؤ (متوسط زيادة قدره +53.9%). التحسين خاص بالثابت المستعاد في نموذجين من أصل ثلاثة؛ وفي النموذج الثالث، أدت بعض القيود العشوائية أداءً أفضل، رغم أن الثابت المستعاد لا يزال يوفر تحسيناً ثابتاً مقارنة بالأساس.
الآلية: يعمل التصحيح بشكل تفضيلي على طول الاتجاهات الكامنة التي تسبب ضرراً كبيراً للتنبؤات (الحساسية السببية)، بدلاً من العمل ببساطة على طول أعلى الاتجاهات تبايناً. هناك ارتباط سلبي بين رتبة التباين ورتبة الضرر، مما يشترح أن تراكم الخطأ في النموذج مدفوع باتجاهات محددة ذات تباين منخفض ولكن حساسية عالية.
الأهمية والادعاءات يدعي البحث إظهار نمط فشل ملموس في النماذج العالمية: يمكن للنموذج أن يتعلم قيداً فيزيائياً من البكسلات (ترميز ثابت يشبه الطاقة) ومع ذلك ينتهك هذا القيد عند التخيل المستقبلي ذاتياً. تميز النتائج بين الثابت الذي له معنى ديناميكي وبين مجرد الارتباط القابل لفك التشفير.
يؤكد المؤلف أنه بينما يكون التحسين في خطأ التنبؤ متواضعاً (2.9–3.5%) وأن الدراسة محدودة بدرجة حرية واحدة وبنية محددة، فإن النتائج مهمة لأنها تظهر أن:
التعلم مقابل الاحترام: يمكن للنموذج العالمي ترميز قيد ديناميكي مفيد ولكنه يفشل في احترامه أثناء التنبؤ.
صحة التدخل: تصحيح انتهاك ثابت مستعاد يحسن دقة التنبؤ مباشرة، مما يشير إلى أن انحراف هذا الثابت هو مصدر رئيسي للخطأ في التنبؤات طويلة المدى.
ضرورة الضبط: كان استخدام الضوابط المخمدة وغير المدربة ضرورياً لإثبات أن الهيكل المستعاد هو نتاج للديناميكيات المتعلمة، وليس نتاجاً للتمثيل أو طريقة الاستخراج.
يختتم البحث بالإشارة إلى أن مسألة استمرار هذه الظاهرة في الأنظمة التي تحتوي على أفعال، وتلامسات، وأجسام متعددة متفاعلة تظل سؤالاً مفتوحاً، وأن النتائج الحالية، رغم تواضع حجم تأثيرها، إلا أنها واضحة في دلالتها بشأن الفجوة بين تعلم الهيكل واحترامه.