Inference-time Physics Alignment of Video Generative Models with Latent World Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "محاذاة الفيزياء في وقت الاستنتاج لنماذج توليد الفيديو باستخدام نماذج العالم الكامنة" (Inference-time Physics Alignment of Video Generative Models with Latent World Models).

1. بيان المشكلة

تنتج نماذج توليد الفيديو المتطورة (مثل Sora، وMAGI-1، وvLDM) محتوىً جذاباً بصرياً، لكنها غالباً ما تنتهك مبادئ الفيزياء الأساسية (مثل الجاذبية، واستمرارية الأجسام، وديناميكيات السوائل). هذا الأمر يحد من فائدتها في مجالات الروبوتات، والقيادة الذاتية، ونمذجة العالم الموثوقة.

بينما تعزو الأبحاث السابقة هذا الفشل إلى عدم كفاية فهم الفيزياء أثناء مرحلة التدريب المسبق، يجادل المؤلفون بأن استراتيجيات الاستنتاج غير المثالية هي أيضاً سبب رئيسي. تعتمد طرق الاستنتاج الحالية غالباً على إعادة كتابة الأوامر (Prompts) أو استخدام النماذج اللغوية البصرية (VLMs) لتخطيط الحركة، وهي طرق إما محدودة النطاق أو تعمل بمستوى يقارب مستوى الصدفة عند استخدامها كإشارات مكافأة لصلاحية الفيزياء. وتفترض الورقة أن فضاء (Manifold) الفيديوهات ذات الصلاحية الفيزيائية موجود ضمن الفضاء الكامن للنموذج التوليدي، ولكنه يتطلب استراتيجيات محاذاة أفضل للوصر إليه.

2. المنهجية: WMReward

يقترح المؤلفون WMReward، وهو إطار عمل للمحاذاة في وقت الاستنتاج يعامل تحسين الصلاحية الفيزيائية كمسألة بحث موجهة بواسطة نموذج عالم كامن (LWM).

المفهوم الجوهري

بدلاً من إعادة تدريب النموذج التوليدي، تستخدم هذه الطة نموذج عالم كامن مدرب مسبقاً (تحديداً VJEPA-2) كدالة مكافأة لتوجيه عملية أخذ العينات (Sampling) لنموذج توليد الفيديو. تم اختيار نموذج العالم الكامن لأنه يتعلم التنبؤ بالحالات المستقبلية في فضاء كامن مضغوط، مع التركيز على الديناميكيات والبنية بدلاً من التفاصيل السطحية للبكسلات.

إشارة المكافأة (درجة المفاجأة)

يتم اشتقاق المكافأة من "المفاجأة" أو خطأ التنبؤ لنموذج العالم الكامن:

1. النافذة المنزلقة (Sliding Window): يتم تقسيم الفيديو المولد إلى إطارات سياقية ($C$) وإطارات مستقبلية ($M$).
2. التنبؤ: يقوم مشفر نموذج العالم الكامن بمعالجة الإطارات السياقية، ويحاول المتنبئ توقع التمثيل الكامن للإطارات المستقبلية.
3. المقارنة: تتم مقارنة التمثيل الكامن المتوقع مع التمثيل الكامن الفعلي للإطارات المستقبلية المولدة (التي تمت معالجتها بواسطة نفس مشفر نموذج العالم الكامن).
4. حساب المكافأة: تُعرف المكافأة $r(x)$ بأنها مقلوب تشابه جيب التمام (Cosine Similarity) بين التنبؤ والحقيقة الأرضية (المستقبل المولد):
   $$r(x) = \frac{1}{|K|} \sum_{k \in K} (1 - \cos(\hat{z}^{fut}_k, z^{fut}_k))$$
   • مفاجأة منخفضة (مكافأة عالية): تنبأ نموذج العالم الكامن بمستقبل الفيديو بدقة، مما يعني أن الفيديو يتبع القوانين الفيزيائية.
   • مفاجأة عالية (مكافأة منخفضة): شعر نموذج العالم الكامن بـ "المفاجأة"، مما يعني أن الفيديو يحتوي على ديناميكيات غير منطقية فيزيائياً.

مخططات أخذ العينات (Sampling Schemes)

يستعرض المؤلفون ثلاث استراتيجيات لأخذ العينات من التوزيع المرجح بالمكافأة $p^*(x) \propto w(x)p(x)$:

1. التوجيه ($\nabla$): يستخدم تدرج (Gradient) المكافأة لتوجيه مسار إزالة الضجيج (Denoising Trajectory) (قائم على التدرج).
2. أفضل $N$ من $N$ (BoN): توليد $N$ من العينات المستقلة واختيار العينة ذات المكافأة الأعلى (خالٍ من التدرج).
3. $\nabla$ + BoN: نهج هجين حيث يتم توليد $N$ من العينات باستخدام التوجيه بالتدرج، ثم يتم اختيار الأفضل بينها. يجمع هذا النهج بين فوائد توجيه التوزيع والترشيح للحصول على أعلى جودة.

3. المساهمات الرئيسية

1. المحاذاة في وقت الاستنتاج للفيزياء: تعيد الورقة صياغة الصلاحية الفيزيائية كمسألة محاذاة في وقت الاستنتاج، وتثبت أن النماذج المدربة مسبقاً يمكن توجيهها نحو الصحة الفيزيائية دون الحاجة لإعادة التدريب.
2. تصميم WMReward: تقدم إشارة مكافأة مبتكرة تعتمد على "المفاجأة" لنموذج عالم كامن (VJEPA-2)، وتظهر أن خطأ التنبؤ في الفضاء الكامن هو وسيط (Proxy) متفوق للصلاحية الفيزيائية مقارنة بأخطاء إعادة بناء البكسلات (VideoMAE) أو الأحكام الثنائية القائمة على النماذج اللغوية البصرية (Qwen-VL).
3. قوانين القياس (Scaling Laws): تثبت أن الصلاحية الفيزيائية تتوسع بفعالية مع زيادة حسابات وقت الاستنتاج (حجم فضاء البحث). يتحسن الأداء بشكل مستمر مع زيادة عدد الجسيمات ($N$)، خاصة عند الجمع مع التوجيه.
4. أداء رائد (State-of-the-Art): حققت نتائج قياسية جديدة على اختبار PhysicsIQ المرجعي، متفوقة على النماذج السابقة بفارق كبير.

4. النتائج التجريبية

تم تقييم الطريقة في ثلاثة إعدادات لتوليد الفيديو: صورة إلى فيديو (I2V)، وفيديو إلى فيديو (V2V)، ونص إلى فيديو (T2V)، باستخدام نماذج مثل MAGI-1 وvLDM وSora2.

• اختبار PhysicsIQ المرجعي:
  • توليد V2V: حققت درجة 62.64% (باستخدام MAGI-1 مع $\nabla$+BoN)، متجاوزة أفضل نتيجة سابقة بنسبة 7.42%.
  • توليد I2V: تفوقت على Sora2 بنسبة 4.13%.
  • المقارنة: تفوق WMReward بشكل كبير على إشارات المكافأة البديلة مثل VideoMAE وQwen-VL (التي كان أداؤها يقارب مستوى الصدفة).
• اختبار VideoPhy (T2V): أظهر تحسناً جوهرياً في الاتساق الفيزيائي (PC) لكل من vLDM (+6.9%) وMAGI-1 (+8.1%).
• دراسة التفضيل البشري:
  • فضل المقيمون الفيديوهات المولدة بواسطة WMReward على النماذج المرجعية في 54.9% (لحالة vLDM) و54.5% (لحالة MAGI-1) فيما يتعلق بالصلاحية الفيزيائية.
  • والجدير بالذكر أن الجودة البصرية والمواءمة مع الأوامر (Prompt Alignment) قد تم الحفاظ عليهما أو تحسينهما قليلاً، مما يشير إلى أن محاذاة الفيزياء لا تؤدي إلى تدهور الجودة الجمالية.
• التعميم: تعمل الطريقة عبر بنيات متنوعة (التوليد الذاتي/Autoregressive مقابل الانتشار/Diffusion) وأنواع مختلفة من التكييف (نص، صورة، فيديو).

5. الأهمية والأثر

• قابلية نماذج العالم الكامنة: يثبت هذا العمل أن نماذج العالم الكامنة، المصممة أصلاً للتنبؤ، يمكن أن تعمل كدوال مكافأة قابلة للاشتقاق وقوية لمهام التوليد.
• المقايضة بين الحوسبة والأداء: ترسي الورقة نموذجاً جديداً حيث يؤدي تخصيص المزيد من حسابات وقت الاستنتاج (عبر البحث والتوجيه) مباشرة إلى تحسين التفكير الفيزيائي، مما يوفر مساراً لتحسين موثوقية النماذج دون تكاليف إعادة تدريب هائلة.
• أساس للأبحاث المستقبلية: تشير الورقة إلى أنه بينما تواجه نماذج العالم الكامنة الحالية بعض القيود (مثل فهم خصائص المواد مثل الاحتكاك)، فإنها توفر أساساً قابلاً للتوسع لبناء نماذج عالم أكثر موثوقية. وتسلط الضوء على أن "فجوة الفيزياء" في الذكاء الاصطناዊ التوليدي يمكن جسرها من خلال استراتيجيات استنتاج أفضل والمحاذاة مع النماذج التنبؤية.

في الختام، نجح WMReward في سد الفجوة بين نماذج توليد الفيديو والواقع الفيزيائي من خلال الاستفادة من القدرة التنبؤية لنماذج العالم الكامنة كدليل أثناء عملية أخذ العينات، محققاً نتائج رائدة في الصلاحية الفيزيائية.