DreamWorld: Unified World Modeling in Video Generation

1. بيان المشكلة

تتفوق نماذج تحويل النص إلى فيديو (T2V) الحالية (مثل Wan2.1 وLumiere) في الدقة البصرية ومطابقة التوزيع على مستوى البكسل، لكنها تفشل في العمل كـ محاكيات حقيقية للعالم (world simulators). فهي تفتقر إلى فهم موحد ومتماسك للعالم الفيزيائي، مما يؤدي إلى:

• المقبولية السطحية: تبدو الفيديوهات واقعية من حيث الإطار الواحد (frame-by-frame)، لكنها تنتهك القوانين الفيزيائية (مثل ديناميكا السوائل أو ثبات الأشياء).
• معرفة عالمية غير متسقة: تحاول الطرق الحالية حقن المعرفة العالمية عبر محاذاة التمثيل (REPA)، والتي تعتمد عادةً على محاذاة نموذج خبير واحد فقط (مثل التركيز على الجوانب الدلالية فقط أو الحركية فقط).
• معضلة التحسين متعدد الأهداف: إن توسيع منهجية REPA بشكل عشوائي للمحاذاة مع مصادر معرفية متباينة (دلالية، مكانية، وزمنية) في آن واحد يتسبب في تضارب التدرجات (gradients). وينتج عن ذلك عدم استقرار في عملية التحسين، وظهور عيوب بصرية، ووميض زمني (temporal flickering)، مما يمنع النموذج من استيعاب نموذج عالم شامل.

2. المنهجية: إطار عمل DreamWorld

يقترح DreamWorld إطار عمل موحداً يدمج المعرفة العالمية المتكاملة في مولد فيديو عبر نموذج نمذجة عالم مشترك.

أ. أولويات المعرفة العالمية

يبني إطار العمل فضاء ميزات مركباً ($Z_{world}$) من خلال توحيد ثلاثة أبعاد أساسية للواقع:

1. الديناميكيات الزمنية: يتم ترميزها عبر التدفق البصري (Optical Flow) باستخدام (RAFT) لالتقاط مسارات البكسل الكثيفة.
2. الاتساق الدلالي: يتم استخراجه عبر DINOv2 لضمان التزام الأشياء بالقواعد الوصفية (prompts) والحفاظ على هويتها.
3. الهندسة المكانية: يتم نمذجتها عبر VGGT لفرض القيود الهندسية ثنائية الأبعاد والاتساق الهيكلي ثلاثي الأبعاد.

ب. تكامل الميزات المشترك

بدلاً من معاملة المعرفة العالمية كإشارة شرطية بسيطة، يقوم DreamWorld بتوسيع طبقات المدخلات والمخرجات لـ محول الانتشار (DiT) (المبني على Wan2.1):

• المدخلات: دمج ميزات الفيديو الكامنة ($z_{vae}$) مع تنسور المعرفة العالمية ($Z_{world}$).
• المخرجات: يتنبأ النموذج بـ حقل سرعة مشترك يتم تفكيكه إلى مكونات خاصة بكل نمط (المظهر البصري، الزمني، الدلالي، والمكاني).
• التهيئة: يتم تهيئة أوزان تيار المعرفة العالمية الجديد لتكون صفراً، مما يضمن أن يبدأ النموذج بسلوك Wan2.1 المدرب مسبقاً ثم يتعلم تدريجياً الأولويات الجديدة.

ج. تكييف القيود المتسق (CCA)

لحل مشكلة عدم الاستقرار الناتجة عن تحسين أهداف متباينة في وقت واحد، اقترح المؤلفون تقنية CCA:

• الآلية: استراتيجية اضمحلال ديناميكي لأوزان الخسارة ($\lambda$) المرتبطة بقيود المعرفة العالمية.
• العملية: تبدأ الأوزان بكثافة أولية ($\lambda_{base} = 0.2$) وتضمحل تدريجياً نحو الصفر على مدار مدة التدريب ($T_{total}$) باستخدام جدول تكييف جيب التمام (cosine annealing schedule).
• الهدف: تعطي هذه الطريقة الأولوية لإعادة البناء البصري عالي الدقة في المراحل المبكرة، ثم تخفف القيود تدريجياً للسماح للنموذج باستيعاب أولويات العالم دون إدخال عيوب أو وميض.

د. التوجيه الداخلي متعدد المصادر (الاستدلال)

أثناء مرحلة الاستدلال، يستخدم إطار العمل آلية التوجيه الداخلي متعدد المصادر:

• يقوم بتوسيع توجيه التصنيف الخالي من الحالة (CFG) للاستفادة من ميزات المعرفة المتوقعة من النموذج نفسه.
• يتم تعديل حقل السرعة كتركيبة خطية من التنبؤات المشروطة بالكامل والتنبؤات غير المشروطة الخاصة بكل ميزة (عبر حجب قنوات معرفة عالمية محددة).
• الأوزان: يتم إعطاء الأولوية للتوجيه النصي ($w_{txt}=5$)، بينما تُعطى أولويات المعرفة العالمية (الزمنية، الدلالية، المكانية) أوزاناً متوسطة ($w=1$) لتوجيه التوليد نحو قوانين العالم الحقيقي دون طغيانها على الوصف النصي.

3. المساهمات الرئيسية

1. إطار عمل موحد: أول إطار عمل لتوليد الفيديو يدمج المعرفة العالمية متعددة المصادر (الاتساق الدلالي ثلاثي الأبعاد، الديناميكيات الزمنية للحركة، والهندسة المكانية ثنائية الأبعاد) في نموذج مشترك واحد.
2. تكييف القيود المتسق (CCA): استراتيجية تدريب مبتكرة توائم بين حقن المعرفة العالمية المعقدة وبين الجودة البصرية، مما يمنع انهيار عملية التحسين ويضمن توليداً خالياً من العيوب.
3. التوجيه الداخلي متعدد المصادر: آلية استدلال قابلة للتحكم تستخدم تنبؤات النموذج الداخلية للالتزام الصارم بقوانين الفيزياء والمنطق في العالم الحقيقي.
4. أداء رائد (SOTA): يضع معياراً جديداً لنماذج العالم، متفوقاً على النماذج المرجعية القوية مثل Wan2.1 وVideoJAM.

4. النتائج التجريبية

تم تقييم النموذج باستخدام VBench و VBench 2.0 و VideoPhy و WorldScore.

• VBench: حقق DreamWorld درجة إجمالية قدرها 80.97، متفوقاً على نموذج Wan2.1 المعدل (78.71) ونموذج VideoJAM (78.76). كما أظهر تحسناً ملحوظاً في الوميض الزمني وسلاسة الحركة.
• VBench 2.0: حقق إجمالي درجات قدره 52.97، متصدراً في دقة المحاكة البشرية والقدرة على التحكم، مما يثبت توازناً فائقاً بين حرية التوليد والقيود الفيزيائية.
• VideoPhy (الحس المشترك الفيزيائي): حقق DreamWorld أفضل درجة في الحس المشترك الفيزيائي (PC) بنسبة 26.2% والالتزام الدلالي (SA) بنسبة 52.9%، متفوقاً بشكل كبير على VideoJAM (25.3% في PC). وهذا يؤكد قدرته على محاكاة التفاعلات الفيزيائية (مثل ديناميكا السوائل واصطدام الأجسام).
• WorldScore: حقق أعلى درجة إجمالية (51.48)، مما يؤكد القدرة الفائقة في كل من الجودة البصرية الثابتة والتماسك الزمني الديناميكي.
• التحليل النوعي: تظهر المقارنات البصرية أن DreamWorld يتعامل بشكل صحيح مع السيناريوهات المعقدة (مثل السائل الطافي في حالة انعدام الجاذبية، أو الاحتجاب في الفضاء ثلاثي الأبعاد) حيث تفشل النماذج المرجعية بحدوث اختراقات هندسية أو تشوهات غير طبيعية.

5. الأهمية

يمثل DreamWorld تحولاً جذرياً من المولدات البصرية إلى محاكيات العالم. ومن خلال نجاحه في توحيد مصادر المعرفة المتباينة عبر نهج النمذجة المشتركة وتثبيت التدريب عبر تقنية CCA، فإنه يسد الفجوة بين التوليد عالي الدقة والتماسك الجوهري للعالم. يوفر هذا العمل أساساً متيناً للجيل القادم من نماذج العالم العامة القادرة على محاكاة البيئات الفيزيائية المعقدة، وهو أمر بالغ الأهمية لتطبيقات الروبوتات، والقيادة الذاتية، والواقع الافتراضي الغامر.