🤖 AI

Learning World Models for Interactive Video Generation

تتناول هذه الورقة تحديات الأخطاء التراكمية وعدم كفاية الذاكرة في توليد الفيديو ذاتي الانحدار من خلال اقتراح تقنية "توليد الفيديو المعزز بالاسترجاع" (VRAG) مع تكييف صريح للحالة العالمية، مما يعزز بشكل كبير من التماسك الزماني والمكاني وقدرات نمذجة العالم التفاعلية.

المؤلفون الأصليون: Taiye Chen, Xun Hu, Zihan Ding, Chi Jin

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taiye Chen, Xun Hu, Zihan Ding, Chi Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يلعب لعبة فيديو مثل "ماينكرافت" (Minecraft). أنت لا تريد من الروبوت أن يكتفي بالمشاهدة فحسب، بل تريده أن يلعب، أي يتخذ قرارات (مثل "القفز"، أو "الدوران لليسار"، أو "تعدين كتلة") ويرى ما سيحدث بعد ذلك.

الهدف هو بناء "نموذج عالم" (World Model). فكر في هذا كأنه العقل الداخلي للروبوت الذي يحاكي الواقع. يجب أن يتذكر أين هو، وكيف تبدو الأشياء، وكيف يتغير العالم عندما يتخذ إجراءً ما.

الورقة البحثية التي شاركتها، بعنوان "تعلم نماذج العالم لتوليد الفيديو التفاعلي"، تعالج مشكلة ضخمة: لما لماذا تفشل نماذج توليد الفيديو الحالية عندما يُطلب منها لعب لعبة لفترة طويلة؟

إليك الشرح بتبسيط شديد، باستخدام بعض التشبيهات الإبداعية.

المشكلة: "الفنان السكران" و"الذاكرة قصيرة المدى"

نماذج الفيديو الحالية تشبه فنانين موهوبين لكنهم "سكرانين" قليلاً ويعانون من ذاكرة قصيرة جداً.

1. الفنان السكران (الأخطاء التراكمية):
تخيل فناناً يحاول رسم قصة مصورة طويلة. يرسم اللوحة الأولى بإتقان تام. ولكن بالنسبة للوحة الثانية، ينظر إلى الأولى ويرتكب خطأً بسيطاً. وبالنسبة للوحة الثالثة، ينظر إلى الثانية (وهي خاطئة بالفعل قليلاً) ويرتكب خطأً آخر بسيطاً.
بحلول اللوحة رقم 50، يكون رأس الشخصية قد تحول إلى حبة بطاطس، والسماء أصبحت أرجوانية. في عالم الذكاء الاصطناعي، تتراكم الأخطاء الصغيرة في التنبؤ بالإطار التالي (frame) فوق بعضها البعض، مما يؤدي إلى انحدار الفيديو نحو العبث. وهذا ما يسمى بالخطأ التراكمي (Compounding Error).

2. الذاكرة قصيرة المدى (عدم كفاية الذاكرة):
الآن، تخيل أن نفس هذا الفنان لديه مدى ذاكرة لا يتجاوز 5 ثوانٍ فقط. إذا طلبت منه رسم مشهد بعد 10 دقائق، فسيكون قد نسي شكل قميص الشخصية أو أين كانت الشجرة. قد تغير الشخصية ملابسها فجأة، أو تختفي الشجرة وتظهر في مكان آخر. يبدو "العالم" هنا غير متسق وزائفاً.

الحلول الفاشلة: "قراءة الكتاب بأكمله" مقابل "النظر إلى صورة"

حاول الباحثون إصلاح ذلك باستخدام حيل تنجح بشكل رائع مع النصوص (مثل ChatGPT)، لكنها لم تنجح مع الفيديو:

نهج "قراءة الكتاب بأكمله" (السياق الطويل):
حاولوا منح الذكاء الاصطناعي "نافذة" ضخمة للنظر إلى الإطارات السابقة (مثل قراءة الكتاب بأكم له قبل كتابة الفصل التالي).
النتيجة: لم يساعد ذلك كثيراً. نماذج الفيديو سيئة في "التعلم من السياق" مقارنة بنماذج النصوص؛ فهي تصاب بالارتباك بسبب كثرة البيانات المرئية.
نهج "ألبوم الصور" (الاسترجاع القياسي):
حاولوا السماح للذكاء الاصطناعي بالنظر إلى ألبوم صور للإطارات الماضية لتذكيره كيف تبدو الأشياء.
النتيجة: نظر الذكاء الاصطناعي إلى الصور لكنه لم يعرف كيف يستخدمها. قام فقط بلصقها دون فهم التدفق، مما أدى إلى فوضى عارمة.

الحل: VRAG (نظام "الـ GPS + المذكرات")

اقترح المؤلفون نظاماً جديداً يسمى VRAG (توليد المحتوى المعزز باسترجاع الفيديو). لقد أدركوا أنه لإصلاح عقل الروبوت، تحتاج إلى شيئين محددين:

1. الـ GPS (الضبط الشرطي للحالة العالمية الصريحة)

بدلاً من مجرد عرض صورة للعبة على الذكاء الاصطناعي، فإنهم يعطونه إحداثيات GPS وبوصلة.

كيف يعمل: يخبرون الذكاء الاصطناعي بمكانه بالضبط (إحداثيات x, y, z) والاتجاه الذي يواجهه (yaw).
التشبيه: تخيل أنك معصوب العينين في غرفة. إذا قال لك شخص ما "ارسم ما تراه"، فستكون تائهاً. لكن إذا قال لك "أنت تقف عند الجدار الشمالي، وتواجه الشرق"، فسيكون لديك مرجع ثابت. هذا يحافظ على اتساق العالم حتى لو أصبحت الصورة ضبابية.

2. المذكرات الذكية (توليد المحتوى المعزز بالاسترجاع)

لم يعطوا الذكاء الاصطناعي مجرد ألبوم صور؛ بل أعطوه مذكرات ذكية تعرف كيف تقرأ.

كيف يعمل: عندما يحتاج الذكاء الاصطناعي لرسم الإطار التالي، فإنه لا يخمن فحسب. بل يبحث في "مذكراته" (ذاكرة الإطارات السابقة) عن أكثر اللحظات تشابهاً في التاريخ.
اللمسة المميزة: لقد دربوا الذككاء الاصطناعي خصيصاً على كيفية استخدام هذه المدخلات من المذكرات. علموه: "عندما ترى إطاراً يشبه هذا، تذكر أن الشجرة كانت هنا".
التشبيه: الأمر يشبه محققاً يحل جريمة. بدلاً من التخمين، ينظر المحقق في ملف القضية (الإطارات المسترجعة) ويستخدم ذلك الدليل المحدد لحل اللغز الحالي.

لماذا يهم هذا الأمر؟

تثبت الورقة البحثية أن VRAG هو الفائز.

بدون VRAG: يبدأ الفيديو بشكل جيد، ولكن بعد دقيقة واحدة، ينهار العالم. تتعطل الشخصيات، وتختفي الجدران، وتصبح اللعبة غير قابلة للعب.
مع VRAG: يمكن للذكاء الاصطناعي أن يلعب لفترة طويلة. يظل العالم متسقاً. إذا درت حول زاوية، سيبدو الغرفة كما هي عندما تعود. "الفنان السكران" أصبح الآن صاحياً، و"الذاكرة قصيرة المدى" أصبحت الآن ذاكرة طويلة المدى.

الخلاصة الكبرى

الدرس الأكثر أهمية من هذه الورقة هو أن ما ينجح مع النصوص (نماذج اللغة الكبيرة) لا يعمل تلقائياً مع الفيديو.

لا يمكنك فقط جعل ذكاء اصطناعي للفيديو "يقرأ أكثر" لجعله أذكى. الفيديو يتطلب نوعاً مختلفاً من العقل—عقلاً يجمع بين الذاكرة البصرية (المذكرات) والمنطق المكاني (الـ GPS).

باختاً مختصراً: لبناء روبوت يمكنه لعب لعبة فيديو للأبد، لا تحتاج فقط إلى كاميرا أفضل؛ بل تحتاج إلى إعطائه خريطة ومذكرات، وتعليمه كيفية استخدامهما معاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Learning World Models for Interactive Video Generation" (تعلم نماذج العالم لتوليد الفيديو التفاعلي).

1. بيان المشكلة

تتناول الورقة التحدي الحاسم المتمثل في بناء نماذج عالم أساسية قادرة على توليد فيديوهات طويلة، تفاعلية، ومتسقة مكانياً وزمانياً. وبينما حققت نماذج الانتشار (Diffusion Models) الحديثة تقدماً في توليد الفيديو، إلا أنها تعاني من قصور في أمرين جوهريين عند تطبيقها على المهام التفاعلية طويلة الأمد (مثل محاكاة الألعاب):

الأخطاء التراكمية (Compounding Errors): في التوليد ذاتي الانحدار (Autoregressive Generation)، تتراكم عدم الدقة الصغيرة في التنبؤات المبكرة بمرور الوقت، مما يؤدي إلى انحراف الفيديو المولد بشكل كبير عن الحالات المستقبلية المنطقية. ويرى المؤلفون أن هذا الأمر غير قابل للتقليل بطبيعته في النماذج ذات الانحدار الذاتي القياسية.
آليات الذاكرة غير الكافية: تفتقر النماذج الحالية إلى آليات قوية للحفاظ على هوية الكائنات، والتخطيط المكاني، وحالات العالم عبر فترات زمنية ممتدة. ويؤدي هذا إلى "نماذج عالم غير متماسكة" حيث تتغير البيئة بشكل غير منطقي.

كما تبحث الورقة فيما إذا كانت التقنيات الناجحة في النماذج اللغوية الكبيرة (LLMs) — مثل تمديد نوافذ السياق (مثل YaRN) أو التوليد المعزز بالاسترجاع القياسي (RAG) — يمكنها حل هذه المشكلات في توليد الفيديو. وقد وجد المؤلفون أن نماذج انتشار الفيديو الحالية تمتلك قدرات تعلم داخل السياق (In-context Learning) ضعيفة، مما يجعل التوسع الساذج لتقنيات النماذج اللغوية غير فعال.

2. المنهجية: VRAG (التوليد المعزز باسترجاع الفيديو)

يقترح المؤلفون إطار عمل VRAG، وهو مصمم لتعزيز توليد الفيديو التفاعلي من خلال الجمع بين الاشتراط بالحالة العالمية الصريحة واسترجاع الذاكرة.

المكونات الأساسية:

البنية الأساسية: يعتمد النموذج على نموذج انتشار فيديو كامن (Latent Video Diffusion Model) باستخدام بنية "محول الانتشار" (Diffusion Transformer - DiT). ويستخدم تقنية "فرض الانتشار" (Diffusion Forcing)، التي تضيف مستويات متفاوتة من الضجيج إلى الإطارات أثناء التدريب لمنع النموذج من الاعتماد المفرط على السياق ولتحسين المتانة.
الاشتراط بالفعل (Action Conditioning): لتمكين التفاعل، يتم تضمين تسلسلات الأفعال وحقنها في النموذج عبر الطبقة الطبيعية التكيفية (Adaptive Layer Normalization - AdaLN)، مما يسم un للنموذج بتعديل التوليد بناءً على مدخلات المستخدم.
الاشتراط بالحالة العالمية (Global State Conditioning): لفرض الاتساق المكاني، يتلقى النموذج ناقلات حالة عالمية صريحة (مثل الإحداثيات ثلاثية الأبعاد $x, y, z$ والاتجاه/الانحراف) كإشارات اشتراط جنباً إلى جنب مع الأفعال. وهذا يربط التوليد بنظام إحداثيات متسق.
التوليد المعزز باسترجاع الفيديو (VRAG):
- آلية الاسترجاع: بدلاً من الاعتماد فقط على نافذة سياق ثابتة، يقوم النموذج باسترجاع الإطارات التاريخية ذات الصلة من مخزن مؤقت بناءً على تشابه الحالة العالمية (على سبيل المثال، العثور على الإطارات التي كان فيها الشخص في موقع مشابه).
- تعديلات التدريب: على عكس تقنية RAG القياسية في النماذج اللغوية الكبيرة، يتطلب VRAG تعديلات تدريبية محددة للعمل مع نماذج انتشار الفيديو:
  1. الإزاحة الزمنية (Temporal Offset): يتم تعيين إزاحة زمنية للإطارات المسترجعة في تضمينات الموضع الدوارة (RoPE) لتمييزها عن السياق الحالي.
  2. محاكاة الضجيج: يتم حقن الإطارات المسترجعة بمستويات ضجيج أقل أثناء التدريب لمحاكاة البيانات التاريخية التي تم تقليل ضجيجها جزئياً.
  3. قناع الخسارة الانتقائي (Selective Loss Masking): يتم حجب خسارة الانتشار للإطارات المسترجعة؛ حيث يتم تدريب النموذج على إزالة الضجيج من السياق الحالي فقط مع استخدام الإطارات المسترجعة كخلفية سياقية.
  4. الاشتراط الانتقائي: يتم اشتراط الإطارات المسترجعة بالحالات العالمية الخاصة بها فقط، وليس بأفعالها الأصلية، لمنع حدوث انقطاعات زمنية في تسلسل الأفعال.

3. المساهمات الرئيسية

التحليل المفكك: تقوم الورقة بشكل منهجي بتفكيك وتحليل التحديات المتميزة المتمثلة في الأخطاء التراكمية ونقص الذاكرة في توليد الفيديو ذاتي الاندراد، وتقترح استراتيجية تقييم مفككة.
إطار عمل VRAG: يقدم طريقة مبتكرة تجمع بين اشتراط الحالة العالمية الصريح وتوليد الفيديو المعزز بالاسترجاع المصمم خصيصاً لنماذج انتشار الفيديو، مما يحسن التماسك طويل الأمد بشكل كبير.
رؤى تجريبية حول تقنيات LLM: يوضح أن تمديدات السياق الطويل القياسية (مثل YaRN) وطرق الاسترجاع الساذجة من النماذج اللغوية الكبيرة تفشل في الانتقال بفعالية إلى توليد الفيديو بسبب ضعف قدرات التعلم داخل السياق في نماذج انتشار الفيديو.
معيار شامل: يضع معياراً جديداً وإطار تقييم لنماذج عالم الفيديو التفاعلية، باستخدام مقاييس مثل SSIM و PSNR و LPIPS في المهام طويلة الأمد (مثل Minecraft).

4. النتائج التجريبية

قام المؤلفون بتقييم طريقتهم على بيانات لعب Minecraft (17 ساعة من الفيديو) و RealEstate10K.

تماسك العالم: حقق VRAG أفضل أداء عبر جميع المقاييس (SSIM: 0.506، PSNE: 17.097، LPIPS: 0.506) مقارنة بالنماذج المرجعية مثل Diffusion Forcing (DF)، و YaRN، و History Buffer.
- نتيجة رئيسية: مجرد تمديد نافذة السياق (YaRN) أو استخدام مخزن تاريخي ساذج دون تدريب محدد لم يحسن الاتساق، مما يؤكد ضعف التعلم داخل السياق في نماذج الفيديو الحالية.
الخطأ التراكمي: في التوليد طويل الأمد (1200 إطار)، حافظ VRAG على SSIM قدره 0.349، متفوقاً بشكل كبير على نموذج DF المرجعي (نافذة 20) الذي سجل 0.321، وعلى History Buffer الذي سجل 0.188. يشير هذا إلى أن VRAG يقلل بفعالية من تراكم الأخطاء.
التعميم: انتقلت الطريقة بنجاح إلى مجموعة بيانات RealEstate10K مع حد أدنى من الضبط الدقيق، مما أظهر متانة تتجاوز محاكاة الألعاب.
دراسات الاستئصال (Ablation Studies): أدى إزالة مكون الذاكرة أو استراتيجية التدريب المحددة إلى انخفاض كبير في الأداء، مما يثبت أن كلاً من اشتراط الحالة الصريح والتدريب داخل السياق للذكريات المسترجعة أمران ضروريان.
الكفاءة: لا يتسبب VRAG في أي عبء حسابي إضافي يذكر مقارنة بـ Diffusion Forcing القياسي، حيث أن عمليات الاسترجاع خفيفة ويمكن تنفيذها على وحدة المعالجة المركزية (CPU).

5. الأهمية والأثر

تحول في النموذج الفكري: تتحدى هذه الورقة الافتراض بأن تمديد السياق بأسلوب النماذج اللغوية الكبيرة هو "حل سحري" لتوليد الفيديو. وهي تسلط الضوء على أن نماذج الفيديو تتطلب تأصيلاً هيكلياً صريحاً (الحالات العالمية) وتدريباً متخصصاً لاسترجاع الذاكرة لتحقيق الاتساق.
المحاكاة التفاعلية: من خلال حل مشكلات الخطأ التراكمي واتساق الذاكرة، يمهد VRAG الطريق لمحاكيات عالم أكثر موثوقية، وهي ضرورية لتطبيقات الروبوتات، والقيادة الذاتية، وذكاء الألعاب.
معيار التقييم: توفر الورقة إطاراً صارماً لتقييم توليد الفيديو طويل الأمد، مع الفصل بين تقييم تراكم الخطأ وبين أمانة الذاكرة، وهو أمر حيوي للأبحاث المستقبلية في هذا المجال.

في الختام، يمثل VRAG خطوة مهمة للأمام في إنشاء نماذج عالم تفاعلية من خلال الانتقال من مجرد التنبؤ بالبكسلات ذاتي الانحدار إلى نهج هجين يستفيد من معلومات الحالة الصريحة واسترجاع الذاكرة، مما يعالج بفعالية القيود الأساسية لتقنيات توليد الفيديو الحالية.