Matrix-game 2.0: An open-source real-time and streaming interactive world model
تُعد Matrix-Game 2.0 نموذج عالم تفاعلي في الوقت الفعلي ومفتوح المصدر، يستفيد من خط أنابيب بيانات قابل للتوسع، وحقن الأفعال، والتقطير متعدد الخطوات لتوليد مقاطع فيديو عالية الجودة مدتها دقيقة واحدة وبمعدل 25 إطاراً في الثانية بناءً على مدخلات المستخدم.
تخيل أنك تلعب لعبة فيديو، ولكن بدلاً من مجرد الضغط على الأزرار لتحريك شخصية، أنت مخرج الواقع نفسه. في كل مرة تحرك فيها الفأرة أو تضغط على مفتاح، يتغير العالم فوراً ليتناسب مع أمرك، مما يخلق فيلماً جديداً كلياً وعالي الدقة في الوقت الفعلي.
هذه هي الفكرة الجوهرية وراء Matrix-Game 2.0، وهو نظام ذكاء اصطنا-عي جديد طورته Skywork AI. إليك شرح مبسط لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: مشكلة "الحركة البطيئة"
كانت نماذج الفيديو السابقة في الذكاء الاصطناعي تشبه الشاحنات الثقيلة وبطيئة الحركة.
المشكلة: لصنع فيديو، كان عليها النظر إلى الفيلم بأكمِله من البداية إلى النهاية قبل رسم إطار واحد. كانت بحاجة إلى "التفكير" في القصة بأكملها قبل كتابة جملة واحدة.
النتيجة: استغرق ذلك وقتاً طويلاً جداً. لم يكن بإمكانك التفاعل معها في الوقت الفعلي. إذا حركت شخصيتك إلى اليسار، سيستغرق الذكاء الاصطنا-عي ثوانٍ أو دقائق ليفهم كيف يجب أن يبدو الإطار التالي. كان الأمر يشبه محاولة إجراء محادثة مع شخص يحتاج إلى كتابة رواية قبل أن يجيب على سؤالك.
2. الحل: "الطاهي السريع"
Matrix-Game 2.0 يشبه طاهياً فائق السرعة يمكنه طهي وجبة معقدة بينما لا تزال أنت تطلبها.
الطهي في الوقت الفعلي: بدلاً من التخطيط للوجبة بأكملها أولاً، ينظر الطاهي إلى طلبك الحالي (حركة الفأرة الخاصة بك)، ويطهي طبقاً واحداً (إطار فيديو واحد)، ثم يسأل فوراً: "ماذا بعد؟".
السرعة: يمكنه توليد 25 إطاراً من الفيديو في الثانية الواحدة. هذا سريع بما يكفي ليشعر المرء أنه أمام فيديو مباشر، وليس فيلماً مسجلاً مسبقاً.
3. كيف دربوا الذكاء الاصطنا-عي: "المحاكي الافتراضي"
لتعليم هذا الذكاء الاصطنا-عي كيف يكون طاهياً جيداً، احتاجوا إلى مكتبة ضخمة من الوصفات (البيانات). لكن التصوير في العالم الحقيقي عملية فوضوية ومكلفة.
ساحة التدريب: بدلاً من تصوير أشخاص حقيقيين، قاموا ببناء ملعبين افتراضيين ضخمين:
Unreal Engine: محرك ألعاب ثلاثي الأبعاد عالي المستوى حيث قاموا ببرمجة روبوتات للمشي حول المكان، وتجنب الجدران، والاستكشاف.
GTA 5: قاموا باختراق لعبة Grand Theft Auto V الشهيرة لتسجيل لاعبين يقودون السيارات ويتفاعلون مع العالم.
الخلطة السرية: في هذه الألعاب، يعرف الكمبيوتر بالضبط ما هو الزر الذي تم ضغطه وما الذي رأته الكاميرا في نفس الميلي ثانية تماماً. خلق هذا "كتاباً مدرسياً" مثالياً لتعلم السبب والنتيجة: "إذا ضغطت على 'W'، تتحرك السيارة للأمام".
عادةً، يتعلم الذكاء الاصطنا-عي من خلال النظر إلى "الإجابة الصحيحة" (الحقيقة الأرضية) لكل خطوة. ولكن في فيديو طويل، إذا ارتكب الذكاء الاصطنا-عي خطأً صغيراً في البداية، فإن هذا الخطأ سيكبر ويكبر، مثل كرة ثلج تتدحرج من فوق تلة حتى تصطدم بشيء ما.
الإصلاح: يستخدم Matrix-Game 2.0 تقنية تسمى Self-Forcing. تخيل طالباً يؤدي اختباراً؛ بدلاً من النظر إلى نموذج الإجابة، يتعين على الطالب تقييم إجاباته السابقة واستخدامها للإجابة على السؤال التالي.
النتيجة: هذا يجبر الذكاء الاصطنا-عي على تعلم كيفية تصحيح أخطائه أثناء العمل، مما يمنع "اصطدام كرة الثلج" ويحافظ على الفيديو بمظهر سلس وواقعي لعدة دقائق متواصلة.
5. ماذا يمكنه أن يفعل؟
قصص لانهائية: يمكنك البدء بصورة لعالم Minecraft، ثم تضغط على مفتاح لتسير للأمام، وسيقوم الذكاء الاصطنا-عي بتوليد فيديو مستمر وعالي الجودة لك وأنت تستكشف ذلك العالم إلى الأبد.
أماكن جامحة: إنه يعمل أيضاً على الصور الحقيقية. يمكنك توجيه "كاميرتك الافتراضية" نحو صورة لشارع، وسيقوم الذكاء الاصطنا-عي بمحاكاة سيرك في ذلك الشارع، والتفاعل مع حركة المرور والمباني فوراً.
السرعة: يعمل بسرعة 25 إطاراً في الثانية (FPS) على شريحة كمبيوتر قوية واحدة. هذا يعني أنه يمكنك اللعب به مباشرة، تماماً مثل لعبة الفيديو.
الخلاصة
Matrix-Game 2.0 هو محاكي عالم في الوقت الفعلي. إنه يسد الفجوة بين "مشاهدة فيديو" و"العيش داخل فيديو".
الذكاء الاصطنا-عي القديم: "دعني أفكر في الفيلم بأكمله... حسناً، إليك الإطار الأول". (بطيء جداً للتفاعل).
لقد أطلق المبتكرون حتى الكود الخاص بهم و"دماغ" الذكاء الاصطنا-عي للجمهور، آملين أن يستخدمه باحثون ومطورو ألعاب آخرون لبناء الجيل القادم من العوالم التفاعلية، من محاكاة القيادة الذاتية إلى ألعاب الفيديو الغامرة.
إليك ملخص تقني مفصل لورقة البحث بعنوان "Matrix-Game 2.0: نموذج عالم تفاعلي مفتوح المصدر في الوقت الفعلي والبث المباشر."
1. بيان المشكلة
تواجه نماذج العالم التفاعلي وأنظمة توليد الفيديو الحالية ثلاثة اختناقات حرجة تمنع تطبيقات البث المباشر والوقت الفعلي:
زمن الاستجابة وسرعة الاستدلال: تعتمد النماذج الرائدة الحالية على آليات الانتباه ثنائية الاتجاه وخطوات الانتشار الطويلة (غالبًا ما تتراوح بين 20 إلى 50 خطوة). يتطلب توليد إطار واحد معالجة تسلسل الفيديو بأكمله، مما يجعل التفاعل في الوقت الفعلي (مثل 25 إطارًا في الثانية) غير ممكن حسابيًا.
ندرة البيانات والمحاذاة: هناك نقص في مجموعات البيانات الضخمة وعالية الجودة حيث يكون المحتوى المرئي متزامنًا بدقة مع أفعال المستخدم (لوحة المفاتيح/الفأرة) وديناميكيات الكاميرا. تعاني مجموعات البيانات الموجودة غالبًا من عدم محاذاة زمنية بين لقطات أسلوب اللعب وإشارات التحكم.
تراكم الأخطاء: تعاني النماذج ذات التوليد الذاتي التكراري (Auto-regressive) التي تولد الإطارات بالتتابع من تراكم الأخطاء بمرور الوقت، مما يؤدي إلى تدهور سريع في جودة الفيديو، وظهور عيوب، وفقدان الاتساق الفيزيائي أثناء مهام التوليد الطويلة.
2. المنهجية
يعالج Matrix-Game 2.0 هذه التحديات من خلال نهج ثلاثي المحاور: خط إنتاج بيانات قابل للتوسع، نموذج أساسي مدفوع بالرؤية، وإطار عمل للتقطير في الوقت الفعلي.
أ. خط إنتاج البيانات
لحل مشكلة ندرة البيانات، طور المؤلفون خط إنتاج شامل يولد ~1,200 ساعة من بيانات الفيديو المشروحة من Unreal Engine و GTA5:
Unreal Engine: يستخدم نظام تخطيط المسار القائم على شبكة الملاحة (Navigation Mesh) ووكلاء التعلم المعزز (PPO) لإنشاء مسارات متنوعة وخالية من الاصطدام. يتميز بـ تحسين دقة الكواتيرنيون (Quaternion Precision Optimization) للتحكم في الكاميرا وتزامن بمستوى المللي ثانية بين مدخلات لوحة المفاتيح/الفأرة والإطارات المُصيرة.
GTA5: يستخدم إضافة Script Hook V مخصصة لالتقاط إطارات RGB متزامنة وتفاعلات المستخدم (الفأرة/لوحة المفاتيح) في الوقت الفعلي. يدعم تعديلات البيئة الديناميكية (الطقس، كثافة الشخصيات غير اللاعبة) والملاحة بالمركبات مع محاذاة دقيقة للكاميرا.
التنقية: يتضمن خوارزميات لتصفية الإطارات الزائدة والتحقق من سرعة الحركة، لضمان استخدام البيانات ذات المعنى الدلالي فقط.
ب. بنية النموذج الأساسي
مدفوع بالرؤية (منزوع الدلالة): على عكس نماذج مثل SORA أو HunyuanVideo التي تعتمد على المطالبات النصية، يلغي Matrix-Game 2.0 المدخلات اللغوية. ويركز على الذكاء المكاني، حيث يتعلم القوانـ الفيزيائية والديناميكيات مباشرة من الصور والأفعال.
المدخلات: يأخذ صورة مرجعية واحدة وتسلسلًا من الأفعال (مدخلات لوحة مفاتيح منفصلة وحركات فأرة مستمرة).
الجوهر: مبني على 3D Causal VAE (ضغط مكاني 8×8، وضغط زمني 4×) و Diffusion Transformer (DiT).
حقن الأفعال: يتم تضمين إشارات الأفعال مباشرة في كتل DiT. يتم دمج بيانات الفأرة المستمرة مع التمثيلات الكامنة (latents)، بينما تتم معالجة بيانات لوحة المفاتيح المنفصلة عبر الانتباه المتقاطع (cross-attention). تُستخدم ترميز الموضع الدوار (RoPE) لدعم التسلسلات الطويلة.
ج. التقطير الذاتي التكراري في الوقت الفعلي
لتحقيق أداء في الوقت الفعلي، تم تقطير النموذج الأساسي ثنائي الاتجاه إلى نموذج سببي (causal) قليل الخطوات يعمل بالاستدعاء الذاتي:
التدريب بالفرض الذاتي (Self-Forcing): يتم تدريب النموذج باستخدام Self-Forcing (الاشتراط على مخرجاته الخاصة بدلاً من الحقيقة الأرضية) للتخفيف من انحياز التعرض وتراكم الأخطاء.
عملية التقطير:
التهيئة: يتم تهيئة نموذج الطالب من نموذج المعلم الأساسي باستخدام مسارات ODE.
التدريب القائم على DMD: يستخدم نهج تقطير نموذج الانتشار (DMD) لمواءمة توزيع الطالب مع المعلم، مما يقلل خطوات أخذ العينات من ~50 إلى 3 خطوات.
تخزين الذاكرة المؤقتة (KV-Caching): ينفذ آلية تخزين مؤقت متدحرج لـ KV لتخزين التمثيلات الكامنة الأخيرة وتضمينات الأفعال، مما يسمح بتوليد ذي طول غير محدود مع استهلاك ثابت للذاكرة. تم تحسين حجم الذاكرة (6 إطارات) للموازنة بين الاحتفاظ بالسياق وتصحيح الأخطاء.
3. المساهمات الرئيسية
توليد البث المباشر في الوقت الفعلي: أول نموذج عالم تفاعلي مفتوح المصدر قادر على توليد فيديوهات عالية الجودة لمدة دقيقة كاملة بسرعة 25 إطارًا في الثانية على وحدة معالجة رسومية واحدة من نوع H100.
خط إنتاج بيانات مبتكر: نظام قوي لتوليد ~1,200 ساعة من البيانات المتوافقة مع الأفعال على مستوى الإطار من Unreal Engine و GTA5، مما يحل العقبة الحرجة لجودة البيانات وتزامنها.
نمذجة العالم القائمة على الرؤية فقط: تحول في النموذج بعيدًا عن التوليد الموجه بالنصوص نحو ذكاء مكاني يعتمد كليًا على الرؤية والأفعال، مما يلتقط الديناميكيات الفيزيائية بشكل أفضل.
إطار عمل تقطير فعال: تطبيق ناجح لـ Self-Forcing و DMD لتحويل نموذج ثنائي الاتجاه ثقيل إلى نموذج سببي خفيف الوزن وقليل الخطوات دون فقدان كبير في الجودة.
4. النتائج التجريبية
تم تقييم النموذج مقابل نماذج أساسية مثل Oasis (Minecraft) و YUME (Wild Scenes) باستخدام معيار GameWorld Score Benchmark:
مقاييس الأداء:
السرعة: يحقق 25 إطارًا في الثانية (مقارنة بـ Oasis/YUME التي تعد أبطأ بكثير أو غير حقيقية في الوقت الفعلي).
الجودة البصرية: يتفوق على Oasis في جودة الصورة (0.61 مقابل 0.27) والاتساق الزمني (0.94 مقابل 0.82).
القدرة على التحكم: يظهر دقة فائقة في أفعال لوحة المفاتيح (0.91) والفأرة (0.95) مقارنة بالنماذج الأساسية.
استقرار الفيديو الطويل: بينما تتدهور النماذج الأساسية مثل Oasis بشكل كبير بعد عشرات الإطارات (تنهار إلى صور ثابتة)، يحافظ Matrix-Game 2.0 على الدقة البصرية والاتساق الفيزيائي لمئات الإطارات.
التعميم: يظهر أداءً قويًا في بيئات متنوعة تشمل Minecraft و GTA5 (قيادة السيارات) و Temple Run، رغم تدريبه أساسًا على بيانات اصطناعية.
5. الأهمية
يمثل Matrix-Game 2.0 قفزة نوعية في نمذجة العالم التفاعلي:
التطبيق العملي: من خلال تمكين توليد 25 إطارًا في الثانية، فإنه يجعل محاكاة الإنسان في الحلقة (human-in-the-loop) في الوقت الفعلي أمرًا ممكنًا لمحركات الألعاب، وتدريب القيادة الذاتية، وأبحاء الذكاء المكاني.
المصدر المفتوح: إن إصدار الأوزان والشيفرة البرمجية يساهم في دمقرطة الوصول إلى توليد الفيديو التفاعلي عالي الأداء، مما يعزز المزيد من الأبحاث في الذكاء الاصتي في الوقت الفعلي.
تحول النموذج: يثبت أن توليد الفيديو عالي الجودة طويل الأمد لا يتطلب مطالبات نصية أو عبئًا حسابيًا هائلاً لكل إطار، طالما تم تحسين البنية للسببية وتوافق البيانات بدقة.
القيود: يخرج النموذج حاليًا بدقة 352×640 وقد يعاني في المشاهد الخارجة عن النطاق (OOD) (مثل حركات الكاميرا الشديدة)، مما يؤدي إلى التشبع أو التدهور. تهدف الأعمال المستقبلية إلى تحسين الدقة ودمج آليات الذاكرة لتحقيق اتساق أفضل على المدى الطويل.