💻 computer science

minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

تقدم الورقة البحثية minWM، وهو إطار عمل مفتوح المصدر متكامل يحول نماذج الفيديو التأسيسية ثنائية الاتجاه الحالية إلى نماذج عالمية ذاتية الانحدار، تعمل في الوقت الفعلي، وقابلة للتحكم عبر الكاميرا، وتتطلب خطوات قليلة، من خلال مسار شامل من الضبط الدقيق، والتدريب القسري السببي، والتقطير.

المؤلفون الأصليون: Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مخرج أفلام عبقرياً رفيع المستوى (نموذج تأسيسي للفيديو) يمكنه إنشاء أفلام مذهلة وعالية الجودة بناءً على سيناريو. ومع ذلك، يعمل هذا المخرج ببطء شديد: فهو يخطط للفيلم بأكمله مشهداً بمشهد قبل أن يريك إطاراً واحداً. إذا أردت تغيير زاوية الكاميرا في منتصف الطريق، فعليه أن يتوقف، ويعيد التخطيط للفيلم بأكره، ثم يبدأ من جديد. هذا الأمر رائع لصناعة فيلم متقن، ولكنه سيء للغاية لصناعة لعبة فيديو أو دردشة مباشرة حيث تحتاج إلى ردود فعل فورية.

minWM هو "معسكر تدريبي" و"مجموعة أدوات" جديدة مصممة لتحويل هذا المخرج البطيء والمثالي إلى مخرج تفاعلي في الوقت الفعلي يمكنه الاستجابة لأوامرك فوراً، دون فقدان جودته الفنية.

إليك كيف يعمل minWM، مقسماً إلى خطوات بسيطة:

1. المشكلة: "المخرج البطيء"

نماذج فيديو الذكاء الاصطناعي الحالية تشبه المخرج البطيء. إنها مذهلة في صنع فيديوهات جميلة، لكنها ثنائية الاتجاه (bidirectional). وهذا يعني أنها تنظر إلى البداية والمنتصف والنهاية للفيديو في وقت واحد لضمان أن كل شيء متناسق تماماً.

المشكلة: إذا أردت تحريك الكاميرا أو تغيير المشهد في الوقت الفعلي، فلا يمكن لهذا النموذج القيام بذلك بسرعة. فهو يستغرق وقتاً طويلاً لـ "التفكير" في الفيديو بأكمله قبل عرض الإطار الأول.

2. الحل: "المعسكر التدريبي" لـ minWM

minWM هو إطار عمل كامل (مجموعة كاملة من الأدوات) يأخذ مخرجاً بطيئاً موجوداً بالفعل ويدربه ليصبح مؤدياً سريعاً وتفاعلياً. يفعل ذلك عبر مرحلتين رئيسيتين:

المرحلة الأولى: تعلم تحريك الكاميرا (درس "التحكم في الكاميرا")

أولاً، يعلم إطار العمل المخرج البطيء كيفية اتباع تعليمات كاميرا محددة.

القياس: تخيل تعليم المخرج كيفية حمل كاميرا على مانع اهتزاز (gimbal). بدلاً من مجرد التخمين أين يجب أن تكون الكاميرا، يتعلم اتباع مسار دقيق ترسمه له.
كيفية التنفيذ: يستخدم الفريق تقنية خاصة تسمى PRoPE. فكر في هذا كإعطاء المخرج "نظارات ذكية" تفهم بالضبط أين توجد الكاميرا في الفضاء ثلاثي الأبعاد. يتدربون على فيديوهات تكون فيها حركة الكاميرا معروفة تماماً (مثل الرسوم المتحركة ثلاثية الأبعاد)، لذا يتعلم المخرج العلاقة الدقيقة بين "تحرك لليسار" و"انزياح الرؤية لليسار".

المرحلة الثانية: تسريع العملية (درس "التقطير/Distillation")

الآن بعد أن أصبح المخرج قادراً على اتباع حركات الكاميرا، لا يزال بطيئاً للغاية. لا يزال يخطط للفيلم بأكله قبل عرض إطار واحد. يستخدم minWM تقنية تسمى Causal Forcing لتسريع وتيرته.

القيãس: تخيل طالباً (النموذج الجديد السريع) يجلس بجانب معلم ماهر (النموذج البطيء عالي الجودة).
1. إجبار المعلم (Teacher Forcing): يتعلم الطالب كتابة القصة جملة بجملة (إطاراً بإطار) بدلاً من التخطيط للكتاب بأكله دفعة واحدة. هذا يجعله أسرع.
2. "ورقة الغش" (Distillation): لجعل الطالب أسرع، يتم تدريبه على تخطي الخطوات. بدلاً من اتخاذ 50 خطوة صغيرة لرسم لوحة، يتعلم القيام بذلك في 4 ضربات كبيرة وواثقة فقط.
3. شبكة الأمان (Asymmetric DMD): هناك خطر بأنه من خلال التسريع، قد يبدأ الطالب في رسم صور غير مرتبة. لإصلاح ذلك، يتحقق الطالب أحياناً من عمله مقابل المعلم الأصلي. إذا بدا رسم الطالب السريع غير دقيق، يقوم المعلم بتصحيحه بلطف، مما يضمن أن النتيجة النهائية لا تزال عالية الجودة.

3. النتائج: من "السينما" إلى "ألعاب الفيديو"

تظهر الورقة البحثية أن هذه العملية تعمل بشكل جيد للغاية:

السرعة: النماذج الجديدة أسرع بـ 200 مرة أو أكثر في عرض الإطار الأول مقارنة بالنماذج البطيئة الأصلية.
- قبل: تنتظر أكثر من 10 ثوانٍ لرؤية الإطار الأول.
- بعد: ترى الإطار الأول في حوالي ثانية واحدة.
التحكم: لا تزال النماذج السريعة قادرة على اتباع أوامر الكاميرا الخاصة بك بشكل مثالي. يمكنك إخبار الفيديو بأن "يميل لليسار" أو "يقرب الصورة (zoom in)"، ويحدث ذلك فوراً.
المرونة: اختبر الفريق هذه الطريقة على نوعين مختلفين من "المخرجين" (نماذج Wan2.1 و HY1.5) ونجحت الطريقة مع كليهما، مما يثبت أن هذه الطريقة هي مجموعة أدوات عالمية وليست مجرد إصلاح لمرة واحدة.

4. الدروس الهامة المستفادة (دراسات الاستئصال/Ablation Studies)

تشارك الورقة أيضاً بعض النصائح العملية التي اكتشفوها أثناء بناء هذا، وهي بمثابة "قواعد عامة" لأي شخص يحاول القيام بذلك:

البيانات الجيدة هي المفتاح: لا يمكنك تعليم المخرج بحركات كاميرا ضبابية ومبنية على التخمين. أنت بحاجة إلى بيانات "الحقيقة المطلقة" (ground truth)—فيديوهات تكون فيها مسارات الكاميرا دقيقة رياضياً (مثل عمليات إعادة البناء ثلاثية الأبعاد). إذا استخدمت بيانات غير دقيقة، سيصاب المخرج بالارتباك.
الممارسة تؤدي إلى الإتقان: يحتاج المخرج للتدريب لفترة من الوقت (حوالي 8,000 خطوة) قبل أن يفهم حقاً كيفية تحريك الكاميرا. إذا توقفت مبكراً جداً، فلن يستمع لأوامرك.
لا تبخل بحجم المجموعة (Batch Size): تحتاج إلى عدد جيد من الأمثلة (حجم دفعة) لكي يتعلم المخرج. إذا كانت المجموعة صغيرة جداً (أقل من 4 أمثلة)، فسيفشل في تعلم حركات الكاميرا.

ملخص

minWM هو وصفة مفتوحة المصدر تأخذ نموذج فيديو عالي الجودة وبطيء وتحوله إلى محرك فيديو تفاعلي في الوقت الفعلي. إنه يعلم الذكاء الاصطناعي كيفية اتباع أوامر الكاميرا ثم يسرع وتيرته بحيث يمكنه إنشاء الفيديو أثناء مشاهدتك له، مما يجعل من الممكن بناء عوالم فيديو تفاعلية (مثل ألعاب الفيديو أو المحاكاة الحية) التي كان من المستحيل بناؤها باستخدام نماذج الفيديو القياسية.

ملخص تقني: minWM

بيان المشكلة
حققت نماذج التأسيس القائمة على الانتشار (diffusion-based foundation models) نجاحاً كبيراً مؤخراً في توليد الفيديو عالي الجودة من النص إلى الفيديو (T2V) ومن النص والصورة إلى الفيديو (TI2V). ومع ذلك، فإن تحويل هذه المولدات ثنائية الاتجاه غير المتصلة (offline, bidirectional) إلى نماذج عالم فيديو تفاعلية في الوقت الفعلي يظل تحدياً كبيراً. يجب أن يدعم نموذج العالم التفاعلي الفعال التدفق السببي (causal rollout)، ويستجيب لأفعال المستخدم (مثل مسارات الكاميرا)، ويولد الإطارات المستقبلية بزمن انتقال (latency) منخفض بما يكفي. وبينما استكشفت الأعمال الحديثة تقنيات تقطير الانتشار ذات الترتيب الذاتي (autoregressive diffusion distillation) لسد هذه الفجوة، إلا أن هذه التقنيات لا تزال مشتتة عبر مسارات منفصلة. إن بناء نظام تفاعلي كامل لا يزال يتطلب جهداً كبيراً ومجزأً في بناء البيانات، والضبط الدقيق القابل للتحكم، والتدريب الترتيبي الذاتي (AR)، وتقطير الخطوات القليلة، ومحاذاة الاستدلال. هناك نقص في وجود إطار عمل موحد، وقابل لإعادة الإنتاج، وقابل للتوسع لإدارة هذا المسار الكامل.

المنهجية
يقدم المؤلفون minWM، وهو إطار عمل مفتوح المصدر متكامل التصميم لتحويل نماذج التأسيس الحالية لـ T2V/TI2V ثنائية الاتجاه إلى نماذج عالم ذات ترتيب ذاتي وخطوات قليلة وقابلة للتحكم عبر الكاميرا. المسار معياري ويتكون من مرحلتين رئيسيتين:

1. المرحلة الأولى: التدريب القابل للتحكم بالكاميرا لنماذج الانتشار ثنائية الاتجاه

الهدف: تزويد نموذج انتشار ثنائي الاتجاه متعدد الخطوات بالقدرة على اتباع مسارات كاميرا محددة مع الحفاظ على الجودة البصرية الأصلية.
التقنية: يعتمد إطار العمل على PRoPE (Projective Rotation and Position Embedding) كطريقة للحقن. بالنظر إلى معاملات الكاميرا (مصفوفة الجوهر $K_i$ والتحويل الخارجي $T^{cw}_i$ )، يقوم PRoPE ببناء مصفوفة إسقاط مرفوعة لكل إطار. يتم حقن هذا التحول في آلية الانتباه الذاتي بتنسيق GTA (Generalized Token Attention)، مما يسمح للنموذج بالاشتراط على مسارات الكاميرا عن طريق ترميز خصائص الكاميرا النسبية ووضعياتها دون تعطيل بنية التوليد الأصلية للانتباه الذاتي.

2. المرحلة الثانية: تقطير الانتشار ذو الترتيب الذاتي (AR) لنماذج تفاعلية في الوقت الفعلي

الهدف: تحويل النموذج ثنائي الاتجاه متعدد الخطوات والقابل للتحكم بالكاميرا إلى مولد ذي ترتيب ذاتي وخطوات قليلة مناسب للاستدلال بزمن انتقال منخفض.
المسار: ينفذ إطار العمل مسار Causal Forcing أو Causal Forcing++، والذي يتكون من ثلاث مراحل:
- المرحلة 1 (تدريب الانتشار ذو الترتيب الذاتي - AR Diffusion Training): يتم ضبط النموذج ثنائي الاتجاه ليصبح نموذج انتشار ذو ترتيب ذاتي عبر "الإرغام بالمعلم" (teacher forcing). يتضمن ذلك دمج الفيديو النظيف مع نظائره المشوشة والتدريب تحت قناع انتباه سببي. يمنح هذا القدرة على الترتيب الذاتي ولكنه يحتفظ بزمن انتقال متعدد الخطوات ومشكلات انحياز التعرض (exposure bias).
- المرحلة 2 (التهيئة): يتم تقطير النموذج إلى مولد ذي خطوات قليلة. يوفر إطار العمل خيارين:
  - Causal ODE: التراجع من الإطارات المتوسطة المشوشة إلى الإطارات النظيفة باستخدام مسارات PF-ODE الناتجة عن المعلم ذو الترتيب الذاتي.
  - Causal CD (Consistency Distillation): بديل مكافئ نظرياً يلغي الحاجة إلى توليد بيانات ODE غير متصلة، مما يقلل من عبء التخزين والوقت.
- المرحلة 3 (Asymmetric DMD): للتغلب على قيود الجودة الموروثة من معلم الترتيب الذاتي، يتم تطبيق مرحلة تقطير غير متماثلة مع نموذج انتشار (Asymmetric DMD). يقوم نموذج الطالب ذو الخطوات القليلة بعمل تدفق ذاتي لتوليد تسلسلات كاملة، والتي يتم تحسينها بعد ذلك مقابل نموذج معلم ثنائي الاتجاه عالي الجودة (الدرجة الحقيقية "real score") باستخدام تدرجات DMD القياسية.
تكامل الكاميرا: طوال جميع مراحل التقطير، يتم تغذية شروط الكاميرا باستمرار إلى معلم الترتيب الذاتي، ونموذج الطالب، ومقدرات الدرجة ( $s_{real}$ و $s_{fake}$ )، مما يضمن بقاء النموذج النهائي ذو الخطوات القليلة قابلاً للتحكم بالكاميرا.

المساهمات الرئيسية

إطار عمل minWM: إصدار مسار كامل مفتوح المصدر لبناء نماذج عالم فيديو تفاعلية في الوقت الفعلي. يغطي العمل بأكمله بدءاً من بناء البيانات المشروطة بالكاميرا والضبط الدقيق القابل للتحكم وصولاً إلى تقطير Causal Forcing والاستدلال بزمن انتقال منخفض.
تعميم البنية: إثبات أن إطار العمل مستقل عن البنية (architecture-agnostic). قام المؤلفون بتطبيق minWM على خلفيتين مختلفتين:
- Wan2.1-T2V-1.3B: باستخدام حقن الشروط القائم على الانتباه المتقاطع (cross-attention).
- HY1.5-TI2V-8B: باستخدام بنية من نمط MMDiT.
القابلية للتكيف: يدعم إطار العمل تكييف نماذج العالم الموجودة (مثل HY-WorldPlay) مع توزيعات بيانات جديدة، ووصفات تدريب، وأهداف زمن انتقال مختلفة.
الدراسات الاستقصائية العملية (Ablations): تقدم الورقة إرشادات عملية حول عوامل التدريب الحرجة، بما في ذلك ضرورة مسارات الكمرة الحقيقية (مقابل الوضعيات المقدرة إدراكياً)، والخطوات الدنيا المطلوبة للتحكم، ومتطلبات حجم الدفعة (batch size) الدنيا.

النتائج

تقليل زمن الانتقال (Latency Reduction): حققت نماذج الترتيب الذاتي ذات الخطوات القليلة انخفاضات هائلة في زمن انتقال الإطار الأول مقارنة بالنماذج المرجعية ثنائية الاتجاه متعددة الخطوات.
- HY1.5: قللت زمن الانتقال من 771.04 ثانية إلى 3.446 ثانية (تسريع بمقدار 223.75 ضعفاً).
- Wan2.1: قللت زمن الانتقال من 269.055 ثانية إلى 1.137 ثانية (تسريع بمقدار 236.64 ضعفاً).
  هذا الزمن المنخفض يسمح بالتفاعل في الوقت الفعلي حيث يمكن للمستخدمين مشاهدة الإطارات أثناء استمرار عملية التوليد.
الحفاظ على القدرة على التحكم: تؤكد النتائج البصرية أن نماذج الترتيب الذاتي المقطرة ذات الخطوات القليلة تحتفظ بالقدرة على توليد فيديوهات تحت حركات كاميرا مختلفة، مما يثبت فعالية خوارزمية التقطير في الحفاظ على القدرة على التحكم.
نتائج الدراسات الاستقصائية (Ablation Findings):
- جودة البيانات: فشل التدريب على مجموعات البيانات ذات وضعيات الكاميرا المقدرة إدراكياً (SpatialVid) في تحقيق قدرة موثوقة على التحكم. تطلب التدريب الناجح مسارات حقيقية تم الحصول عليها عبر إعادة البناء ثلاثي الأبعاد/إعادة الرندرة (DL3DV) أو التوليد بواسطة WorldPlay.
- خطوات التدريب: ظهرت القدرة على التحكم بالكاميرا بشكل تدريجي؛ كانت النماذج غير قابلة للتحكم إلى حد كبير عند 1-2 ألف خطوة، وبدأت في الاستجابة عند ~5 آلاف خطوة، وحققت تحكماً قوياً عند 8 آلاف خطوة.
- حجم الدفعة (Batch Size): أدى حجم دفعة أصغر من 4 غالباً إلى الفشل في تعلم التحكم. ووجد أن حجم دفعة قدره 16 ضروري لتدريب مستقر وعالي التحكم.

الأهمية
تضع الورقة minWM ليس كنموذج واحد مدرب، بل كـ وصفة قابلة لإعادة الإنتاج والتوسع للمجتمع العلمي. فهي تعالج التجزئة في الأبحاث الحالية من خلال توفير مسار موحد يحول نماذج التأسيس القوية غير المتصلة إلى وكلاء تفاعليين في الوقت الفعلي. ومن خلال إصدار النصوص البرمجية، والنماذج المدربة (checkpoints)، والوثائق، يهدف minWM إلى خفض الحاجز أمام الباحثين لبناء وتكييف وتوسيع نماذج عالم الفيديو التفاعلية في الوقت الفعلي، لا سيما للتطبيقات التي تتطلب توليداً منخفض زمن الانتقال وقابلاً للتحكم بالكاميرا. يشير المؤلفون صراحة إلى أنه بينما يركزون حالياً على التحكم بالكاميرا، فإن إطار العمل مصمم للتوسع ليشمل شروط تحكم أخرى (مثل الوضعية/pose) ونماذج إضافية في المستقبل.