🤖 machine learning

Event-Driven Video Generation

تقدم هذه الورقة البحثية توليد الفيديو القائم على الأحداث (EVD)، وهو إطار عمل متوافق مع نماذج المحولات الانتشارية (DiT) يعمل على الحد من حالات الفشل الشائعة في التفاعل في نماذج تحويل النص إلى فيديو، وذلك من خلال ربط عملية أخذ العينات صراحةً بنشاط الحدث المتوقع لضمان اتساق الحركة وتفاعلات الأشياء فيزيائياً.

المؤلفون الأصليون: Chika Maduabuchi

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chika Maduabuchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تخرج فيلماً سينمائياً. في الماضي، كانت أفضل نماذج توليد الفيديو بالذكاء الاصطناعي تشبه الممثلين الهواة الذين يجيدون حفظ النصوص لكنهم سيئون جداً في اتباع منطق السيناريو.

إذا طلبت منهم تصوير "رجل يركل كرة نحو المرمى"، فسيقدمون لك فيديو تظهر فيه الكرة فجأة داخل الشباك، أو تبدأ في التدحرج قبل أن تلمسها قدم الرجل حتى. يمكنهم جعل كل إطار يبدو جميلاً وواقعياً، لكن "قصة" الحركة كانت مكسورة. الفيزياء كانت تبدو وكأنها حلم حيث الجاذبية اختيارية.

تقدم هذه الورقة نظاماً جديداً يسمى توليد الفيديو القائم على الأحداث (EVD). فكر في (EVD) ليس كممثل أفضل، بل كمخرج صارم يحمل لوحة "قف/انطلق" لكل لحظة في المشهد.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: خطأ "الأولوية للإطار"

تعمل نماذج الذكاء الاصطناعي الحالية مثل رسام ينظر إلى اللوحة ويحاول جعل الإطار التالي يشبه السابق، لكنه يفعل ذلك بشكل أعمى. إنهم يحدثون الصورة بأكملها دفعة واحدة.

النتيجة: تبدأ الكرة في الحركة قبل حدوث الركلة (السبب والنتيجة تم تبديلهما). تتدحرج الكرة للأبد بعد اصطدامها بالحائط (لا تتوقف أبداً). الكوب يطفو في الهواء بعد وضعه على الطاولة (تجاهل الجاذبية).
الاستعارة: الأمر يشبه سيارة تقود وعيناها مغمضتان، تأمل فقط أن يبقى الطريق مستقيماً. تبدو القيادة سلسة، لكنها تصطدم بالجدران لأنها لا تعرف متى تتوقف أو تنعطف.

2. الحل: "مخرج الأحداث"

يغير (EVD) القواعد. بدلاً من مجرد رسم الإطار التالي، يتعين على الذكاء الاصطناعي الآن الإجابة على سؤال محدد لكل جزء صغير من الشاشة: "هل يحدث تفاعل هنا، في هذه اللحظة بالذات؟"

رأس الحدث (The Event Head): تخيل أن الذكاء الاصطناعي لديه مستشعر صغير غير مرئي (رادار) ملحق بكل جزء من الفيديو. هذا المستشعر يكتشف ما إذا كانت يد تلمس كرة، أو إذا كان باب يُدفع، أو إذا كان كوب يوضع على الطاولة.
حارس البوابة (The Gatekeeper): هذا المستشعر يتحكم في "بوابة".
- البوابة مغلقة (لا يوجد حدث): إذا قال المستشعر: "لا شيء يحدث هنا"، تُغلق البوابة. يُمنع الذكاء الاصطناعي من تغيير ذلك الجزء من الفيديو. تبقى الكرة ثابتة. تبقى الطاولة ثابتة. هذا يمنع الكرة من التدحرج سحرياً من تلقاء نفسها.
- البوابة مفتوحة (الحدث نشط): إذا قال المستشعر: "يد تركل الكرة!"، تفتح البوابة على مصراعيها. يُسمح للذكاء الاصطناعي بتغيير الفيديو، ولكن فقط لإظهار الكرة وهي تطير.

3. التدريب: تعلم قواعد الفيزياء

لتعليم الذكاء الاصطناعي هذا، لم يكتفِ الباحثون بعرض الفيديوهات عليه؛ بل أعطوه واجباً منزلياً صارماً يتكون من ثلاث قواعد:

لا للأشباح: إذا أراد الذكال الاصطناعي تحريك جسم ما، يجب أن يظهر الحدث الذي تسبب في ذلك. (لا يمكنك جعل الكرة تتحرك ما لم تظهر الركلة).
لا للانجراف: بمجرد انتهاء الحدث (انتهت الركلة، اصطدمت الكرة بالحائط)، يجب على الذكاء الاصطناعي التوقف عن تحريك الجسم. يجب أن "يستقر" كما تستقر الأجسام الحقيقية.
التوقيت هو كل شيء: يتعلم الذكاء الاصطناعي أن "البوابة" يجب أن تكون مفتوحة على مصراعيها أثناء الحدث، ولكن يجب أن تبدأ في الإغلاق فور انتهاء الحدث.

4. النتيجة: السحر السببي

عند استخدام (EVD)، يبدو توليد الفيديو وكأنك تشاهد محاكاة فيزيائية حقيقية وليس حلماً.

قبل (EVD): امرأة تفتح باباً، فيفتح الباب قبل أن تلمس المقبض. ثم، بعد أن تمر، يستمر الباب في التأرجح ذهاباً وإياباً للأبد.
مع (EVD): المرأة تمد يدها. لا يحدث شيء حتى تلمس يدها المقبض. ثم يفتح الباب. تمر المرأة عبر الباب. يغلق الباب خلفها ويتوقف تماماً في مكانه.

لماذا هذا مهم؟

تظهر الورقة أنه بإضافة منطق "مخرج الأحداث" البسيط هذا، يتوقف الذكاء الاصطناعي عن تخيل فيزياء وهمية. إنه لا يبدو جميلاً فحسب؛ بل يتصرف بشكل صحيح.

الدقة المكانية: تستقر الأجسام تماماً حيث ينبغي لها أن تستقر.
استقرار التلامس: الأشياء لا تنزلق حول بعد وضعها.
استمرارية الحالة: الأشياء لا تستمر في الحركة بعد انتهاء الفعل.

الخلاصة

فكر في ذكاء الفيديو الحالي كـ ساحر يمكنه جعل الأشياء تظهر وتختفي لكن لا يمكنه شرح كيف.
(EVD) هو مهندس يبني الفيديو إطاراً تلو الآخر، لضمان أن كل حركة لها سبب، وكل اصطدام له رد فعل، وكل فعل له نهاية منطقية. إنه يجعل العالم الرقمي يطيع قوانين الفيزياء، تماماً كما يفعل عالمنا الحقيقي.

إليك ملخص تقني مفصل لورقة البحث "توليد الفيديو القائم على الأحداث" (EVD) للباحثة تشيكا مادوابوتشي.

1. بيان المشكلة

حققت نماذج تحويل النص إلى فيديو (T2V) الحديثة، وخاصة تلك القائمة على محولات الانتشار (Diffusion Transformers - DiT)، واقعية بصرية عالية ودقة على مستوى الإطارات. ومع ذلك، فهي تعاني بشكل كبير من التفاعلات الفيزيائية والاتساق السببي. تحدد الورقة وجود عنق زجاجة مستمر: فبينما تبدو الإطارات الفردية واقعية، إلا أن الديناميكيات الزمنية غالبًا ما تنتهك القوانين الفيزيائية الأساسية.

صنف المؤلفون هذه الإخفاقات إلى أربعة أنماط محددة:

استمرارية الحالة: استمرار الأجسام في الحركة أو الانزلاق بعد تفاعل (على سبيل المثال، انزلاق كرسي إلى مالا نهاية بعد سحبه) كان ينبغي أن يتوقف.
الدقة المكانية: فشل الأجسام في التوافق بشكل صحيح مع أهدافها (على سبيل المثال، مكعب يوضع على منصة لكنه يخطئ السطح).
علاقات الدعم: ظهور الأجسام في حالات مدعومة (مثل التراكم فوق بعضها) دون وجود فعل وضع مرئي، أو سقوطها عبر الأسطح.
استقرار التلامس: بدء الحركة قبل حدوث التلامس (الحركة قبل التلامس)، أو افتقار التفاعلات إلى بنية متماسكة من السبب والنتيجة.

تحليل السبب الجذري: تجادل الورقة بأن هذه المشكلات تنبع من عملية "إزالة الضجيج المعتمدة على الإطار أولاً" (frame-first denoising). حيث تقوم العينات الحالية بتحديث الحالة الكامنة في كل مكان عند كل خطوة، مما يسمح بتغييرات عشوائية تبدو منطقية محليًا ولكنها غير مرتبطة بأحداث تفاعل منفصلة. تفتقر النماذج إلى مفهوم داخلي صريح لـ متى وأين يكون التفاعل نشطًا للتحكم في انتقالات الحالة.

2. المنهجية: توليد الفيديو القائم على الأحداث (EVD)

EVD هو إطار عمل بسيط ومتوافق مع نماذج DiT، يعمل على فرض انتقالات حالة قائمة على الأحداث. هو لا يستبدل البنية الأساسية، بل يعدل التمثيل، وهدف التدريب، وعملية أخذ العينات لربط تغيرات الحالة بالنشاط المتوقع للحدث.

أ. البنية الأساسية

رأس الحدث (Event Head): وحدة خفيفة الوزن ( $\pi_\psi$ ) تُلحق بميزات الرموز النهائية لمحور DiT. تتنبأ بمجال حدث متوافق مع الرموز $\hat{e}_t$ (عادةً قناة واحدة لاحتمالية النشاط).
بوابة الحدث ( $g_t$ ): يتم تحويل النشاط المتوقع إلى بوابة تعدل مجال الاتجاه الخاص بالمحور الأساسي.
- التباطؤ (Hysteresis): لمنع حدود الوميض، تستخدم البوابة آلية التباطؤ مع عتبات متميزة للتشغيل ( $\tau_{on}$ ) والإيقاف ( $\tau_{off}$ ).
- التنشيط الناعم (Soft Activation): تقوم دالة "سيجمويد" بتنعيم الانتقال بين الحالات.
- التحكم المجدول (Scheduled Gating): يتم تطبيق البوابة بقوة خلال خطوات أخذ العينات المبكرة (حيث تتشكل الديناميكيات الخشنة) ثم يتم تقليلها تدريجيًا حتى تصل للصفر في الخطوات اللاحقة (للحفاظ على الملمس والمظهر البصري).

ب. هدف التدريب

يعزز EVD خسارة "مطابقة التدفق" (Flow Matching) القياسية بثلاثة حدود قائمة على الحدث:

خسارة تحقق الحدث ( $\mathcal{L}_{real}$ ): تعاقب تحديثات الحالة في المناطق التي يكون فيها نشاط الحدث منخفضًا. هذا يمنع "الأحداث المفقودة" (تغيرات الحالة بدون تفاعل).
خسارة اتساق الحدث ( $\mathcal{L}_{cons}$ ): تفرض أن تكون التحديثات أثناء الأحداث النشطة متسقة زمنيًا وغير متذبذبة. هذا يمنع "الأحداث الشبحية" (أفعال ضمنية بدون نتيجة متماسكة).
خسارة الترتيب/الإنهاء ( $\mathcal{L}_{order}$ ): تثبط التحديثات قبل بدء الحدث (البدء السببي) وبعد انتهائه (منع الانجراف).

يتم وزن إجمالي الخسارة بجدول زمني يعتمد على الوقت، مع التركيز على ربط الأحداث خلال مرحلة التوليد الأولية ذات الديناميكيات الخشنة.

ج. الاستنتاج (أخذ العينات)

أثناء أخذ العينات، يتم حساب مجال الاتجاه القياسي لـ "التوجيه الخالي من المصنف" (CFG) أولاً. ثم يقوم EVD بتطبيق بوابة الحدث على هذا المجال:
$\tilde{v}_t = \text{UnTok}(g_t \odot \text{Tok}(\hat{v}^{cfg}_t))$
يضمن هذا حدوث تحديثات الحالة الكامنة فقط حيث يتنبأ النموذج بتفاعل نشط، مما يقلل بفعالية الحركة الزائبة في المناطق الساكنة ويفرض الحدود السببية.

3. المساهمات الرئيسية

التجريد القائم على الحدث: يقترح إطار عمل بسيط ينقل توليد الفيديو من الارتباط بين إطار وإطار إلى انتقالات حالة مشروطة بالأحداث بشكل صريح.
استقلالية المحور الأساسي: الطريقة هي إضافة "plug-and-play" لنماذج فيديو DiT الموجودة (مثل DiT-4B، DiT-30B) دون تغيير كتل المحولات، أو الحل، أو مكدس فك التشفير.
أهداف الأحداث ذاتية الإشراف: يستمد النظام أهداف الأحداث الوهمية من بيانات التدريب باستخدام مقدار الحركة في الفضاء الكامن والتدفق البصري، مما لا يتطلب تسميات أحداث يدوية.
التقييم الشامل: يقدم EVD-Bench، وهو مجموعة مختارة من 150 مطالبة تركز على التفاعل، مصممة خصيصًا لاختبار الواقعية السببية، والدقة المكانية، والاستقرار الفيزيائي.

4. النتائج

تقيم الورقة EVD على EVD-Bench باستخدام كل من التفضيل البشري (2AFC) والمقاييس التلقائية (VBench).

التفضيل البشري: يتفوق EVD بشكل كبير على النماذج المرجعية (بما في ذلك DiT-4B، DiT-30B، CogVideoX، والنماذج التجارية مثل Sora، وKling، وRunway Gen-4.5).
- في الديناميكيات، حقق EVD+DiT-30B معدل فوز بنسبة 97.1% مقابل DiT-30B الأساسي.
- أظهر تحسينات هائلة في الأمانة للنص والجودة العامة للمطالبات الكثيفة بالتفاعلات.
المقاييس التلقائية (VBench):
- درجة الديناميكيات: مكاسب جوهرية (على سبيل المثال، تحسن DiT-4B+EVD من 78.9 إلى 94.8).
- درجة المظهر: ظلت دون تغيير كبير أو تحسنت قليلاً، مما يؤكد أن EVD يعالج الديناميكيات دون التضحية بالدقة البصرية.
التحسينات النوعية:
- ألغى الحركة قبل التلامس (تحرك الأجسام قبل لمسها).
- ضمن استقرار الأجسام فور وضعها (لا يوجد انجراف متبقي).
- حقق تنفيذًا صحيحًا للتفاعلات المعقدة مثل سكب السوائل، فتح الأبواب، وتكديس الأشياء.

5. الأهمية والأثر

حل "فجوة الفيزياء": توضح الورقة أن مجرد زيادة حجم النماذج أو تحسين تنقية البيانات ليس كافيًا للواقعية الفيزيائية. إن نمذجة السببية الحدثية بشكل صريح هي تجريد ضروري.
الكفاءة: يضيف EVD عبئًا حسابيًا ضئيلاً جدًا (حوالي 0.04% من المعلمات الإضافية لنموذج 30B) ويحافظ على نفس خطوات أخذ العينات (NFE) للنموذج الأساسي.
القابلية للتعميم: من خلال توافق EVD مع أي مولد فيديو يعتمد على DiT، فإنه يقدم مسارًا عمليًا لترقية نماذج الحالة الراهنة للحصول على محاكاة فيزيائية أفضل دون الحاجة لإعادة التدريب من الصوامد.
الاتجاهات المستقبلية: يشير المؤلفون إلى قيود في التعامل مع التلامسات المحجوبة، والسوائل الرقيقة، والتمفصل عالي غير الصلابة، مما يشير إلى أن العمل المستقبلي يجب أن يدمج التمثيلات المتمحورة حول الأشياء أو التمثيلات الكامنة عالية الدقة.

في الختام، يمثل توليد الفيديو القائم على الأحداث تحولًا جذريًا من التوليد "القائم على الإطار أولًا" إلى التوليد "القائم على الحدث أولًا"، حيث نجح في تقليل الحركة المتخيلة وتحسين المعقولية الفيزيائية بشكل كبير.