Agentic Video Generation: From Text to Executable Event Graphs via Tool-Constrained LLM Planning
تقدم هذه الورقة نظاماً لتوليد الفيديو القائم على الوكلاء، والذي يستبدل التخليق المباشر للبكسلات بمسار نموذج لغوي كبير حتمي ومقيد بالأدوات يقوم ببناء وتنفيذ "رسوم بيانية للأحداث في الزمان والمكان" (GEST) رسمية داخل محرك ألعاب ثلاثي الأبعاد، مما يحقق صلاحية فيزيائية وتوافقاً دلالياً أعلى بكثير من مولدات الفيديو العصبية الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد إنشاء فيلم.
الطريقة القديمة (المولدات العصبية):
تعمل معظم أدوات الفيديو بالذكاء الاصطناعي حاليًا مثل فرقة مسرح مرتجل سحرية ولكنها مشوشة قليلاً. تعطيها نصًا ("صديقان يلتقيان لتناول القهوة")، وتحاول هي تمثيله فورًا. هي بارعة في جعل المشاهد تبدو واقعية — الإضاءة مثالية، والوجوه تبدو بشرية. لكنها غالبًا ما تنسى قواعد الفيزياء أو المنطق. في لحظة ما يكون الشخص ممسكًا بكوب قهوة؛ وفي اللحظة التالية، يطفو الكوب في الهواء، أو فجأة يصبح للشخص ثلاثة أذرع. إنهم "يهلوسون" بالقصة أثناء سيرهم، مما يعني أن الفيلم النهائي قد يبدو جميلاً ولكنه لا يعقل منطقيًا.
الطريقة الجديدة (النظام "الوكيل" في هذه الورقة البحثية):
قرر الباحثون في هذه الورقة قلب السيناريو. بدلًا من طلب من الذكاء الاصطناعي أن "يرسم" الفيلم إطارًا تلو الآخر، طلبوا منه كتابة مخطط هندسي رياضي صارم أولاً.
فكر في الأمر كالتالي:
- المخرج (النموذج اللغوي الكبير - LLM): هو الراوي المبدع. يضع الحبكة، والشخصيات، والحوار. "أولاً، يدخل جون، ثم يجلس، ثم يتحدث مع ماري".
- مدير المسرح (الخلفية البرمجية للأدوات): هو منفذ القواعد الصارم. لا يهتم بالقصة؛ بل يهتم فقط بقواعد "الملعب" (محرك فيديو ثلاثي الأبعاد). هو يعرف أن الشخص لا يمكنه الجلوس ما لم يكن واقفًا أولًا، ولا يمكنه حمل شيئين ثقيلين في آن واحد.
كيف يعمل الأمر: نهج "المخطط الهندسي"
- الخطة: يكتب ذكاء اصطناوي "المخرج" خطة مفصلة تسمى GEST (رسم بياني للأحداث في الزمان والمكان). هذا ليس فيديو؛ بل هو قائمة تعليمات مهيكلة: الممثل (أ) ينتقل إلى الموقع (ب)، يلتقط الشيء (ج)، ثم ينتظر الممثل (ب).
- فحص السلامة: قبل أن يُسمح للمخطط بأن يصبح فيديو، يمر عبر "مدير المسرح". يقوم مدير المسرح بفحص كل خطوة مقابل قواعد محرك الألعاب ثلاثي الأبعاد.
- هل يمكن لجون الجلوس هناك حقًا؟ نعم.
- هل الكرسي مشغول؟ لا.
- هل التقط الكوب قبل الشرب؟ نعم.
- إذا كسر المخطط قاعدة ما، يقول مدير المسرح: "لا، هذا مستحيل"، ويجبر المخرج على الإصلاح فورًا.
- التنفيذ: بمجرد أن يصبح المخطط مثاليًا وخاليًا من الأخطاء، يقوم محرك ألعاب كمبيوتر (مثل نسخة عالية التقنية من لعبة Grand Theft Auto) بتشغيل المحاكاة. ولأن المخطط كان مثاليًا، فإن الفيديو الناتج مضمون أنه منطقي تمامًا. لا أكواب طافية، ولا أشخاص يختفون.
لماذا يعد هذا أمرًا بالغ الأهمية
تسلط الورقة الضوء على بعض "القوى الخارقة" لهذا النظام الجديد:
- ميزة "الحقيقة الأرضية" (Ground Truth): نظرًا لأن الفيديو يتم إنتاجه من مخطط صارم، فإن النظام يعرف تلقائيًا بالضبط ما يحدث في كل إطار. يمكنه أن يخبرك: "في الثانية 4.2، السيارة الحمراء تبعد 3 أمتار إلى يسار السيارة الزرقاء". مولدات الفيديو الحالية (مثل Sora أو Runway) لا تستطيع فعل ذلك؛ فهي تخمن فقط كيف يجب أن تبدو البكسلات.
- اختبار "المرحلتين": اختبر الباحثون هذا بطريقتين:
- الوضع المستقل: صنع الذكاء الاصطناعي القصة من الصفر. نجح في حوالي 50% من المرات (تعثر في حلقات مفرغة أو نفدت منه الأفكار).
- الوضع الموجه (Seeded Mode): أعطوا الذكاء الاصطناعي قصة محددة ليحكيها. نجح في 80% من المرات.
- التفوق على الذكاء الاصطناعي "السحري": عندما قارنوا فيديوهات المحرك التي أنتجوها مع أفضل المولدات العصبية (VEO 3.1 و WAN 2.2) باستخدام نفس المطالبة القصصية، تفوق المحرك بوضوح في المنطق.
- فيديو المحرك: 58% صالح فيزيائيًا (الأشياء لم تنتهك قوانين الفيزياء).
- الفيديو العصبي: 20-25% صالح فقط (الكثير من التشوهات الغريبة).
- المقايضة: فيديوهات المحرك تبدو أكثر مثل ألعاب الفيديو (أقل واقعية تصويرية)، لكنها تحكي قصة متماسكة. الفيديوهات العصبية تبدو كأنها من الحياة الواقعية ولكن القصة تنهار.
"الفشل المتدرج"
جرب الباحثون نهجًا مختلفًا في البداية: بنوا خط إنتاج حيث يكتب ذكاء اصطناعي واحد القصة، ويدقق ذكاء اصطناعي ثانٍ الشخصيات، وثالث التوقيت، وهكذا. فشل الأمر تمامًا (نسبة نجاح 0%).
لماذا؟ إنه يشبه محاولة بناء منزل عن طريق جعل شخص يرسم المخططات، وشخص آخر يبني الجدران، وثالث يركب السقف، دون أن يتحدث أي منهم مع الآخر. بحلول الوقت الذي يوضع فيه السقف، تكون الجدران في مكان خاطئ.
الحل: يستخدم نظامهم الجديد محادثة واحدة مستمرة بين المخرج ومدير المسرح. المخرج يقترح، ومدير المسرح يعترض أو يوافق فورًا. هذا يحافظ على "الحالة" (من يمسك ماذا، وأين يتواجد الجميع) بدقة مثالية.
الخلاصة
تقدم هذه الورقة نظامًا يعامل توليد الفيديو مثل برمجة محاكاة وليس مثل رسم لوحة.
- الطريقة القديمة: "اجعل الأمر يبدو واقعيًا، حتى لو لم يكن له معنى".
- الطريقة الجديدة: "اجعل الأمر منطقيًا تمامًا، وسنقوم بإصلاح المظهر لاحقًا".
هذه خطوة هائلة للأمام لإنشاء فيديوهات تتطلب المنطق، والفيزياء، والتفاعلات المعقدة بين عدة شخصيات. إنها تحول توليد الفيديو من "خدعة سحرية" إلى عملية هندسية موثوقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.