The Script is All You Need: An Agentic Framework for Long-Horizon Dialogue-to-Cinematic Video Generation
تقدم هذه الورقة إطار عمل وكيلِيًّا يتميز بـ ScripterAgent وDirectorAgent، مدعومًا بمعيار مرجعي ومقاييس تقييم جديدة، لسد الفجوة الدلالية بين الحوار وتوليد الفيديو السينمائي طويل الأمد من خلال ترجمة المفاهيم عالية المستوى إلى نصوص برمجية قابلة للتنفيذ تضمن التماسك السردي والأمانة للنص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد صنع فيلم، ولكن كل ما تملكه هو محادثة أولية بين شخصين. ليس لديك سيناريو، ولا توجاهات للكاميرا، ولا تعرف حتى مدة كل مشهد. إذا طلبت من مولد فيديو يعمل بالذكاء الاصطناعي حاليًا ببساطة "اصنع فيلمًا من هذه الدردشة"، فإنه سيفشل عادةً. قد يصنع مقطعًا جميلًا مدته 5 ثوانٍ، لكنه لا يستطيع سرد قصة تستمر لدقائق، وغالبًا ما تبدو الشخصيات مختلفة في كل لقطة.
تقدم هذه الورقة البحثية "إطار عمل وكيل" (Agentic Framework) جديد (وهو عبارة عن فريق من المتخصصين في الذكاء الاصطناعي) لحل هذه المشكلة. فكر في الأمر كأنه طاقم إنتاج سينمائي رقمي يحول مجرد دردشة بسيطة إلى فيلم سينمائي متكامل.
إليك كيف يعمل فريقهم، مقسمًا إلى ثلاث شخصيات رئيسية:
1. الوكيل الكاتب (ScripterAgent): "كاتب السيناريو"
المشكلة: الحوار الخام يكون فوضويًا. فهو لا يخبرنا أين توضع الكاميرا، أو كيف يجب أن يتحرك الممثل، أو كيف يبدو شكل الإضاءة.
الحل: يعمل "الوكيل الكاتب" ككاتب سيناريو محترف يعشق التفاصيل.
- ماذا يفعل: يأخذ الدردشة الأولية ويكتب سيناريو مفصلاً مشهدًا بمشهد. هو من يقرر: "حسناً، لهذا السطر، نحتاج إلى لقطة قريبة لوجه الممثل، ثم لقطة واسعة للحديقة، ويجب أن تتحرك الكاميرا ببطء نحو اليسار".
- كيف تعلم: قام الباحثون بتعليمه باستخدام مجموعة بيانات خاصة تسمى ScriptBench. لم يكتفوا بتغذيته ببيانات عشوائية، بل استخدموا عملية "موجهة من قبل الخبراء" حيث قامت قواعد بشرية بفحص السيناريو بحثًا عن الأخطاء (مثل التأكد من أن الشخصية لا تنتقل فجًا من مكان لآخر أو تغير ملابسها فجأة).
- السر الخفي: قاموا بتدريبه على خطوتين. أولاً، علموه قواعد كتابة السيناريو (الضبط الدقيق الخاضع للإشراف). ثم استخدموا طريقة "التدريب التوجيهي" (Reinforcement Learning) حيث كان يتم مكافأة الذكاء الاصطناعي على اتخاذ خيارات تبدو فنية ودرامية، وليس فقط صحيحة منطقيًا.
2. الوكيل المخرج (DirectorAgent): "مخرج الفيلم"
المشكلة: حتى مع وجود سيناريو مثالي، فإن نماذج الفيديو الحالية لا يمكنها إلا صنع مقاطع قصيرة (مثل 8-12 ثانية). إذا حاولت صنع فيلم مدته دقيقتان، فسوف يرتبك الذكاء الاصطناعي، وتبدأ الشخصيات في الظهور كأشخاص مختلفين في كل مقطع جديد.
الحل: يعمل "الوكيل المخرج" كمخرج يدير عملية تصوير طويلة عبر تقسيمها إلى قطع يمكن التحكم فيها.
- الاستراتيجية: بدلًا من طلب صنع الفيلم بأكمله مرة واحدة من الذكاء الاصطناعي، يقوم "الوكيل المخرج" بتقسيم السيناريو إلى "مشاهد" صغيرة تناسب حدود قدرة الذكاء الاصطناعي.
- خدعة "تثبيت الإطار" (Frame-Anchoring): هذه هي أذكى حركاتهم. عندما ينتهي الذكاء الاصطناعي من المشهد الأول، يأخذ "الوكيل المخرج" الإطار الأخير تمامًا من ذلك المشهد ويستخدمه كـ صورة بداية للمشهد الثاني.
- تشبيه: تخيل تمرير العصا في سباق تتابع. العداء (المشهد 2) لا يبدأ من الصفر؛ بل يبدأ تمامًا من حيث توقف العداء السابق (المشهد 1). هذا يحافظ على بقاء وجه الشخصية، وملابسها، والخلفية تبدو متطابقة تمامًا، مما يخلق فيلمًا طويلاً ومتسقًا.
3. الوكيل الناقد (CriticAgent): "ناقد الفيلم"
المشكلة: كيف تعرف ما إذا كان الفيلم جيدًا حقًا؟
الحل: "الوكيل الناقد" هو حكم ذكاء اصطناعي يشاهد الفيلم النهائي ويقرأ السيناريو ليرى مدى تطابقهما.
- ما الذي يفحصه: يبحث في أمور مثل "هل تحركت الكاميرا كما قال السيناريو؟" "هل كانت عاطفة الممثل متوافقة مع الحوار؟" و"هل تدفق السرد بشكل منطقي؟"
- مقياس جديد: ابتكروا مقياسًا جديدًا يسمى VSA (المواءمة البصرية-النصية). فكر في هذا كـ "فحص توقيت". هو لا يسأل فقط "هل الكلب موجود في الفيديو؟" بل يسأل "هل الكلب موجود في الفيديو في الثانية ذاتها التي ذكر فيها السيناريو ظهور الكلب؟"
ماذا وجدوا؟
اختبر الفريق نظامهم على أفضل نماذج الفيديو في العالم (مثل Sora وVeo وغيرها).
- النتيجة: عندما استخدموا فريقهم المكون من "الكاتب" و"المخرج"، صنعت نماذج الفيديو أفلامًا أفضل بكثير. ظلت الشخصيات ثابتة، والقصة كانت منطقية، واتبعت الفيديوهات السيناريو بشكل وثيق جدًا.
- المقايضة: اكتشفوا قاعدة مضحكة في الذكاء الاصطناعي الحالي: بعض النماذج بارعة في جعل الأشياء تبدو واقعية وجميلة (براعة بصرية)، لكنها تعاني في اتباع السيناريو بدقة. بينما نماذج أخرى بارعة في اتباع السيناريو لكنها قد تبدو أقل "سينمائية". يساعد إطار عملهم في موازنة هذا الأمر، مما يجعل الذكاء الاصطناعي يتبع القصة بشكل أفضل دون فقدان الجودة البصرية.
باختصار
تقول هذه الورقة البحثية: "السيناريو هو كل ما تحتاجه."
إذا كنت تريد تحويل محادثة بسيطة إلى فيلم، فلا يمكنك مجرد أن تطلب من الذكاء الاصطناعي "فعل ذلك". أنت بحاجة إلى كاتب سيناريو ذكاء اصطناعي لكتابة خطة مفصلة، ومخرج ذكاء اصطناعي لربط المقاطع معًا حتى لا تتغير وجوه الشخصيات، وناقد ذكاء اصطناعي للتأكد من أن المنتج النهائي يطابق الخطة بالفعل. هذا النهج القائم على الفريق يسد الفجوة بين الفكرة البسيطة والقصة السينمائية كاملة الطول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.