OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video
تقدم هذه الورقة البحثية OmniScript، وهو نموذج لغوي شامل متعدد الوسائط بكفاءة عالية يمتلك 8 مليارات معلمة، ومعياراً جديداً مُصنفاً بشرياً صُمم لمعالجة مهمة تحويل الفيديو إلى نص (video-to-script) المستحدثة عبر توليد نصوص سينمائية مفصلة، هرمية البنية، ومترابطة زمنياً لمقاطع الفيديو السينمائية طويلة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فيلماً مدته ساعتان. الآن، تخيل أنك تطلب من حاسوب أن يشاهد الفيلم بأكمله ويكتب سيناريو كاملاً ومفصلاً له، مشهداً بمشهد، بما في ذلك ما يفعله الشخصيات بالضبط، وما يقولونه، وما يشعرون به، وحتى كيف تبدو الموسيقى التصويرية، مع طوابع زمنية دقيقة.
هذا هو التحدي الهائل الذي تعالجه هذه الورقة البحثية. يقدم المؤلفون OmniScript، وهو نظام ذكاء اصطناعي جديد مصمم للقيام بذلك بالضبط.
إليك تفصيل عملهم باستخدام تشبيهات بسيطة:
1. المشكلة: الذكاء الاصطناعي ذو "مدى الانتباه القصير"
نماذج الذكاء الاصطناعي الحالية تشبه السياح في حافلة. يمكنهم النظر من النافذة وقول: "أوه، ذاك جبل!" أو "انظر، كلب!" لمقطع مدته 30 ثانية. لكن إذا طلبت منهم مشاهدة فيلم كامل وكتابة قصة عنه، فسيضيعون. سينسون من هم الشخصيات، ويخلطون بين أحداث الحبكة، أو يفوتون التحولات العاطفية الدقيقة.
كتابة سيناريو من فيديو أمر صعب لأن:
- إنه طويل جداً: الفيلم يحتوي على آلاف اللحظات.
- إنه معقد: تحتاج لتتبع من هو مَن، وماذا يقولون، وكيف يشعرون، كل ذلك بينما تتحرك الكاميرا وتتغير الموسيقى.
- إنه مكلف: كتابة سيناريو لمقطع مدته دقيقتين يتطلب الكثير من قدرة الحاسوب؛ أما القيام بذلك لفيلم كامل فهو حالياً مستحيل بالنسبة لمعظم أنظمة الذكاء الاصطناعي.
2. الحل: OmniScript (الـ "محرر الخارق")
بنى الفريق OmniScript، وهو ذكاء اصطناعي يعمل كأنه محرر أفلام وكاتب سيناريو خارق في آن واحد.
- إنه "متعدد الوسائط" (Omni-modal): على عكس أنظمة الذكاء الاصطناعي الأخرى التي "ترى" الفيديو فقط، فإن OmniScript يمتلك آذاناً أيضاً. فهو يستمع إلى الحوار، والمؤثرات الصوتية، والموسيقى. إنه يفهم أن وجه الشخصية "الغاضب" مع "الصراخ" و"موسيقى الطبول" يخلق حالة مزاجية محددة.
- إنه فعال: رغم كونه ذكياً جداً، إلا أنه صغير الحجم بشكل مفاجئ (8 مليارات بارامتر فقط). فكر فيه كأنه سيارة سباق فورمولا 1 (F1): خفيفة الوزن وسريعة، ومع ذلك تتفوق على الشاحنات الضخمة والثقيلة (نماذج الذكاء الاصطناعي الأكبر).
3. كيف دربوه: "صالة ألعاب الذاكرة"
لتعليم OmniScript، كان على الباحثين حل ثلاث مشكلات كبيرة:
أ. مشكلة البيانات (الـ "لوحة البيضاء")
لم تكن هناك مجموعات بيانات موجودة حيث كتب البشر سيناريوهات مفصلة لأفلام كاملة.
- الحل: قاموا ببناء مجموعة بيانات ضخمة وعالية الجودة من الصفر. استخدموا نظاماً يعتمد على "الإنسان في الحلقة" (human-in-the-loop)، حيث يقوم ذكاء اصطناعي قوي بإنشاء مسودة، ثم يقوم خبراء بشريون بصقلها، لضمان دقة أسماء الشخصيات ونقاط الحبكة.
ب. مشكلة الذاكرة (الـ "من هو مَن؟")
في فيلم طويل، قد يرتدي شخص ما معطفاً مختلفاً في المشهد 100 عما كان يرتديه في المشهد 1. الذكاء الاصطناعي العادي سيعتقد أنهما شخصان مختلفان.
- الحل: منحوا OmniScript "مدير ملفات الشخصيات". تخيل لوحة تحري تحتوي على صور وملاحظات. بينما يشاهد الذكاء الاصطناعي الفيلم، يقوم بتحديث هذه اللوحة: "حسناً، هذا لا يزال جون، لكنه الآن يرتدي قبعة حمراء ويبدو متعباً". هذا يحافظ على اتساق القصة من البوذة إلى النهاية.
ج. طريقة التدريب (الـ "خطوة التفكير")
بدلاً من مجرد تخمين الكلمة التالية، تم تعليم الذكاء الاصطناعي أن يفكر أولاً.
- الحل: استخدموا نهج "سلسلة الأفكار" (Chain of Thought). قبل كتابة السيناريو، يكتب الذكاء الاصطناعي ملخصاً ذهنياً: "حسناً، هذه هي ذروة الأحداث. البطل غاضب لأن الشرير كذب. الموسيقى متوترة". فقط بعد مرحلة "التفكير" هذه، يبدأ بكتابة السيناريو الفعلي. هذا يمنع الذكاء الاصطناعي من الارتباك.
4. التقييم: "ناقد الأفلام الصارم"
كيف تقيم سيناريو؟ لا يمكنك استخدام مجرد مدقق إملائي.
الحل: أنشأوا نظام تقييم جديداً يتحقق من أربعة أشياء بشكل منفصل:
- هل حدث الأمر في الوقت الصحيح؟ (التوقيت)
- هل كان الشخصية الصحيحة؟ (الهوية)
- هل قالوا الشيء الصحيح؟ (الحوار)
- هل قاموا بالفعل الصحيح؟ (الحركة)
حتى أنهم بنوا نظاماً للتعامل مع "المفردات المفتوحة". فإذا قال الذكاء الاصطناعي "الرجل ذو البدلة الزرقاء" وكان النص الأصلي يقول "جون سميث"، فإن النظام يعرف أنهما نفس الشخص ويعطيه الدرجة، بدلاً من اعتباره خطأً.
5. النتائج: هزيمة العمالقة
عندما اختبروا OmniScript:
- هزم العمالقة: قدم أداءً يضاهي (وأحياناً يتفوق على) النماذج الضخمة والمكلفة والمغلقة مثل Gemini 3-Pro من جوجل.
- تعامل مع الفيديوهات الطويلة: بينما بدأت أنظمة الذكاء الاصطناعي الأخرى في الهلوسة ونسيان الحبكة بعد 20 دقيقة، حافظ OmniScript على هدوئه.
- خدعة "المرحلتين": بالنسبة للأفلام الطويلة جداً (مثل 40 دقيقة فأكثر)، استخدموا استراتيجية تسمى توليد السيناريو على مرحلتين.
- المرحلة 1: يقوم مخطط بتقسيم الفيلم إلى أجزاء ووضع الخطوط العريضة للحبكة.
- المرحلة 2: يقوم OmniScript بكتابة السيناريو المفصل لكل جزء بناءً على ذلك المخطط.
- التشبيه: الأمر يشبه كتابة رواية. أنت لا تكتب الكتاب كاملاً في نفس واحد؛ بل تكتب مخططاً، ثم تكتب فصلاً فصلاً، وأخيراً تجمعهم معاً.
الخلاصة
OmniScript هو طفرة لأنه يسمح أخيراً للحواسيب بفهم القصص الطويلة والمعقدة بصرياً وسمعياً، وتحويل لقطات الفيديو الخام إلى سيناريوهات مهيكلة وقابلة للقراءة. إنه يثبت أنك لا تحتاج إلى عقل "عملاق" لفهم فيلم؛ بل تحتاج فقط إلى الذاكرة الصحيحة، ومهارات الاستماع الصحيحة، وخطة جيدة.
يمكن لهذه التكنولوجيا أن تُحدث ثورة في كيفية أرشفة الأفلام، والبحث فيها، وحتى كيفية إنشاء قصص جديدة من خلال مساعدة الكتاب البشر على تصور أفكارهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.