DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing
تقدم الورقة البحثية إطار عمل DIRECT، وهو إطار عمل هرمي متعدد الوكلاء يعالج التحدي المعقد المتمثل في إنشاء عمليات دمج مقاطع الفيديو (video mashup) آلياً من خلال تفكيك العملية إلى مراحل كتابة السيناريو، والإخراج، والتحرير لضمان التماسك الدلالي والبصري والسمعي بمستوى احترافي، وهو ما تم التحقق منه عبر معيار Mashup-Bench الجديد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من مقاطع الأف_لام—آلاف المشاهد لمطاردات السيارات، الانفجارات، المحادثات الهادئة، والأشخاص الذين يركضون. ولديك أيضاً أغنية عالية الحماس تحبها. ما هو هدفك؟ إنشاء فيديو موسيقي (مزيج/Mashup) مثالي واحترافي، حيث تندمج المقاطع معاً بسلاسة، ويتوافق الأكشن مع الإيقاع، ويحكي المقطع قصة مثيرة.
القيام بذلك يدوياً يستغرق من المحرر البشري أياماً من العمل. أما القيام به تلقائياً؟ فعادة ما يكون كارثياً. معظم برامج الكمبيوتر تجلب فقط المقاطع التي تبدو كما طلبت، لكنها تنتهي بمظهر يشبه عرض الشرائح الفوضوي حيث تقفز الكاميرا بشكل عشوائي، ولا يتناسب الموسيقى مع الحركة، ولا تبدو القصة منطقية.
يقدم هذا البحث نظام DIRECT، وهو نظام ذكاء اصطناعي جديد مصمم لإصلاح هذا الأمر. بدلاً من استخدام روبوت واحد ضخم ومرتبك للقيام بالمهمة بأكملها، يعمل DIRECT كـ فريق إنتاج سينمائي محترف، حيث يقسم العمل إلى ثلاثة أدوار متميزة: كاتب السيناريو، المخرج، والمحرر.
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. كاتب السيناريو: المهندس المعماري
المشكلة: إذا طلبت من الكمبيوتر "اصنع فيديو مطاردة سيارات"، فقد يجلب مقطعاً لسيارة، ثم مقطعاً لشخص يتناول الغداء، ثم مقطعاً لصاروخ. إنه يفتقر إلى البناء الهيكلي.
حل DIRECT: كاتب السيناريو هو المخطط. قبل لمس أي مقطع، يستمع إلى الموسيقى الخاصة بك ويقرأ طلبك.
- ماذا يفعل: يقوم بتقسيم الأغنية إلى أقسام (مقدمة، مقطع، لازمة/Chorus). ثم ينظر إلى مكتبتك من المقاطع ويجمعها في "سمات" (مثل: "مطاردات عالية السرعة"، "لقطات قريبة متوترة"، "انفجارات").
- التشبيه: فكر في كاتب السيناريو كمهندس معماري يرسم مخططاً. هو يقرر: "حسناً، المقدمة البطيئة والمتوترة للأغنية تحتاج إلى لقطات هادة وقريبة للسائقين. اللازمة الصاخبة والانفجارية تحتاج إلى مشاهد تصادم فوضوية وسريعة." إنه يضع خريطة حتى يعرف بقية الفريق بالضبط ما الذي يجب بناؤه وأين.
2. المخرج: صاحب الرؤية الإبداعية
المشكلة: حتى مع وجود مخطط، قد يختار الكمبيوتر المقاطع "الصحيحة" لكنه يجمعها بطريقة تبدو مزعجة. ربما ينتقل من سيارة سريعة إلى سيارة بطيئة، أو يغير الزوايا بطريقة تجعل المشاهد يشعر بالدوار.
حل DIRECT: يأخذ المخرج خريطة كاتب السيناريو ويعطي تعليمات إبداعية محددة للمحرر.
- ماذا يفدو: يترجم الخطة المجردة إلى قواعد ملموسة. بالنسبة لـ "مشهد مطاردة"، يخبر المحرر: "ابحث عن دراجة نارية مسرعة، ولكن تأكد من أن الحركة تتدفق بسلاسة من اللقطة السابقة، واقطع تماماً عند دقة الطبل." بالنسبة لـ "مشهد حزين"، يقول: "ابحث عن لقطة قريبة لوجه، حافظ على اللقطة طويلة وثابتة، ولا تقلق بشأن الإيقاع كثيراً."
- التشبيه: المخرج هو المدير في موقع التصوير. هو لا يحرك الكاميرا بنفسه، لكنه يخبر الطاقم: "نحتاج إلى انتقال سلس هنا، مثل تدفق الماء. لا تستخدم مجرد قطع مفاجئ!" كما يعمل أيضاً كمدير لضبط الجودة. إذا أعاد المحرر مقطعاً يبدو غريباً، يقول المخرج: "لا، هذا لا يناسب الأجواء. حاول طلب شيء مختلف قليلاً،" ويرسله للبدء من جديد.
3. المحرر: الحرفي الدقيق
المشكلة: أجهزة الكمبيوتر جيدة في الرياضيات ولكنها سيئة في "الشعور". قد تختار مقطعاً صحيحاً من الناحية الدلالية (إنها سيارة) ولكن خاطئاً من الناحية البصرية (السيارة تتحرك يساراً، بينما كانت السيارة السابقة تتحرك يميناً، مما يسبب قفزة بصرية).
حل DIRECT: المحرر هو من يقوم بتجميع المقاطع بالفعل، لكنه يفعل ذلك بدقة فائقة.
- ماذا يفعل: يبحث المحرر في المكتبة عن المقاطع التي تطابق تعليمات المخرج. ولكن هنا يكمن السحر: هو لا يقطع عند بداية المقطع فحسب. بل ينظر إلى الإطار بالضبط حيث تتطابق الحركة مع المقطع السابق وحيث تصطدم دقة الموسيقى. يمكنه تقليص مقطع مدته 10 ثوانٍ إلى شريحة مدتها ثانيتان لجعل الانتقال مثالياً.
- التشبيه: المحرر يشبه صانع الساعات الماهر أو الجراح. إنه يستخدم مشرطاً مجهرياً لتقليم اللقطات. يضمن أنه عندما ينتهي مشهد سيارة ويبدأ المشهد التالي، تكون العجلات تدور في نفس الاتجاه، وأن القطع يحدث تماماً عندما تضرب طبول الباص (Bass drum).
لماذا هذا أفضل مما لدينا الآن؟
معظم محرري الذكاء الاصطناعي الحاليين يشبهون شخصاً واحداً يحاول القيام بكل شيء في وقت واحد. يحاولون كتابة القصة، وإخراج الممثلين، وتحرير الفيلم في آن واحد. يصابون بالإرهاق وينتجون نتيجة "مقبولة" ولكنها تفتقر إلى الروح.
يعمل DIRECT لأنه يفصل التفكير عن التنفيذ:
- كاتب السيناريو يخطط للصورة الكبيرة (الهيكل العالمي).
- المخرج يحدد المزاج والقواعد لكل مشهد (التماسك المحلي).
- المحرر ينفذ القطعات بدقة رياضية (التماسك منخفض المستوى).
النتيجة
عندما تستخدم DIRECT، فإن الفيديو النهائي لا يبدو كمجرد مجموعة عشوائية من المقاطع. بل يبدو وكأنه إعلان فيلم احترافي. حركات الكاميرا تتدفق بشكل طبيعي، والقطعات تصيب الموسيقى بدقة، والقصة تبني التوتر تماماً كما كان ينوي المحرر البشري.
لقد قام الباحثون أيضاً ببناء "صالة تدريب" جديدة (تسمى Mashup-Bench) لتدريب واختبار هذا النظام، مما أثبت أن فريقهم المكون من ثلاثة وكلاء ينتج فيديوهات يفضلها البشر فعلياً على الفيديوهات التي تصنعها أدوات الذكاء الاصطناعي الأخرى.
باخت اختصار: يحول DIRECT كومة فوضوية من مقاطع الفيديو وأغنية إلى تحفة فنية متناغمة وإيقاعية من خلال السماح لفريق من الذكاء الاصطناعي بالعمل معاً تماماً مثل طاقم هوليوود الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.