CoT-Edit: Let CoT Guide Instruction Video Editing
يقدم CoT-Edit إطار عمل للتحرير الموجه بالخطة يستفيد من نموذج لغوي كبير متعدد الوسائط معزز بسلسلة من الأفكار لتوليد أولويات مكانية دقيقة وتوجيهات غنية بالسمات، مما يتيح تحرير الفيديو المدفوع بالنص في المشاهد المعقدة مع تحسين تحديد مواقع الأشياء، والاتساق الفيزيائي، والتماسك الزمني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت تعديل فيلم منزلي. أنت لا تريد قضاء ساعات في تعلم برامج معقدة؛ بل تريد فقط أن تقول: "اجعل الكلب يطير مثل بطل خارق"، وأن يحدث ذلك بالفعل. هذا هو حلم تحرير الفيديو القائم على التعليمات، وهو مجال يحاول فيه الكمبيوتر فهم أوامرك باللغة الطبيعية وتغيير بكسلات الفيديو لتطابقها. ولكن هنا تكمن المشكلة: الحواسيب سيئة للغاية في "المنطق السليم". إذا قلت لروبوت "أضف طبق طائر (UFO) يطير في دائرة"، فقد يقوم بمجرد لصق صورة طبق طائر في السماء، متجاهلاً الجاذبية، أو قد يحول بالخطأ الكلب الخطأ إلى قطة إذا كان هناك كلبان في المشهد. الأمر يشبه إعطاء طباخ وصفة تقول "أضف بعض التوابل" دون إخباره بأي توابل أو كميتها — النتيجة غالباً ما تكون فوضوية. ولإصلاح ذلك، يحاول الباحثون سد الفجوة بين الكلمات البشرية الغامضة والأفعال الفيزيائية الدقيقة في الفيديو، لضمان أنه إذا أُلقيت كرة، فإنها تتبع قوانين الفيزياء، وإذا أشرت إلى كائن محدد، يعرف الكمبيوتر تماماً أي كائن تقصد.
هنا يأتي CoT-Edit، وهي طريقة جديدة تعمل كمدير مشروع بارع ومنظم للخطوات في تحرير الفيديو. بدلاً من مجرد الصراخ بتعليمات والأمل في أن يفهمها الكمبيوتر بشكل صحيح، يجبر CoT-Edit الذكاء الاصطناعي على "التفكير قبل التنفيذ". يقترح المؤلفون إطار عمل ثلاثي الخطوات يسمى التخطيط–التوجيه–التحرير (Plan–Guide–Edit). أولاً، المخطط (Planner) (وهو عقل ذكاء اصطناعي فائق الذكاء) ينظر إلى الفيديو وأمرك النصي. هو لا يخمن فحسب؛ بل يستخدم تقنية تسمى سلسلة الأفكال (Chain-of-Thought) لتفكيك المهمة. يقوم بخطوات استدلال مهيكلة لتحليل المشهد: "ماذا يفعل الكلب؟ أين هو؟ إذا أضفت طبقاً طائراً، فأين يجب أن يطير ليبدو حقيقياً؟". ثم يقوم بإنشاء تسلسل من صناديق الإحاطة (bounding boxes) المعيارية لتحديد الكائنات، ويكتب تعليمات أكثر تفصيلاً و"مثرية" تتضمن قواعد فيزيائية، مثل "يجب أن يتبع الطبق الطائر مساراً منحنياً".
بعد ذلك، يأخذ الموجه (Guide) هذه الصناديق ويحولها إلى أقنعة (masks) فعلية — تخيلها كقوالب رقمية أو أشكال مقصوصة تخبر الكمبيوتر بالضبط أين يعمل. ولأن الكمبيوتر لديه الآن خريطة واضحة (الصناديق) بدلاً من مجرد فكرة غامضة، فإنه ليس مضطراً للتخمين أي كلب يجب تغييره أو أين يجب أن يستقر الكائن الجديد. أخيراً، يستخدم المحرر (Editor) (وهو الفنان) هذه القوالب والتعليمات المفصلة لطلاء المحتوى الجديد في الفيديو. إنه يشبه الفرق بين إخبار رسام "ارسم طائراً" وبين إعطائه تحديداً لمخطط الطائر، وقائمة بالألوان، وقاعدة تقول "يجب أن يكون الطائر جالساً على الغصن، وليس طافياً في الهواء".
وجد البحث أن نهج "التفكير أولاً" هذا يعمل بشكل أفضل بكما في الطرق السابقة. في الاختبارات، كان CoT-Edit أفضل بكثير في اختيار الكائن الصحيح عندما كانت هناك كائنات متشابهة كثيرة (مثل اختيار الكلب الأصفر بدلاً من البني) وفي جعل الكائنات الجديدة تتحرك بطرق واقعية فيزيائياً (مثل ارتداد الكرة بشكل صحيح). قام الباحثون بتدريب نظامهم على مرحلتين: أولاً، علموا صانع الأقنعة والمحرر بشكل منفصل باستخدام مزيج من مجموعات البيانات العامة؛ ثم قاموا بتدريبهما معاً على حوالي 100,000 زوج من عمليات تحرير الفيديو عالية الجودة. وعندما اختبروه، تفوق CoT-Edit على الأساليب الرائدة الأخرى في كل الفئات تقريباً، بما في ذلك مدى سلاسة الحركة ومدى اتباعه لتعليمات المستخدم. ويشير المؤلفون إلى أنه من خلال التخطيط الصريح لـ "أين" و"كيف" قبل "ماذا"، يمكنهم إنشاء تحريرات فيديو ليست مبهرة بصرياً فحسب، بل منطقية أيضاً للعين البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.