MiVE: Multiscale Vision-language features for reference-guided video Editing
يقدم MiVE إطار عمل لتحرير الفيديو بتوجيه مرجعي يستفيد من الميزات الهرمية متعددة المقاييس من Qwen3-VL ضمن محول انتشار ذاتي الانتباه موحد للتغلب على فجوات الأنماط وفقدان التفاصيل المكانية، محققاً أداءً هو الأفضل في مجاله في الحفاظ على الحركة وتنفيذ التعديلات الدقيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فيديو منزلي لصديقك وهو يمشي في الشارع. تريد تغيير لون شعره إلى الوردي الفاقع، لكنك تريد الحفاظ على مشيته، والخلفية، وكل شيء آخر كما هو تماماً. هذا هو تحدي تحرير الفيديو الموجه بالمرجع (Reference-Guided Video Editing).
تقدم هذه الورقة البحثية أداة جديدة تسمى MiVE (الميزات البصرية-اللغوية متعددة المقاييس لتحرير الفيديو الموجه بالمرجع) والتي تحل هذه المشكلة بشكل أفضل من الطرق الحالية، بما في ذلك الأنظمة التجارية باهظة الثمن.
إليك كيف تعمل MiVE، مشروحة من خلال تشبيهات بسيطة:
المشكلة: "المترجم" مقابل "المهندس المعماري"
عادة ما تحاول أدوات تحرير الفيديو الحالية القيام بشيئين بشكل منفصل:
- المترجم: نظام يقرأ تعليماتك النصية (مثل "اجعل الشعر وردياً").
- المهندس المعماري: نظام ينظر إلى الفيديو والصورة المرجعية لفهم ما يجب تغييره.
تجادل الورقة بأن هذين النظامين غالباً ما يتحدثان دون تفاهم. "المترجم" يفهم فكرة اللون الوردي، لكنه لا يعرف بالضبط أين يقع الشعر. أما "المهندس المعماري" فيرى الشعر، لكنه قد لا يستوعب التعليمات المحددة تماماً. وعندما يحاولان دمج عملهما في مرحلة متأخرة من العملية، تكون النتيجة غالباً ضبابية، أو غير متسقة، أو تغير أشياء لم تكن ترغب في تغييرها.
الحل: "اجتماع الكل حاضر" في MiVE
تغير MiVE قواعد اللعبة باستخدام عقل واحد قوي (نموذج رؤية-لغة يسمى Qwen3-VL) للقيام بكل شيء في آن واحد. ولكن السر يكمن في: MiVE تستمع إلى "أصوات" مختلفة داخل ذلك العقل.
اكتشف المؤلفون أن نماذج التعلم العميق لها طبقات، مثل الطوابق في ناطحة سحاب:
- الطوابق السفلية (الطبقات المبكرة): هؤلاء يشبهون المهندسين المعماريين الذين يحملون عدسات مكبرة. إنهم يرون التفاصيل الدقيقة والمحددة: الشكل الدقيق لخصلة شعر، أو ملمس قميص، أو حافة ظل.
- الطابق العلوي (الطبقات النهائية): هذا يشبه المدير التنفيذي (CEO). إنه يفهم الصورة الكبيرة والمعنى: "هذا شخص"، "هذا شعر وردي"، "هذا يوم مشمس".
الطرق القديمة كانت تستمع فقط للمدير التنفيذي (الطبقة النهائية). كانوا يعرفون ماذا يفعلون، لكنهم يفتقدون التفاصيل، مما يؤدي إلى تعديلات ضبابية.
أما MiVE، فهي تعقد اجتماعاً حيث يتحدث كل من المهندسين المعماريين مع عدساتهم المكبرة والمدير التنفيذي في نفس الوقت.
كيف تعمل: "المسرح الموحد"
بدلاً من جعل النص، والصورة المرجعية، والفيديو يتحدثون مع بعضهم البعض عبر سباق تتابع معقد (مما يسبب تأخيراً وأخطاءً)، تضع MiVE الجميع على مسرح واحد.
- المدخلات: تعطي MiVE الفيديو الأصلي، وتعليمة نصية، وصورة مرجعية (صورة لما تريد أن تبدو عليه النتيجة).
- الخليط: تأخذ MiVE تفاصيل "العدسة المكبرة" ومعاني "الصورة الكبيرة" من المرجع والتعليمات.
- الرقصة: تمزج كل هذه المعلومات معاً في حوض واحد كبير. إطارات الفيديو لا تكتفي فقط بـ "الاستماع" للتعليمات؛ بل "ترقص" معها. هذا يضمن أنه عندما يغير الفيديو لون الشعر، فإنه يعرف بالضبط أي البكسلات يجب لمسها وأيها يجب تركها وشأنها، مما يحافظ على الحركة الأصلية بدقة.
النتائج: لماذا هي الأفضل؟
اختبرت الورقة MiVE مقابل أفضل النماذج الأكاديمية الأخرى ونظام تجاري شهير (Kling O1).
- في السيناريوهات البسيطة: استطاعت MiVE تغيير لون جسم ما أو إزالة شخص دون جعل الخلفية ضبابية.
- في السيناريوهات المعقدة: عندما كان الفيديو يحتوي على حركة سريعة، أو ظلال، أو أشخاص يمشون خلف أشياء، كانت MiVE هي الوحيدة التي حافظت على ملامح وجه الشخص واضحة وجعلت الإضاءة واقعية.
يقول المؤلفون إن MiVE هي الأفضل لأنها لا تخمن فحسب؛ بل تستخدم التفاصيل الدقيقة (من الطبقات المبكرة) لضمان الدقة والأفكار الكبيرة (من الطبقات النهائية) لضمان اتباع التعليمات بشكل صحيح.
الملخص
فكر في MiVE كأنها محرر بارع لا يكتفي فقط بقراءة السيناريو (النص) والنظر إلى الصورة (المرجع) بشكل منفصل. بدلاً من ذلك، تمتلك MiVE قوة خارقة: يمكنها رؤية الفيلم بأكمله والسيناريو بأكمله في نفس الوقت، مع الانتباه لكل من القصة العامة والتفاصيل الصغيرة في آن واحد. هذا يسمح لها بإجراء تغييرات تبدو طبيعية، وتظل متسقة، وتتبع تعليماتك بدقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.