VEBench:Benchmarking Large Multimodal Models for Real-World Video Editing
تقدم هذه الورقة VEBench، وهو أول معيار شامل يتكون من 3.9 ألف فيديو مُحرَّر عالي الجودة و3,080 زوجاً من الأسئلة والأجوبة التي تم التحقق منها بشرياً لتقييم قدرات النماذج اللغوية متعددة الوسائط في معرفة تحرير الفيديو في العالم الحقيقي والاستدلال التشغيلي، مما يكشف عن فجوة أداء كبيرة بين النماذج الحالية والإدراك البشري للتحرير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محرر أفلام. مهمتك ليست مجرد مشاهدة الأفلام؛ بل هي فهم لماذا قام المخرج بالقطع من مشهد إلى آخر، ثم العثور على القطعة المفقودة المثالية من اللقطات لإكمال القصة.
تقدم هذه الورقة البحثية VEBENCH، وهو "امتحان نهائي" جديد صُمم لاختبار مدى قدرة الذكاء الاصطناعي (AI) على القيام بهذه الوظيفة. وجد الباحثون أن أذكى نماذج الذكاء الاصطناعي اليوم تشبه الطلاب الذين حفظوا القاموس عن ظهر قلب لكنهم لم يحرروا فيلماً واحداً قط. يمكنهم وصف مشهد ما، لكنهم يعانون في فهم الإيقاع، أو الصوت، أو منطق وضع مقطعين فيديو مختلفين معاً.
إليك تفصيل للأفكار الرئيسية لهذه الورقة باستخدام تشبيهات بسيطة:
1. المشكلة: الذكاء الاصطناعي هو "مراقب سلبي"، وليس "محرراً مبدعاً"
نماذج الذكاء الاصطناعي الحالية بارعة في مشاهدة فيديو واحد وإخبارك بما حدث (مثل: "كلب يركض"). لكن تحرير الفيديو الحقيقي يختلف عن ذلك؛ فهو يتطلب تفكيرًا استنتاجيًا نشطًا.
- التشبيه: تخيل طالباً يمكنه تسميع قواعد النحو ببراعة، لكنه يتجمد عندما يُطلب منه كتابة قصيدة. وبالمثل، يمكن للذكاء الاصطناعي التعرف على "قفزة" (jump) في الفيديو، لكنه لا يفهم لماذا قام المحرر بهذه القفزة أو كيف يجد اللقطة التالية التي تناسب الحالة المزاجية.
- الفجوة: تُظهر الورقة أنه بينما يتحسن الذكاء الاصطناعي في الرؤية والسمع، فإنه لا يزال سيئاً للغاية في "المنطق الإبداعي" للتحرير.
2. الحل: اختبار من جزأين (VEBENCH)
لإصلاح هذا، بنى الباحثون معياراً يسمى VEBENCH. فكر فيه كاختبار قيادة للذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يتعين على الذكاء الاصطناعي "قيادة" الجدول الزمني لمحرر فيديو. يتضمن الاختبار تحديين رئيسيين:
الجزء (أ): اختبار "اكتشف الخدعة" (التعرف على التقنية)
- المهمة: يشاهد الذكاء الاصطناعي فيديو ويجب عليه تحديد حيل تحريرية معينة، مثل القطع المتداخل (J-Cut) (حيث تسمع صوت المشهد التالي قبل رؤيته) أو القطع الصادم (Smash Cut) (انتقال مفاجئ وحاد إلى مشهد مختلف تماماً).
- التحدي: الأمر لا يتعلق فقط برؤية تغير الصورة. يجب على الذكاء الاصطناعي الاستماع إلى الصوت والشعور بالإيقاع.
- النتيجة: عانى الذكاء الاصطناعي هنا. فقد فشل غالباً في رصد الإشارات الصوتية الدقيقة التي تخبر المحرر البشري: "مهلاً، الصوت هو الذي يقود الطريق!".
الجزء (ب): اختبار "قطعة الأحجية" (محاكاة التشغيل)
- المهمة: هذا هو الجزء الأصعب. يُعطى الذكاء الاصطناعي "فيديو مرجعياً" (مثل مقطع لممثل يتحدث عن فيلم). ثم يُعرض عليه أربعة مقاطع فيديو أخرى (الخيارات أ، ب، ج، د). يجب عليه اختيار المقطع الواحد الذي يناسب تماماً وتحديد المكان بالضبط الذي يحدث فيه هذا التناسب.
- التشبيه: تخيل أنك تبني قلعة من قطع الليغو. لديك برج انتهيت من بنائه للتو (المرجع). ثم سُلمت إليك أربع مجموعات مختلفة من قطع الليغو. عليك اختيار المجموعة التي تحتوي على القطع الصحيحة تماماً لتكمل بها السقف، وتحديد القطع التي تحتاجها بدقة.
- النتيجة: فشل الذكاء الاصطناعي فشلاً ذريعاً هنا. فغالباً ما كان يختار مجموعة القطع الخاطئة تماماً، أو يشير إلى المكان الخطأ. لم يستطع فهم الرابط القصصي بين المقابلة ومقطع الفيلم.
3. مجموعة البيانات: مكتبة ضخمة من عمليات التحرير "الحقيقية"
لإنشاء هذا الاختبار، لم يكتفِ الباحثون بتأليف فيديوهات وهمية، بل جمعوا 3,900 فيديو من الواقع (أكثر من 257 ساعة من اللقطات) من مصادر مثل المقابلات ومقاطع الأفلام.
- العملية: استخدموا نظام "الإنسان في الحلقة" (Human-in-the-Loop). تخيل فريقاً من المحررين الخبراء يعملون مع الذكاء الاصطناعي لتسمية كل قطع، وانتقال، وتأثير صوتي. ضمن ذلك أن يكون الاختبار دقيقاً وعادلاً.
- النطاق: هذه هي المرة الأولى التي يطلب فيها اختبار من الذكاء الاصطناعي التفكير عبر مصادر فيديو متعددة ومختلفة لبناء قصة، بدلاً من مجرد تحليل فيديو واحد في كل مرة.
4. النتائج: فجوة كبيرة بين الذكاء الاصطناعي والبشر
اختبر الباحثون أذكى نماذج الذكاء الاصطناعي في العالم (مثل Gemini ونماذج مفتوحة المصدر متنوعة) باستخدام VEBENCH.
- الدرجة: كانت النتائج متواضعة. حتى أفضل النماذج كان أداؤها بعيداً جداً عن المستوى البشري.
- عامل "الصوت": وجدت الورقة أنه عندما لا يستطيع الذكاء الاصطناعي "سماع" الفيديو (أو عند إزالة الترجمة)، ينخفض أداؤه. وهذا يثبت أن التحرير ليس مجرد صور؛ بل هو رقصة بين الصوت والصورة.
- عامل "الوقت": كان الذكاء الاصطناعي سيئاً في تحديد اللحظة الدقيقة للقطع. فقد كان يخمن بداية الفيديو بينما اللحظة الصحيحة كانت في المنتصف. إنه كمن يحاول اللحاق بقطار فيصل إلى المحطة قبل موعده بساعة أو بعده بساعة.
الملخص
VEBENCH هو اختبار للواقع. فهو يوضح أنه بينما أصبح الذكاء الاصطناعي جيداً في وصف ما يراه، إلا أنه لا يزال بعيداً جداً عن فهم فن التحرير. لا يمكنه بعد التفكير مثل المحرر البشري الذي يعرف كيف ينسج الصوت والمرئيات والقصة في تجربة سلسة. هذا المعيار متاح الآن لمساعدة الباحثين في بناء الجيل القادم من الذكاء الاصطناعي الذي يمكنه حقاً "التحرير" بإبداع ومنطق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.