AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?
تقدم الورقة البحثية AgenticVBench، وهو معيار لـ 100 مهمة من مهام ما بعد الإنتاج للفيديو من واقع العالم الحقيقي تم إنشاؤها بمدخلات من خبراء الصناعة، والذي يكشف أن الوكلاء البرمجيين للذكاء الاصطناعي متعدد الوسائط الرائدين حالياً يحققون معدلات نجاح أقل بكثير من الخبراء البشريين وهم حساسون للغاية لاختيار إطار التنفيذ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون محرر أفلام. أنت لا تريد منه فقط أن يجيب على أسئلة حول فيلم ما؛ بل تريده أن يصنع فيلماً بالفعل. يجب عليه قص المشاهد، وإصلاح الصوت السيئ، وإعادة ترتيب المقاطع المبعثرة، وتحويل وثائقي مدته ثلاث ساعات إلى فيديو قصير وسريع لوسائل التواصل الاجتماعي مدته 60 ثانية.
هذه الورقة البحثية، AgenticVBench، تشبه الامتحان النهائي لروبوتات الذكاء الاصطناعي التي تحاول تعلم هذه الوظيفة. لقد صمم المبتكرون اختباراً بناءً على عمل حقيقي قام به 20 خبيراً بشرياً في مجال الأفلام. إليك تفصيل لما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة.
1. الاختبار: "تحدي محرر الأفلام"
أنشأ الباحثون 100 مهمة محددة مقسمة إلى أربع فئات، مثل أربع محطات مختلفة في ورشة عمل لتحرير الأفلام:
- التجميع (اللغز): تخيل أن لديك لوحة قصة (رسم كرتوني لمسودة فيلم) ومجموعة من مقاطع الفيديو. مهمتك هي اختيار المقطع الصحيح تماماً لكل رسمة في المسودة. يجب على الذكاء الاصطناعي فهم زوايا الكاميرا وأحجام اللقطات، وليس فقط "هل يبدو هذا كلباً؟".
- الإصلاح (الطبيب): تُعطى فيديو يحتوي على "مرض" خفي (مثل صدى غريب، أو خلل في الألوان، أو مشهد عُرض بالترتيب الخاطئ). يجب على الذكاء الاصطناعي العثور على المرض، وإصلاحه، وكتابة تقرير يشرح ما فعله.
- التسلسل (المسافر عبر الزمن): تُعطى مجموعة من مقاطع الفيديو التي تم بعثرة ترتيبها، مع ملخص قصير للقصة. يجب على الذكاء الاصطناعي إعادة المقاطع إلى ترتيبها الزمني الصحيح حتى يستقيم معنى القصة.
- إعادة التوظيف (التقليص): لديك فيلم طويل (ربما 3 ساعات) وطلب لعمل إعلان ترويجي قصير أو ملخص. يجب على الذكاء الاصطناعي مشاهدة الفيلم بأك ول، وتحديد ما يجب الاحتفاظ به، وما يجب قصه، وتجميع فيديو جديد قصير يتوافق مع قواعد محددة (مثل "يجب أن يكون 60 ثانية" أو "يجب أن يكون مضحكاً").
2. اللاعبون: الذكاء الاصطناعي مقابل البشر
اختبر الباحثون 7 من أذكى "أدمغة" الذكاء الاصطناعي (نماذج الرؤية واللغة - Vision-Language Models) المتاحة اليوم. وقد مرروا هذه الأدمغة عبر نوعين من "الأجساد" (الأدوات المساعدة/Harnesses):
- الأجساد الأصلية (Native Bodies): وهي الأدوات الرسمية التي بنتها شركات الذكاء الاصطناعي لنماذجها الخاصة (مثل سيارة مصممة خصيصاً لنوع معين).
- الأجساد مفتوحة المصدر (Open-Source Bodies): وهي أدوات بناها المجتمع ويمكن لأي شخص استخدامها (مثل هيكل سيارة عام يمكن استخدامه لأي غرض).
كما جعلوا 20 خبيراً بشرياً يقومون بنفس المهام لتحديد "المعيار الذهبي" لمدى جودة أداء البشر.
3. النتائج: الذكاء الاصطناعي لا يزال مبتدئاً
كانت النتائج بمثابة واقع صادم لعالم الذكاء الاصطناعي:
- الدرجة: تمكن أفضل فريق ذكاء اصطناعي من إنجاز حوالي 31% من المهام بشكل صحيح.
- الفجوة: سجل الخبراء البشر درجات أعلى بكثير (حوالي 70-95% حسب المهمة). الذكاء الاصطناعي حالياً متأخر عن البشر بنحو 43 إلى 65 نقطة مئوية.
- "الجسم" يفرق: لم يكن الأمر يتعلق فقط بمدى ذكاء "عقل" الذكاء الاصطناعي. بل إن "الجسم" (الأدوات البرمجية التي تغلف الذكاء الاصطناعي) كان مهماً بنفس القدر. في بعض الأحيان، حصل نفس عقل الذكاء الاصطناعي على درجة 38% مع مجموعة أدوات معينة، و18% فقط مع مجموعة أخرى. الأمر يشبه وجود سائق فورمولا 1 في سيارة "مينيفان"؛ السائق رائع، لكن السيارة تحد من قدراته.
4. أين تعثر الذكاء الاصطناعي؟
نظرت الورقة البحثية بدقة في سبب فشل الذكاء الاصطناعي، ووجدت أربع "عادات سيئة" رئيسية:
- الضياع في المكتبة (فقدان السياق الطويل): في مهمة "إعادة التوظيف" (صنع فيديو قصير من فيديو طويل)، كان الذكاء الاصطناعي ينشغل جداً بمحاولة قراءة النص الكامل للفيلم لدرجة أنه ينفد منه الوقت ولا يقوم فعلياً بصنع الفيديو. كان الأمر أشبه بطالب يقرأ الموسوعة كاملة بدلاً من كتابة المقال المطلوب.
- سوء التوقيت (الاستدلال الزمني): في مهمة "الإصلاح"، غال/ما كان الذكاء الاصطناعي يعرف ما هو الخطأ، لكنه لا يستطيع تحديد متى حدث. قد يصلح المؤثر الصوتي الصحيح ولكنه يطبقه على المشهد الخطأ، مما يؤدي إلى إزاحة التوقيت بمقدار 15 إلى 100 ثانية.
- الأدوات الخاطئة (عدم التوافق بين الوسائط): كان الذكاء الاصطناعي يحاول إصلاح مشكلة بصرية باستخدام أدوات صوتية، أو العكس.
- الهلوسة: في بعض الأحيان، كان الذكاء الاصطناعي يخترع مشهداً غير موجود، أو يدعي أن العيب قد تم إصلاحه بينما لم يتم ذلك.
5. الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي في فهم الصور والنصوص، إلا أنه لا يزال بعيداً جداً عن القدرة على التخطيط وتنفيذ مهام إبداعية معقدة ومتعددة الخطوات مثل تحرير الأفلام.
الأمر لا يتعلق فقط بجعل الذكاء الاصطناعي "أذكى". تجادل الورقة بأننا بحاجة أيضاً إلى بناء "صناديق أدوات" (Harnesses) أفضل تساعد الذكاء الاصطناعي على إدارة وقته، والتحقق من عمله، وفهم كيفية استخدام برامج تحرير الفيديو بشكل صحيح. وإلى أن نصلح كلاً من "العقل" و"صندوق الأدوات"، ستظل محررات الأفلام بالذكاء الاصطناعي مجرد مساعدين يحتاجون إلى إشراف بشري مكثف، وليسوا المخرجين أنفسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.