تخيل أنك تعلم روبوتاً كيفية مشاهدة الأفلام وإخبارك بما يحدث. لفترة طويلة، كان العلماء بارعين في اختبار هذه الروبوتات باستخدام مقاطع قصيرة مدتها 5 ثوانٍ، وطلب جملة واحدة منها مثل "كلب يركض". ولكن ماذا يحدث عندما تطلب من الروبوت مشاهدة مشهد كامل، ربما لمدة دقيقة ونصف، وكتابة فقرة كاملة تصف القصة، ومشاعر الشخصيات، والتفاصيل الدقيقة؟ هذا هو التحدي الصعب لـ "نماذج الفيديو واللغة" (Video-Language Models). فكر في هذه النماذج كطلاب أذكياء جداً قرأوا الإنترنت وشاهدوا ملايين الفيديوهات. السؤال الكبير ليس فقط ما إذا كان بإمكانهم رؤية كلب؛ بل ما إذا كان بإمكانهم فهم قصة معقدة، والحفاظ على التسلسل الزمني، ووصفها دون اختلاق معلومات. حتى الآن، لم تكن هناك طريقة عادلة لتقييم "واجباتهم المنزلية" حول هذه القصص الطويلة. كانت أدوات التقييم القديمة تشبه التحقق من الأخطاء الإملائية؛ حيث كانت تعد كم عدد الكلمات المتطابقة لكنها كانت تغفل عن جوهر القصة تماماً.

إليك CLIP-CC-Bench، وهو تقرير درجات جديد وصارم صممه باحثون من جامعة ولاية ساوث داكوتا لاختبار مدى براعة هؤلاء الطلاب من الذكاء الاصطناوي في كتابة أوصاف الأفلام الطويلة. فبدلاً من مجرد البحث عن الكلمات المتطابقة، بنى الباحثون "لجنة من المحكمين الخبراء" تتكون من خمسة أنظمة ذكاء اصطناعي متقدمة مختلفة. هؤلاء المحكمون لا يكتفون بعد الكلمات؛ بل يقرؤون القصة لفهم المعنى، ويتحققون من كل من الصورة الكبيرة (الحبكة) والتفاصيل الدقيقة (من كان يرتدي ماذا). لقد اختبروا 17 من أذكى نماذج الذكاء الاصطناوي للفيديو الموجودة حالياً. وكانت النتائج مذهلة: بينما أصبحت بعض النماذج جيدة حقاً في فهم القصة العامة، إلا أن جميعها تقريباً تعاني في ضبط التفاصيل الصغيرة، ولا يوجد أي منها مثالي بعد. تثبت هذه الدراسة أن مجرد جعل النماذج أكبر لا يجعلها بالضرورة أفضل رواة للقصص، وتوفر طريقة جديدة وشفافة لمعرفة مواضع فشلها بالضبط حتى نتمكن من إصلاحها.

المشكلة: "مسابقة التهجئة" مقابل "تقرير الكتاب"

لسنوات، اختبر العلماء نماذج الذكاء الاصطناوي للفيديو باستخدام طريقة تشبه مسابقة التهجئة. كانوا يعرضون مقطعاً قصيراً على الذكاء الاصطناوي ويطلبون منه وصفه. ثم يقارنون إجابة الذكاء الاصطناوي بإجابة البشر باستخدام أدوات رياضية قديمة مثل BLEU أو ROUGE. هذه الأدوات رائعة في التحقق مما إذا كان الذكاء الاصطناوي قد استخدم نفس كلمات البشر، لكنها سيئة جداً في فهم المعنى. فإذا كتب إنسان: "الرجل حزين"، وكتب الذكاء الاصطناوي: "الشاب يبكي"، فقد تقول الأدوات القديمة: "عمل سيء، لم تستخدم كلمة رجل!" رغم أن المعنى مثالي.

علاوة على ذلك، استخدمت معظم الاختبارات مقاطع قصيرة فقط وطلبت إجابات من جملة واحدة. هذا يشبه اختبار قدرة الطالب على كتابة رواية من خلال مطالبته بكتابة تغريدة فقط. الحياة الواقعية - والأفلام الحقيقية - طويلة ومعقدة ومليئة بالتفاصيل التي تحدث بمرور الوقت. أدرك الباحثون أنه لكي نعرف حقاً ما إذا كان الذكاء الاصطناوي يفهم الفيديو، نحتاج إلى أن نطلب منه كتابة فقرة كاملة عن مشهد سينمائي مدته 90 ثانية وتقييمه مثل تقرير كتاب حقيقي.

الحل: اختبار فيلم جديد

لإصلاح ذلك، أنشأ الفريق CLIP-CC-Bench. تخيل أنهم أخذوا 5 ساعات من الأفلام وقطّعوها إلى 200 مقطع متميز، طول كل منها حوالي 90 ثانية. لم تكن هذه المقاطع عشوائية؛ بل تم اختيارها بعنابة لتكون غنية بصرياً ومعقدة، وتتضمن أشياء مثل تفاعلات الشخصيات، وحركات الكاميرا، وتغير المشاهد.

وهنا يكمن الجزء الذكي: لضمان أن الذكاء الاصطناوي يشاهد الفيديو فعلياً وليس مجرد التخمين بناءً على أسماء مشهورة حفظها من الإنترنت، منع الباحثون جميع الأسماء العلم (Proper Nouns). لن ترى أسماء مثل "هاري بوتر"، أو "نيويورك"، أو "تويوتا" في الإجابات. بدلاً من ذلك، كتب الخبراء البشريون أوصافاً مثل "رجل يرتدي سترة حمراء" أو "سيارة فاخرة". هذا يجبر الذكاء الاصطناوي على وصف ما يراه فعلياً، وليس ما يتذكره.

المحكمون: لجنة من خمسة

كيف تقيم فقرة؟ لا يمكنك ببساطة أن تطلب من ذكاء اصطناوي واحد تقييم ذكاء اصطناوي آخر؛ فهذا يشبه طلب من طالب تقييم واجبه المنزلي. لذا، بنى الباحثون "هيئة محلفين" من خمسة نماذج مختلفة من نماذج تضمين (Embedding Models) متطورة. فكر فيهم كخمسة مدرسين مختلفين للغة الإنجليزية لكل منهم أسلوبه الخاص.

1. المحكم العام (The Coarse Judge): ينظر إلى الفقرة بأكملها ليرى ما إذا كانت القصة العامة تتطابق. هل فهم الحبكة الرئيسية؟
2. المحكم الدقيق (The Fine Judge): ينظر على مستوى الجملة. هل ذكر الذكاء الاصطناوي الأفعال المحددة، والألوان، وترتيب الأحداث بشكل صحيح؟

يجمع النظام بين هذين المنظورين. إذا كتب الذكاء الاصطناوي فقرة غامضة تصيب الحبكة لكنها تفتقر إلى التفاصيل، فإن "المحكم الدقيق" سيعطيه درجة منخفضة. وإذا سرد تفاصيل عشوائية لا معنى لها، فإن "المحكم العام" سيخصم منه الدرجات. النتيجة النهائية هي المتوسط الهندسي (Harmonic Mean)، مما يعني أن على الذكاء الاصطناوي أن يكون جيداً في كليهما ليحصل على درجة عالية.

النتائج: من اجتاز الاختبار؟

أجرى الباحثون 17 نموذجاً مختلفاً من نماذج اللغة والفيديو عبر هذا الاختبار الصعب. وإليكم ما وجدوه:

• الأفضل أداءً: احتل نموذج VideoLLaMA3 المركز الأول، حيث حصل على درجة Borda rank مثالية (درجة توافق قائمة على كيفية ترتيب كل محكم له) من جميع المحكمين الخمسة. ومع ذلك، كانت درجته المتوسطة الفعلية هي 0.67 (على مقياس حيث 1.0 هو المثالي)، مما يظهر أن حتى الفائز لديه مساحة كبيرة للتحسن.
• الوصيف: جاء نموذج mPLUG-Owl3 في المركز الثاني بفارق ضئيل.
• الفجوة: هناك فجوة واضحة بين النماذج العليا وبقية النماذج. فالنموذج الأفضل، VideoLLAma3، حقق متوسط درجة قدره 0.67 فقط. وهذا يخبرنا أن حتى أفضل نماذج الذكاء الاصطناوي اليوم لا يزال أمامها طريق طويل.
• المشكلة الكبرى: وجدت الدراسة "فجوة بين العام والدقيق" (Coarse-Fine Gap) مستمرة. كانت النماذج أفضل بكثير في فهم القصة العامة (Coarse) منها في فهم التفاصيل المحددة (Fine). على سبيل المثال، قد يقول النموذج: "رجلان يتقاتلان في الثلج"، وهو ملخص جيد. لكنه قد يغفل حقيقة أن أحد الرجلين كان يحمل مسدساً، أو أن الثلج كان يتساقط بغزارة. كانت درجات "الدقة" (Fine) غالباً أقل بكثير، حيث وصلت أحياناً إلى 0.47 فقط، مما يظهر أن النماذج لا تزال تعاني مع التفاصيل الدقيقة.
• بنية النموذج مهمة: وجدت الدراسة أن النماذج المبنية على بنيات "Transformer" (نوع محدد من تصميمات الذكاء الاصطناوي) كانت تؤدي بشكل أفضل عموماً من تلك المبنية لمهام محددة وضيقة. وهذا يشير إلى أن كون النموذج نموذجاً "ذكياً" عام الغرض هو أكثر أهمية لسرد القصص من كونه نموذجاً متخصصاً في "الفيديو".

لماذا هذا مهم؟

هذه الورقة البحثية لا تكتفي بالقول "الذكاء الاصطناوي يتحسن فحسب". بل تقدم لنا خريطة دقيقة لـ أين يفشلون. إنها تثبت أنه لا يمكننا الاعتماد فقط على الطرق القديمة التي تعد الكلمات، ولا يمكننا مجرد جعل النماذج أكبر ونأمل الأفضل. باستخدام نظام المحكمين المتعدد هذا، أظهر الباحثون أن النماذج الحالية تشبه الطلاب الذين يمكنهم تلخيص فيلم ولكنهم ينسون تفاصيل ملابس الشخصيات أو الترتيب المحدد للأحداث.

لقد أطلق الفريق جميع بياناتهم، وأكوادهم، ونتائج جميع النماذج الـ 17 للجمهور. وهذا يعني أن العلماء الآخرين يمكنهم استخدام نفس الاختبار لبناء نماذج أفضل، مما يضمن أن الجيل القادم من ذكاء الفيديو الاصطناوي لن يقوم فقط بـ "تخمين" القصة، بل سيفهمها حقاً. الطريق أمامنا واضح: نحن بحاجة إلى نماذج يمكنها سد الفجوة بين الصورة الكبيرة والتفاصيل الصغيرة، و CLIP-CC-Bench هو المسطرة التي سنستخدمها لقياس ذلك التقدم.