Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
تقدم هذه الورقة البحثية Video-IFBench، وهو معيار مرجعي شامل يضم 1.5 ألف عينة وتصنيفاً متنوعاً للتعليمات لتقييم القدرة غير المستكشفة كفايةً لنماذج اللغات الكبيرة متعددة الوسائط في اتباع القيود المعقدة والمحددة من قبل المستخدم في سيناريوهات فهم الفيديو، مما يكشف أن النماذج الحالية تعاني بشكل كبير مع التعليمات متعددة القيود والشرطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهر جيل جديد من الأنظمة التي يمكنها الرؤية والسمع والتحدث. تم تدريب هذه النماذج متعددة الوسائط على كميات هائلة من النصوص والصور والفيديو، مما يسمح لها بوصف مشهد ما، أو الإجابة عن أسئلة حول فيلم، أو تلخيص مقطع إخباري. لسنوات طويلة، قاس الباحثون نجاحها عبر طرح سؤال بسيط: هل الإجابة صحيحة؟ إذا وصف النموذج مقطع فيديو لبرنامج طبخ وذكر المكونات بشكل صحيح، فإنه يحصل على درجة عالية. ومع ذلك، في العالم الحقيقي، غالبًا ما لا تكون الإجابة الصحيحة كافية وحدها. فقد يطلب المستخدم من النموذج وصف فيديو ولكنه يصر على قواعد محددة: "أخبرني فقط بما يحدث بعد غليان الماء"، "اذكر الخطوات بالترتيب"، "لا تذكر لون الأواني"، أو "تحدث باللغة الإسبانية فقط". تتطلب هذه الطلبات من النظام ليس فقط فهم المحتوى، بل أيضًا اتباع مجموعة معقدة من التعليمات، وتصفية المعلومات التي يعرف أنها صحيحة ولكن طُلب منه تجاهلها. وحتى الآن، ظلت قدرة هذه الأنظمة المتقدمة على اتباع مثل هذه القيود التفصيلية الشبيهة بالبشر في سيناريوهات الفيديو غير مختبرة إلى حد كبير.
لقد عالج فريق من الباحثين هذه الفجوة من خلال إنشاء ميدان اختبار جديد يسمى Video-IFBench. صُمم هذا المعيار خصيصًا لمعرفة ما إذا كان الذكاء الاصطناعي لفهم الفيديو يمكنه حقًا فعل ما يُطلب منه عندما تكون التعليمات صعبة. جمع الباحثون أكثر من 700 فيديو من مصادر عامة، تغطي عشرة مجالات مختلفة مثل الرياضة والعلوم والأخبار والحياة اليومية. تتراوح أطوال هذه المقاطع بين عشر ثوانٍ وعشر دقائق، بإجمالي حوالي 49 ساعة من اللقطات. ومن هذه المجموعة، أنشأوا 1500 حالة اختبار فريدة. تقرن كل حالة اختبار فيديو بطلب محدد يتضمن مزيجًا من المهام والقيود. تطلب بعض الطلبات معلومة واحدة، مثل "ما هو النص الموجود على الشاشة؟"، بينما تتطلب أخرى خطوات متعددة، مثل "اذكر الأفعال، ولكن فقط تلك التي تستغرق أكثر من ثانيتين، وقدمها في شكل قائمة مرقمة". أما الاختبارات الأكثر صعوبة فتتضمن المنطق الشرطي، حيث يجب على النموذج مشاهدة الفيديو أولاً ليقرر المسار الذي سيسلكه. على سبيل المثال، قد يقول نص توجيهي: "إذا بدأ الفيديو بعنوان حول إصلاح جهاز كمبيوتر محمول، فصف خطوات الإصلاح؛ وإلا فصف أفعال الشخص في الثواني العشر الأخيرة". يجب على النموذج تحديد الشرط الأولي بشكل صحيح لاختيار مجموعة التعليمات الصحيحة التي سيتبعها.
ولضمان أن تكون هذه الاختبارات عادلة ودقيقة، بنى الباحثون نظامًا شبه آلي لتوليد الأسئلة وقواعد التحقق من الإجابات. استخدموا الذكاء الاصطناعي لاستخراج الحقائق من مقاطع الفيديو، مثل الأشياء الموجودة ومتى وقعت أحداث معينة، ثم استخدموا تلك الحقائق لكتابة تعليمات معقدة. ومن الأهمية بمكان أن كل تعليم جاء مصحوبًا بقائمة مراجعة. بعض العناصر في القائمة يمكن التحقق منها بواسطة برنامج حاسوبي، مثل التحقق مما إذا كانت الإجابة مكتوبة بتنسيق JSON أو ما إذا كانت تحتوي على خمس نقاط تعداد بالضبط. أما العناصر الأخرى، التي تتطلب فهم معنى الاستجابة، فقد تم فحصها بواسطة نموذج لغوي منفصل وعالي القدرة يعمل كحكم. سمح هذا النهج الهجين للباحثين بتقييم ما إذا كانت النماذج قد استوفت كل قيد في الطلب، وليس المهمة الرئيسية فحسب.
كشفت نتائج هذا التقييم عن ضعف كبير حتى في أكثر نماذج الفيديو تقدمًا المتاحة اليوم. فعند اختبارها على المعيار بأكمله، حقق أفضل نموذج أداءً درجة إجمالية بلغت 54.5 بالمائة فقط. وهذا يعني أنه في نصف الحالات تقريبًا، فشل النموذج في اتباع المجموعة الكاملة من التعليمات، حتى لو فهم محتوى الفيديو بشكل صحيح. ووجدت الدراسة أن النماذج تعاني أكثر عندما تحتوي التعليمات على قيود كثيرة في آن واحد، أو عندما يتطلب الطلب من النموذج اتخاذ قرار بناءً على محتوى الفيديو قبل الإجابة. على سبيل المثال، عندما طُلب منها الاختيار بين مسارات مختلفة بناءً على ما حدث في الفيديو، اختارت النماذج المسار الخاطئ كثيرًا أو تجاهلت الشرط تمامًا. وازدادت الصعوبة مع زيادة تعقيد التعليمات؛ فعندما يتضمن الطلب سلسلة عميقة من منطق "إذا-إذن"، تنخفض نسبة النجاح بشكل حاد.
اكتشف الباحثون أيضًا أن نوع القيد يمثل فارقًا كبيرًا. كانت النماذج جيدة نسبيًا في اتباع قواعد التنسيق، مثل استخدام لغة معينة أو تحديد عدد الكلمات. ومع ذلك، كان أداؤها ضعيفًا في القيود الدلالية، التي تتطلب منها فهم معنى الفيديو لتصفية المعلومات. على سبيل المثال، قد يُطلب من النموذج وصف أفعال شخص معين فقط مع تجاهل الجميع، أو سرد الأحداث التي وقعت ضمن نافذة زمنية دقيقة. في هذه الحالات، غالبًا ما تضمنت النماذج معلومات طُلب منها استبعادها أو أغفلت تفاصيل كان من المفترض أن تجدها. وأظهرت الدراسة أن مجرد جعل النماذج أكبر أو منحها المزيد من القدرة الحوسبية لم يحل المشكلة. وبينما كانت النماذج الأكبر تؤدي بشكل أفضل عمومًا، إلا أنها كانت لا تزال تفشل في اتباع التعليمات الصارمة باستمرار، مما يشير إلى أن القدرة على فهم محتوى الفيديو والقدرة على اتباع قواعد معقدة هما مهارتان مختلفتان لم يدمجهما التكنولوجي الحالي بالكامل بعد.
يشير هذا العمل إلى أنه لكي يكون الذكاء الاصطناعي مفيدًا حقًا في التطبيقات الواقعية، يجب أن يتعلم الإنصات بدقة كما يرى. تشير النتائج إلى أن الأنظمة الحالية ليست موثوقة بما يكفي بعد ليتم نشرها في سيناريوهات يتوقع فيها المستخدمون التزامًا دقيقًا باحتياجاتهم المحددة. ويأمل الباحثون من خلال توفير مقياس واضح لهذه القدرة، أن يوجه Video-IFBench التطوير المستقبلي نحو نماذج لا يمكنها فقط رؤية العالم، بل وأيضًا اتباع التعليمات الدقيقة والمتناقضة أحيانًا للبشر الذين يستخدمونها. إن الطريق إلى الأمام يتطلب تحولًا في التركيز من مجرد الحصول على الإجابة الصحيحة إلى الحصول على الإجابة الصحيحة بالطريقة الدقيقة التي طلبها المستخدم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.