OVIBench: Benchmarking Online Video Question Answering under Interruption
تقدم هذه الورقة OVIBench، وهو أول معيار مرجعي موحد ومجموعة بيانات تدريبية مقابلة مصممة لتقييم وتحسين قدرة نماذج اللغة الرؤيوية على التعامل مع مقاطعات المستخدم الواقعية — مثل الإلغاءات، والمحفزات الخاطئة، والتصحيحات — أثناء الإجابة على الأسئلة عبر الفيديو عبر الإنترنت.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد بثاً مباشلاً لفيلم وثائقي عن الطبيعة. أنت تنحني للأمام، مأخوذ بلقطة لسلحفاة تحمل صغار البط عبر بركة، عندما تدرك فجأة أن الراوي يصف حيواناً خاطئاً. في محادثة حقيقية، ستُقاطع قائلًا: "انتظر، هذا قط وليس بطاً"، أو ربما: "توقف، لا أريد سماع البقية". لعقود من الزمن، عملت أنظمة الذكاء الاصطناعي المصممة لمشاهدة مقاطع الفيديو والإجابة على الأسئلة بطريقة أكثر جموداً بكثير؛ فقد بُنيت لتنتظر حتى ينتهي تشغيل الفيديو بالكامل قبل أن تبدأ في التحدث، مقدمةً مونولوجاً واحداً غير منقطع. نجح هذا النهج جيداً في الاختبارات الثابتة، لكنه فشل في محاكاة الواقع الفوضوي والديناميكي لكيفية تفاعل البشر فعلياً مع التكنولوجيا. نحن لا ننتظر الآلة حتى تنهي فكرتها قبل أن نصححها؛ نحن نقاطع، ونوجه، ونوقفها في منتصف جملتها.
قام فريق من الباحثين الآن ببناء طريقة جديدة لاختبار ما إذا كانت أجهزة الكمبيوتر التي تشاهد الفيديو يمكنها التعامل مع العالم الحقيقي. لقد أنشأوا معياراً يُسمى (OVIBench)، والذي يحاكي تجربة مستخدم يقاطع نموذجاً ذكياً أثناء توليده للإجابة. وبدلاً من ترك النموذج يشاهد الفيديو من البداية إلى النهاية ثم يتحدث، وضع الباحثون سيناريو يبدأ فيه النموذج بالتحدث، ثم في لحظة محددة، تتدخل إشارة من المستخدم. قد تخبر هذه الإشارة النموذج بالتوقف عن الكلام تماماً، أو تجاهل أمر خاطئ، أو تصحيح خطأ واقعي ارتكبه للتو. وقد صنف الباحثون هذه المقاطعات إلى ثلاثة أنواع متميزة: "الإلغاء"، حيث يريد المستخدم إنهاء المحادثة؛ و"الاستثارة الخاطئة"، حيث يقول المستخدم شيئاً يبدو كأمر بالخطأ ولكنه ليس كذلك؛ و"التصحيح"، حيث يشير المستخدم إلى خطأ ويطلب إجابة جديدة.
ولاختبار ذلك، جمع الفريق آلاف مقاطع الفيديو من مصادر متنوعة، تتراوح بين دروس الطبخ ولقطات الجرائم ومقاطع الطبيعة. واستخدموا نظاماً متطوراً لتوليد أسئلة حول هذه الفيديوهات، ثم أدخلوا مقاطعات في لحظات عشوائية أثناء استجابة النموذج. ولأن الاختبار في الوقت الفعلي مع آلاف النماذج سيكون فوضوياً وبطيئاً، فقد طوروا محاكاة "أوفلاين" (غير متصلة) ذكية. فقد سجلوا بدقة مدى سرعة تحدث النموذج، وحسبوا أي إطارات من الفيديو كان النموذج سيشاهدها بحلول الوقت الذي تحدثت فيه المقاطعة، ثم غدوا بهذا الجزء المحدد من الفيديو، مع الإجابة الجزئية وإشارة المقاطعة، مرة أخرى إلى النموذج. سمح هذا باختبار كيفية تفاعل النموذج مع المقاطعة كما لو كانت تحدث حياً، مما ضمن مواجهة كل نموذج لنفس الظروف تماماً.
كشفت النتائج عن فجوة كبيرة بين مدى جودة أداء هذه النماذج في الاختبارات الهادئة والمسيطر عليها وبين كيفية تعاملها مع المقاطعات الديناميكية. فبينما استطاعت العديد من نماذج الفيديو الرائدة الإجابة على الأسئلة بشكل صحيح عندما تُترك بمفردها، إلا أنها عانت بشدة عندما طُلب منها التكيف مع أمر مستخدم في منتصف الجملة. فغالباً ما فشلت في التعرف على متى يجب أن تتوقف عن الكلام، أو الأهم من ذلك، متى يجب أن تغير إجابتها لتتوافق مع التصحيح. وفي كثير من الحالات، استمرت النماذج في توليد نصوص تتعارض مع تعليمات المستخدم الجديدة، أو أصيبت بالارتباك بسبب "إنذار خاطئ" وتوقفت عن الكلام في حين كان ينبغي لها الاستمرار. أظهرت الدراسة أن القدرة على التعامل مع هذه المقاطعات ليست مجرد ميزة ثانوية، بل هي ضعف جوهري في التكنولوجيا الحالية، خاصة عندما يتعلق الأمر باتباع طلبات التصحيح.
ولمعالجة ذلك، أنشأ الباحثون مجموعة بيانات تدريبية جديدة مصممة خصيصاً لتعليم النماذج كيفية التعرف على هذه المقاطعات والتفاعل معها. لقد أخذوا نموذج فيديو قياسياً وقاموا بضبطه بدقة باستخدام آلاف الأمثلة حيث كان على النموذج اختيار رد الفعل الصحيح تجاه المقاطعة. كانت نتائج هذا التدريب مذهلة؛ فقد تفوق النموذج المدرب حديثاً، والذي كان صغيراً نسبياً في الحجم، على نماذج أكبر وأقوى بكรรม لم تتلقَ هذا التدريب المحدد. لقد تعلم النموذج التمييز بين الأمر الحقيقي بالتوقف وبين الإشارة الخاطئة، وأصبح أفضل بكثير في مراجعة إجابته عندما قيل له إنها خاطئة. وفي الواقع، كان أداء هذا النموذج الأصغر والمتخصص أفضل من بعض أكبر النماذج المتاحة، مما يشير إلى أن نوع البيانات التدريبية الصحيحة أهم من مجرد جعل النموذج أكبر حجماً.
كما طور الباحثون مجموعة معايير مفصلة للحكم ليس فقط على ما إذا كان النموذج قد حصل على الإجابة الصحيحة، بل أيضاً على مدى جودة تعامله مع التفاعل. فقد قاسوا ما إذا كانت استجابة النموذج تتدفق بشكل طبيعي بعد المقاطعة، وما إذا كان ملتزماً بالحقائق المرئية في الفيديو، وما إذا كان قد حافظ على أجزاء المحادثة التي لا تحتاج إلى تغيير. أكدت هذه الاختبارات أنه بينما تتحسن النماذج الحالية في فهم محتوى الفيديو، إلا أنها لا تزال غير مستعدة إلى حد كبير للطبيعة الانسيابية والقابلة للمقاطعة للمحادثة البشرية. ويشير العمل إلى أنه لكي تصبح مساعدات الفيديو مفيدة حقاً في الإعدادات الواقعية مثل البث المباشر أو التعليم عبر الإنترنت، يجب تعليمها ليس فقط كيف ترى وتتحدث، بل كيف تسمع وتتكيف أثناء حديثها. يوفر هذا المعيار الجديد مساراً واضحاً للمضي قدماً، موضحاً أنه مع البيانات الصحيحة وطرق التقييم المناسبة، يمكننا بناء أنظمة تكون مستجيبة لصوت الإنسان بقدر استجابتها للصور على الشاشة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.