Stable Curves, Unstable Items: Item-Level Scaling Heterogeneity in Video LLMs
تكشف هذه الورقة أنه بينما تشير منحنيات القياس الإجمالية إلى تحسن سلس في نماذج اللغات الكبيرة للفيديو، فإن التحليل على مستوى العناصر يكشف عن تباين كبير حيث يمكن لزيادة الميزانيات البصرية أن تؤدي للمفارقة إلى تدهور الأداء لمدخلات محددة، مما يستلزم استراتيجيات تكيفية مثل شلالات الثقة لتحسين الكفاءة والدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فهم الأفلام. لديك عقل روبوت فائق الذكاء (نموذج لغوي كبير للفيديو - Video Large Language Model) يمكنه قراءة النصوص ومشاهدة الفيديوهات. لجعل هذا الروبوت أكثر ذكاءً، تقوم عادةً بإعطائه مزيدًا من المعلومات: ربما تجعله يشاهد المزيد من إطارات الفيديو، أو تعرض له الفيديو بدقة أعلى. في عالم العلوم، نسمي هذا "التوسع" (Scaling). لفترة طويلة، نظر الباحثون إلى درجات الاختبار الإجمالية للروبوت ورأوا خطًا صاعدًا سلسًا وسعيدًا: "كلما شاهدنا فيديوهات أكثر، أصبح الروبوت أكثر ذكاءً!" بدا الأمر وكأنه قاعدة بسيطة: بيانات أكثر تساوي إجابات أفضل.
لكن هنا تكمن الخدعة: الدرجة المتوسطة تشبه تقرير الطقس الذي يقول إن درجة الحرارة "70 درجة". يبدو الأمر لطيفًا، لكنه يخفي حقيقة أن شخصًا واحدًا يتجمد في عاصفة ثلجية بينما آخر يتصبب عرقًا في موجة حر. هذا البحث يغوص في "طقس" أسئلة الفيديو الفردية. إنه يسأل سؤالًا بسيطًا ولكنه مخادع: هل إعطاء الروبوت مزيدًا من الفيديو يساعد دائمًا في كل سؤال؟ الإجابة تبين أنها "لا" مفاجئة. أحيانًا، يؤدي إعطاء الروبوت المزيد من إطارات الفيديو إلى إرباكه، مما يجعله يخطئ في سؤال كان بإمكانه الإجابة عليه بشكل صحيح بإطارات أقل. الأمر يشبه إعطاء محقق الكثير من الأدلة؛ أحيانًا تجعل الضوضاء الإضافية المحقق يفقد الحقيقة الواضحة.
ارتباك الفيديو العظيم: عندما تجعل كثرة الأدلة المحقق أغبى
تعرفوا على محققنا: نموذج ذكاء اصطناعي للفيديو "مجمد". كلمة "مجمد" تعني أننا لا نعلمه حيلًا جديدة؛ نحن فقط نختبر كيف يتصرف مع كميات مختلفة من الفيديو. قرر الباحثون التوقف عن النظر إلى درجة اختبار الروبوت "المتوسطة" وبدلاً من ذلك، راقبوا كيف تعامل مع كل سؤال على حدة. لقد عاملوا كل سؤال كقطعة أحجية فريدة وراقبوا ما يحدث عندما يغيرون "الميزانية البصرية" — أي عدد إطارات الفيديو التي يُسمح للروبوت برؤيتها.
اكتشفوا شيئًا جنونيًا: قاعدة "الأكثر هو الأفضل" هي كذبة بالنسبة للعديد من العناصر.
عندما زادوا إطارات الفيديو من كمية منخفضة (مثل 16 إطارًا) إلى كمية عالية (مثل 256 إطارًا)، بدت درجة الروبوت الإجمالية مستقرة أو حتى أفضل قليلاً. ولكن إذا نظرت إلى الأسئلة الفردية، كان يسود الفوضى.
- الإنقاذ: بعض الأسئلة كانت مستحيلة بـ 16 إطارًا، لكنها أصبحت سهلة بـ 128 إطارًا. لقد تم "إنقاذ" الروبوت.
- الضرر: ولكن إليكم المفاجأة: 12.5% إلى 25.5% من الأسئلة فعلت العكس تمامًا. كانت صحيحة مع كمية صغيرة من الفيديو، ولكن عندما أعطى الباحثون الروبوت مزيدًا من الفيديو، أخطأ الروبوت فيها.
يسمي الباحثون هذا "التقلب على مستوى العنصر" (item-level churn). إنه يشبه الأرجوحة (السيسو). فمقابل كل سؤال يجيب عليه الروبوت بشكل صحيح بسبب المزيد من الفيديو، هناك غالبًا سؤال آخر يخطئ فيه بسبب نفس الفيديو الإضافي. عندما تجمعهم معًا، يبدو المتوسط هادئًا ومستقرًا، ولكن في الأعماق، يتأرجح الروبوت ذهابًا وإيابًا بين الإجابات الصحيحة والخاطئة.
لغز "تجاوز النص" (Text Overwrite)
أحد أغرب الأشياء التي وجدوها يسمى "تجاوز النص". تخيل سؤالًا تكون إجابته مخبأة في نص السؤال نفسه، ولا حاجة حتى لمشاهدة الفيديو.
- السيناريو: يقرأ الروبوت السؤال ويقول: "آه، أنا أعرف هذا! الإجابة هي ب". وهو بذلك صحيح.
- الخطأ: ثم، تعطي الروبوت الفيديو. فجأة، ينظر الروبوت إلى الفيديو، ويرتبك بسبب مشهد مشتت، ويغير رأيه إلى "أ". لقد كان محقًا قبل ذلك، لكن الدليل البصري الإضافي تجاوز (overwrite) منطقه النصي الصحيح.
حدث هذا في 5.0% إلى 7.3% من جميع العناصر، وبالنسبة لأنواع معينة من الأسئلة (مثل عد الأشياء)، حدث ذلك لما يقرب من 37% من العناصر التي كانت صحيحة في الأصل. الفيديو لم يساعد؛ بل خدع الروبوت بالفعل.
لماذا يحدث هذا؟
حاول الباحثون معرفة سبب إضرار المزيد من الفيديو بالنتائج. اختبروا طرقًا مختلفة لاختيار إطارات الفيديو (مثل اختيار الإطارات عشوائيًا مقابل اختيارها بشكل متساوٍ).
- وجدوا أن طريقة اختيارك للإطارات مهمة. تغيير طريقة أخذ العينات يمكن أن "ينقذ" حوالي 29% من الأسئلة التي أخطأ فيها الروبوت مع ميزانية أعلى.
- ومع ذلك، بالنسبة لمعظم التحولات "الضارة"، فإن مجرد تغيير طريقة أخذ العينات لم يحل المشكلة. يبدو أن الروبوت يصاب بالارتباك بسبب الكم الهائل من البيانات البصرية، أو أنه يتشتت بتفاصيل غير ذات صلة لم تكن موجودة عندما رأى بضعة إطارات فقط.
كما نظروا أيضًا في الدقة (Resolution) (مدى وضوح الصورة) والزمن (Time) (عدد الإطارات). ووجدوا أنه لا يوجد إعداد "مثالي" واحد لكل فيديو.
- بالنسبة لبعض الفيديوهات، يكون رؤية مزيد من الإطارات بدقة منخفضة هو الأفضل.
- بالنسبة لأخرى، يكون رؤية إطارات أقل بدقة عالية جدًا هو الأفضل.
- وللمجموعة الثالثة، يكون المزيج المتوازن هو الفائز.
في الواقع، عند تثبيت قدرة حوسبية معينة (حوالي 9.7 مليون بكسل إجماليًا)، فإن الإعداد "الأفضل" لفيديو واحد قد يكون الإعداد "الأسوأ" لفيديو آخر. الإعداد المثالي للروبوت يتغير من سؤال إلى آخر.
الأخبار الجيدة: يمكننا إصلاح ذلك
الورقة البحثية لا تشير إلى المشكلة فحسب؛ بل تقدم حلًا ذكيًا يسمى "تتابع الثقة" (confidence cascade).
بدلاً من إجبار الروبوت على مشاهدة الفيديو بالكامل (256 إطارًا) لكل سؤال، بنى الباحثون نظامًا ذكيًا يعمل مثل محقق ذكي:
- الخطوة 1: يحاول الروبوت الإجابة باستخدام عدد قليل من الإطارات فقط (مثل 16 إطارًا).
- الخطوة 2: إذا كان الروبوت واثقًا جدًا في إجابته، فإنه يتوقف عند هذا الحد. هذا يوفر الوقت ولا يجعله يرتبك بسبب الفيديو الإضافي.
- الخطوة 3: إذا كان الروبوت غير متأكد، حينها فقط يشاهد المزيد من الإطارات (مثل 32 أو 128 إطارًا) ليحصل على نظرة أفضل.
تمكن هذا "التتابع الذكي" من مطابقة دقة مشاهدة الـ 128 إطارًا كاملة لكل سؤال، ولكنه استخدم إطارات أقل بنسبة 31.7% في المتوسط. إنه يشبه حل لغز من خلال النظر في الأدلة الرئيسية أولاً، والتعمق فقط إذا كنت بحاجة حقًا لذلك.
الخلاصة
الدرس الكبير هنا هو أن المتوسطات يمكن أن تكون مضللة. مجرد ارتفاع درجة الروبوت الإجمالية عندما تعطيه المزيد من الفيديو لا يعني أنه يعمل بشكل أفضل في كل شيء. في الواقع، بالنسبة لجزء كبير من الأسئلة (يصل إلى 25%)، يجعل المزيد من الفيديو الروبوت أغبى.
لقد نشر الباحثون جميع بياناتهم، موضحين بالضبط أي الأسئلة ترتبك بسبب الفيديو الإضافي وأيها يحتاج إليه. وهذا يسمح لمطوري الذكاء الاصطناه في المستقبل ببناء أنظمة أذكى تعرف متى تتوقف عن النظر ومتى تستمر في البحث، مما يوفر الطاقة ويتجنب تلك الأخطاء السخيفة حيث ينسى الروبوت الإجابة لمجرد أنه رأى الكثير.
لذا، في المرة القادمة التي تعتقد فيها أن "المزيد من البيانات هو الأفضل دائمًا"، تذكر المحقق الروبوت: أحيانًا، كثرة الأدلة تجعل من الصعب العثور على الحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.