VidNum: Diagnosing VLM Failure Modes in Video-Grounded Numerical Reasoning
تقدم هذه الورقة VidNum، وهو معيار مرجعي تم تنسيقه يدويًا ويتكون من 1,167 سؤالاً صُممت لتشخيص أوضاع فشل محددة في الاستدلال العددي القائم على الفيديو في نماذج الرؤية واللغة، مما يكشف عن فجوات أداء كبيرة مقارنة بالبشر ويحدد بناء الهدف المهيكل والاستدلال التركيبي القائم على الأفعال كعقبات رئيسية لا يتم حلها بشكل موثوق عبر التلقين بسلسلة الأفكار (chain-of-thought) دون تدريب مسبق.
المؤلفون الأصليون:Shaoyang Cui, Lingbei Meng, Yaodi Luo, Peize He
تخيل أنك تشاهد برنامج طبخ سريع الإيقاع. يقوم المضيف بتقطيع البصل، ويقلب فطيرة، ثم يضيف ثلاث توابل، وبعد ذلك يسأل: "كم مرة قلبتُ الفطيرة؟". يمكن للمشاهد البشري تتبع الحركة بسهولة، وعدّ عدد القلبات، وربما مقارنة هذا العدد بعدد التوابل التي أضيفت. لكن بالنسبة للكمبيوتر، يعد هذا كابوساً؛ إذ يتعين على الكمبيوتر ليس فقط "رؤية" الفيديو، بل أيضاً فهم الوقت، وتتبع الأشياء أثناء حركتها، وإجراء عمليات حسابية بناءً على ما يراه. هذا هو عالم نماذج الرؤية واللغة (VLMs). هذه أنظمة ذكاء اصطناعي يمكنها النظر إلى الصور أو الفيديوهات والتحدث عنها. إنها تصبح جيدة جداً في وصف ما يحدث، ولكن عندما يتعلق الأمر بإجراء عمليات حسابية دقيقة بناءً على فيديو — مثل عدّ كم مرة حدث فعل معين بالضبط — فإنها غالباً ما تتعثر. نحن نهتم بهذا لأننا إذا أردنا للذكاء الاصطناعي أن يساعدنا في العالم الحقيقي، من عدّ المخزون في المستودعات إلى تحليل اللعبات الرياضية، فإنه يحتاج إلى أن يكون قادراً على العد والاستنتاج بدقة، وليس مجرد التخمين.
إليك VidNum، وهي أداة تشخيصية جديدة ابتكرها باحثون لمعرفة السبب الدقيق وراء فشل نماذج الذكاء الاصطناعي هذه في رياضيات الفيديو. فكر في VidNum ليس كاختبار نهائي، بل كفحص طبي مفصل لأدمغة الذكاء الاصطناعي. فبدلاً من مجرد إعطاء درجة واحدة مثل "حصلت على 60%"، يقوم VidNum بتفكيك الاختبار إلى أنواع محددة من التحديات. لقد بنى الباحثون مجموعة من 1,167 سؤالاً من نوع الاختيار من متعدد بناءً على فيديوهات حقيقية، وصنفوا هذه الأسئلة إلى ثلاث فئات رئيسية: العد المباشر (مجرد عد الأشياء التي يمكنك رؤيتها بوضوح، مثل "كم عدد السيارات الحمراء؟")، والعد المشروط (عد الأشياء التي تستوفي قواعد محددة، مثل "كم عدد السيارات الحمراء التي مرت بجانب الشجرة؟")، والاستدلال التركيبي (إجراء عمليات حسابية باستخدام الأعداد، مثل "كم عدد السيارات الحمراء أكثر من السيارات الزرقاء؟").
عندما وضع الباحثون 25 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي تحت هذا الاختبار الصارم، كانت النتائج مذهلة. تمكن أفضل نموذج ذكاء اصطناعي من الإجابة بشكل صحيح على حوالي 59.8% من الأسئلة، بينما سجل المقيّمون البشريون نسبة تقارب المثالية بلغت 98.2%. هذه الفجوة هائلة. لكن القصة الحقيقية ليست فقط في أن الذكاء الاصطناعي سيء في الرياضيات؛ بل في أين يفشل. تشير الدراسة إلى أن العائق الأكبر لمعظم النماذج هو العد المشروط. الأمر يشبه كون الذكاء الاصطناعي يستطيع عد التفاح، ولكن إذا سألته عن "التفاح الذي سقط من فوق الطاولة"، فإنه يرتبك بشأن أي التفاحات يجب تضمينها. علاوة على ذلك، وجد الباحثون نمطاً محدداً: عندما تعتمد الرياضيات على عد الأفعال (مثل القلبات أو القفزات) بدلاً من الأشياء الثابتة، تعاني النماذج أكثر، خاصة عندما يتعين عليها دمج عد تلك الأفعال مع أرقام أخرى.
كما اختبرت الورقة البحثية حيلة شائعة تسمى سلسلة الأفكار (CoT)، حيث تطلب من الذكاء الاصطناعي أن "يفكر خطوة بخطوة" قبل إعطاء الإجابة. قد تتوقع أن هذا سيصلح الأخطاء، لكن النتائج كانت فوضوية. لم تكتفِ طريقة CoT بإصلاح الأخطاء فحسب، بل أفسدت أيضاً الإجابات التي كان الذكاء الاصطناعي قد أجاب عليها بشكل صحيح من قبل. الأمر كما لو أن طلب شرح عمله جعل الذكاء الاصطناعي يفرط في التفكير في المهام البسيطة. تشير الدراسة إلى أن عملية "التفكير" هذه تقوم فقط بإعادة توزيع الأخطاء بدلاً من حل المشكلة الأساسية. باختصار، يكشف VidNum أن نماذج الذكاء الاصطناعي الحالية ليست فقط "سيئة في الرياضيات"؛ بل لديها نقاط عمياء محددة ومتوقعة عندما تحاول تحويل مشاهد الفيديو المتحركة إلى أرقام. ويأمل الباحثون أن تساعد هذه الخريطة المفصلة للإخفاقات نماذج المستقبل على التتبع والعد والحساب بنفس الموثوقية التي يتمتع بها البشر عند مشاهدة برنامج طبخ.
ملخص تقني: VidNum – تشخيص أنماط فشل النماذج اللغوية البصرية (VLM) في الاستدلال العددي القائم على الفيديو
بيان المشكلة يتطلب الاستدلال العددي القائم على الفيديو من النماذج اللغوية البصرية (VLMs) تحديد وتتبع ودمج الأدلة الكمية عبر الإطارات، والأفعال، وتغيرات المشهد لإنتاج إجابات منفصلة وقابلة للتحقق. وبينما تغطي المعايير الحالية (مثل TGIF-QA وMVBench وVideo-MME) الفهم الدلالي والزمني الواسع، إلا أنها تعامل الاستدلال العددي كقدرة واحدة من بين قدرات عديدة أو تركز على مجالات متخصصة مثل التكرار أو الرياضيات التعليمية. وبناءً على ذلك، تعتمد طرق التقييم الحالية على درجات الدقة الإجمالية التي تحجب كيف وأين تفشل النماذج. فهي تفتقر إلى تصنيف تشخيصي موحد على مستوى السؤال للتمييز بين الفشل في بناء الهدف، وتأسيس الأدلة، وتكوين الكميات.
المنهجية قدم المؤلفون VidNum، وهو معيار تم تنسيقه يدويًا والتحقق منه بشكل مستقل صُمم خصيصًا للتحليل التشخيصي.
بناء مجموعة البيانات: يحتوي VidNum على 1,167 سؤالاً من نوع الاختيار من متعدد مستمدة من 947 فيديو مصدريًا. خضعت مجموعة البيانات لعملية تحقق متعددة المراحل (الإنشاء، التحقق الأولي، مراجعة الجودة، والتدقيق) لإزالة الأسئلة الغامضة، والطوابع الزمنية غير الدقيقة، والاختصارات القائمة على الأولوية اللغوية. وصل اتفاق المقيّمين بين المقيّمين على تصنيف المهام إلى 98.23% (معامل فليس κ = 0.970).
التصنيف الموجه نحو الحوسبة: على عكس التنظيم القائم على المواضيع الدلالية، يصنف VidNum الأسئلة بناءً على العملية الحسابية المطلوبة للإجابة عليها:
العد المباشر والمتميز (DDE): يتم تحديد المجموعة المستهدفة بوضوح؛ حيث يقوم النموذج بعدّ الحالات دون الحاجة إلى بناء إضافي.
العد المشروط والهيكلي (CSE): يجب بناء المجموعة المستهدفة من أدلة الفيديو باستخدام السمات، أو العلاقات، أو الفترات الزمنية، أو هياكل الأحداث.
الاستدلال الكمي التركيبي (CQR): تتطلب الإجابة النهائية عمليات صريحة (حساب، مقارنة، استنتاج منطقي) على كميات واحدة أو أكثر مستندة إلى الأدلة.
التعليقات التوضيحية المتعامدة: يتم وسم كل سؤال أيضًا بـ:
هدف الدليل: مركزي حول الكائن (Object-centric)، أو مركزي حول الفعل (Action-centric)، أو مركزي حول الحدث (Event-centric).
عملية الاستدلال: تحديد ما إذا كانت الإجابة تتطلب عدم إجراء عملية، أو حساب، أو مقارنة، أو استنتاج، أو تقدير.
بروتوكول التقييم: قيم المعيار 25 نموذجًا من النماذج اللغوية البصرية (بما في ذلك عائلات النماذج مفتوحة الأوزان مثل InternVL وQwen وLLaVA-NeXT، والنماذج المملوكة مثل Gemini وGPT-5.5). تم اختبار النماذج تحت بروتوكولين: NoCoT (الإجابة المباشرة) و Zero-shot Chain-of-Thought (CoT) (سلسلة الأفكار بدون أمثلة). تضمنت المدخلات أخذ عينات موحدة بمعدل 48 إطارًا لكل فيديو.
النتائج الرئيسية
فجوة الأداء: حقق أفضل نموذج لغوي بصري تم تقييمه (GPT-5.5) دقة بلغت 59.81% فقط، مقارنة بـ 98.20% للمقيّمين البشريين. لم يتجاوز أي نموذج مفتوح الأوزان دقة 45%.
الاختناقات الهيكلية:
بناء الهدف: يمثل بناء الهدف الهيكلي (CSE) عائقًا مستمرًا عبر جميع النماذج. في 23 نموذجًا من أصل 25، كان الأداء في مهام CSE أقل بشكل ملحوظ (بمتوسط -5.52 نقطة مئوية) من متوسط مهام DDE وCQR.
التركيب المرتبط بالفعل: ظهر نمط فشل محدد في الاستدلال الكمي التركيبي (CQR) عندما يكون مرتبطًا بالأفعال. أدى 21 نموذجًا من أصل 25 إلى أداء أسوأ بكثير في أسئلة CQR المرتبطة بالأفعال مقارنة بتلك المرتبطة بالكائنات أو الأحداث (بمتوسط فجوة قدره -7.6 إلى -9.0 نقطة مئوية).
آثار CoT: لم توفر طريقة "سلسلة الأفكار" (CoT) في وضع الصفر مكاسب موحدة. بدلاً من ذلك، أعادت توزيع الأخطاء:
استردت بعض الإجابات التي كانت خاطئة سابقًا، لكنها أفسدت إجابات كانت صحيحة سابقًا. [] تغير صافي التغيير باختلاف بنية المهمة (سلبي لـ CSE، ومحايد لـ DDE/CQR) وهدف الدليل (أكبر انخفاض كان لأسئلة الأفعال).
حجبت التغيرات في الدقة الإجمالية هذه التحولات على مستوى العناصر، مما يسلط الض light على الحاجة إلى تحليل طبقي.
الأهمية والادعاءات يزعم البحث أن VidNum يحول تقييم المعايير الإجمالي إلى تشخيص هيكلي لإخفاقات الاستدلال العددي. وتتمثل مساهماته الأساسية في:
معيار تشخيصي: يوفر VidNum أول مورد مصمم خصيصًا لتحليل أين يفشل الاستدلال العددي القائم على الفيديو، وليس فقط ما إذا كان ينجح.
تصنيف موجه نحو الحوسبة: من خلال تنظيم الأسئلة بناءً على بناء المجموعة المستهدفة ومعالجة الكميات، يتيح المعيار تحليلًا محكمًا لقدرات استدلال محددة.
تحديد أنماط الفشل: يكشف التقييم أن إخفاقات النماذج اللغوية البصرية الحالية هي إخفاقات مهيكلة وليست موحدة. وتحديدًا، لا تكمن الصعوبة في العد فحسب، بل في بناء الأهداف من أدلة معقدة وتركيب الكميات المستمدة من أفعال ديناميكية.
إعادة تقييم CoT: توضح الدراسة أن التلقين باستخدام سلسلة الأفكار (CoT) ليس علاجًا عالميًا موثوقًا؛ فهو يغير توزيع المشكلات القابلة للحل بدلاً من تحسين قدرات الاستدلال باستمرار.
يخلص المؤلفون إلى أن VidNum يقدم إطارًا لتحديد اختناقات محددة في البناء، والتأسيس، والتركيب، مما يسمح للأبحاث المستقبلية بالانتقال لما وراء التصنيفات الإجمالية نحو تحسينات مستهدفة في استدلال النماذج اللغوية البصرية.