💻 computer science

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

تقدم هذه الورقة البحثية MME-VideoOCR، وهو معيار شامل يضم 25 مهمة عبر 44 سيناريو فيديو لتقييم قدرات التعرف الضوئي على الحروف (OCR) في النماذج اللغوية الكبيرة متعددة الوسائط، كاشفةً أن النماذج الحالية الرائدة تعاني من صعوبات في الفهم الشامل للفيديو، والاستدلال المكاني الزماني، والتكامل عبر الإطارات، رغم تحقيق دقة تبلغ 73.7% فقط حتى مع الأنظمة الأفضل أداءً.

المؤلفون الأصليون: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yushuo Guan, Zhang Zh

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yushuo Guan, Zhang Zhang, Liang Wang, Haoxuan Li, Zhouchen Lin, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في الهمهمة الهادئة لحاسوب حديث، يتعلم نوع جديد من الذكاء كيف يرى. هذه الأنظمة، المعروفة بالنماذج اللغوية الكبيرة متعددة الوسائط، مصممة لمعالجة ليس فقط الكلمات، بل وأيضاً الصور ومقاطع الفيديو، ودمجها في تدفق واحد من الفهم. لقد أصبحت ماهرة بشكل ملحوظ في قراءة النصوص من الصور الثابتة، محولةً صورة لافتة شارع أو وثيقة إلى كلمات رقمية بدقة عالية. وقد فتحت هذه القدرة الأبواب أمام الآلات للتنقل في العالم، وقراءة التعليمات، وتنظيم المعلومات. ومع ذلك، فإن العالم الحقيقي نادراً ما يكون ساكناً؛ فهو يتحرك، ويتغير، ويتبدل. وعندما تُطلب من هذه الأنظمة الذكية نفسها قراءة نص من فيديو متحرك، تصبح المهمة أكثر صعوبة بكثير. فقد يظهر النص مشوشاً مع مرور سيارة مسرعة، أو يظهر لثانية واحدة فقط، أو يتوزع عبر لحظات زمنية مختلفة. إن فهم النص في حالة الحركة يتطلب ما هو أكثر من مجرد الرؤية؛ إنه يتطلب التذكر، والربط، والاستنتاج عبر تسلسل من الأحداث.

لقد ألقى فريق من الباحثين نظرة فاحصة الآن على مدى كفاءة هذه الأنظمة المتقدمة في التعامل مع النصوص في عالم الفيديو الديناميكي. قاموا ببناء أرض اختبار جديدة تسمى MME-VideoOCR، وهي مجموعة شاملة من مقاطع الفيديو المصممة لتحدي الآلات بالطرق المحددة التي تعاني بها العيون والعقول البشرية مع النصوص المتحركة. لا يكتفي هذا المعيار بطلب قراءة كلمة من الحاسوب؛ بل يطلب من الحاسوب إيجاد رقم محدد على سيارة سباق، أو تتبع لوحة ترخيص بينما تغير المركبة مسارها، أو تجميع جملة مجزأة ومتناثرة عبر عدة ثوانٍ من اللقطات. جمع الباحثون 1,464 مقطع فيديو، تتراوح من لقطات قصيرة إلى تسلسلات أطول، تغطي أربعة وأربعين سيناريو مختلفاً من واقع الحياة مثل القيادة، والطبخ، ومشاهدة الأخبار، وحضور المحاضرات. ولكل فيديو، أنشأوا ألفي سؤال وجواب صيغت بعناية، وتم التحقق منها من قبل خبراء بشريين لضمان الدقة والإنصاف.

وعندما وضعوا ثمانية عشر من أكثر نماذج قراءة الفيديو تقدماً تحت الاختبار، كشفت النتائج عن فجوة كبيرة بين القدرات الحالية ومتطلبات العالم الحقيقي. فحتى أفضل الأنظمة أداءً، وهو نموذج قوي يُعرف باسم Gemini-2.5 Pro، تمكن من الإجابة بشكل صحيح بنسبة 73.7 بالمائة فقط. وبينما قد يبدو هذا الرقم مرتفعاً، وجد الباحثون أن النماذج فشلت بشكل ذريع في المهام التي تتطلب منها النظر إلى الفيديو بأكمله والربط بين المعلومات عبر الزمن. فعلى سبيل المثال، عندما طُلب منها التعرف على حرف تشكل من مسار جسم متحرك، أو إعادة بناء كلمة من حروف ظهرت بترتيب عشوائي عبر إطارات مختلفة، سجلت النماذج الرائدة درجات تقترب من الصفر. كان بإمكانها قراءة لافتة واضحة تماماً في إطار واحد، لكنها غالباً ما كانت تفقد الخيط عندما تتوزع المعلومات.

كما كشفت الدراسة عن عادة غريبة في طريقة تفكير هذه الآلات. فعند مواجهة نص مشوش أو مكتوب بشكل خاطئ، غالباً ما تتجاهل النماذج ما هو موجود بالفعل على الشاشة وتخمن بدلاً من ذلك ما "يجب" أن يقوله النص بناءً على الأنماط اللغوية الشائعة. فإذا كانت لافتة في فيديو تقرأ بوضوح "OFF COURS" مع نقص حرف، فإن النموذج غالباً ما يبلغ بثقة أنها "OFF COURSE"، مفضلاً المعرفة الداخلية بكيفية تهجئة الكلمات عادةً على الدليل البصري. هذا الميل للاعتماد على ما تتوقعه بدلاً مما هو موجود بالفعل، يشير إلى أن هذه الأنظمة لا تزال متأثرة بشدة بتدريبها على اللغة المكتوبة، وأحياناً على حساب الدقة البصرية.

علاً على ذلك، اكتشف الباحثون أن جودة مدخلات الفيديو تهم بشكل هائل. فعندما قاموا بتغذية النماذج بصور ذات دقة منخفضة أو عدد أقل من الإطارات من الفيديو، انخفض الأداء بشكل حاد. كانت الآلات بحاجة إلى وضوح عالي الدقة وعدد كافٍ من اللحظات الزمنية لتجميع القصة. يسلط هذا الاكتشاف الضوء على أن مجرد جعل النموذج أكبر أو أكثر ذكاءً ليس كافياً؛ بل يجب أن تكون رؤيته للعالم حادة ومستمرة. وتخلص الدراسة إلى أنه بينما حققت هذه الذكاءات الاصطناعية خطوات كبيرة في قراءة الصور الثابتة، إلا أنها لا تزال تفتقر إلى القدرة على الاستيعاب الكامل للطبيعة المتدفقة والمجزأة والمضطربة للنصوص في حالة الحركة. إن الطريق إلى الأمام لا يتطلب خوارزميات أفضل فحسب، بل يتطلب دمجاً أعمق للذاكرة البصرية ومقاومة للرغبة في التخمين بناءً على العادة.

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

ملخص تقني: MME-VideoOCR

بيان المشكلة

المنهجية

المساهمات الرئيسية

النتائج التجريبية

الأهمية والادعاءات