💻 computer science

Multimodal Large Language Models as Image Classifiers

تُظهر هذه الورقة أن ضعف الأداء المتصور لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) في تصنيف الصور هو إلى حد كبير نتاج لبروتوكولات تقييم معيبة وحقائق أرضية مشوبة بالضجيج وليس عجزاً حقيقياً في النماذج، مما يكشف أن تصحيح هذه المشكلات يقلص بشكل كبير فجوة الأداء مع النماذج الخاضعة للإشراف، مع تسليط الضوء على إمكانات نماذج اللغات الكبيرة متعددة الوسائط في المساعدة في تنسيق مجموعات البيانات واسعة النطاق.

المؤلفون الأصليون: Nikita Kisel, Illia Volkov, Klara Janouskova, Jiri Matas

نُشر 2026-03-09

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nikita Kisel, Illia Volkov, Klara Janouskova, Jiri Matas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الروبوتات الذكية جداً والمثقفة (تسمى نماذج اللغات الكبيرة متعددة الوسائط، أو MLLMs) كيفية التعرف على الأشياء في الصور. تعرض عليهم صورة لكلب وتسألهم: "ما هذا؟"

لفترة طويلة، اعتقد الباحثون أن هذه الروبوتات كانت سيئة للغاية في هذه المهمة المحددة مقارنة بروبوتات قديمة متخصصة في "الرؤية فقط". لكن هذا البحث الجديد يجادل بأن هذه الروبوتات لم تكن تفشل في الواقع؛ بل الاختبار نفسه كان معيباً.

إليك قصة كيف أصلح المؤلفون الاختبار وما اكتشفوه، مشروحة ببعض التشبيهات من الحياة اليومية.

1. المسطرة المكسورة: لماذا كانت الاختبارات تزيّف النتائج

تخيل أنك تجري اختباراً في الرياضيات، لكن نموذج الإجابة مليء بالأخطاء المطبعية.

مشكلة "الحقيقة الأرضية" (Ground Truth): مجموعة البيانات القياسية المستخدمة في هذه الاختبارات (ImageNet) تشبه مكتبة ضخمة من الصور، لكن العديد من تسمياتها (Labels) خاطئة. بعض الصور تحتوي على كلبين وقطة واحدة، لكن التسمية تقول "كلب" فقط. بعض الصور ضبابية أو غامضة.
النتيجة: عندما حاولت الروبوتات الذكية الإجابة، كانت غالباً على حق، لكن الاختبار كان يعتبرها مخطئة لأن الإجابة "الصحيحة" في الكتاب كانت في الواقع خطأً.
الإصلاح: قام المؤلفون بمراجعة 625 فئة من الصور وإعادة تسميتها بعناية (إنشاء ReGT). الأمر يشبه توظيف فريق من المحررين الخبراء لإصلاح جميع الأخطاء المطبعية في نموذج الإجابة.
المفاجأة: بمجرد إصلاح نموذج الإجابة، قفزت درجات الروبوتات بشكل كبير (بنسبة تصل إلى 10%). الفجوة بين "الروبوتات الذكية" و"روبوتات الرؤية المتخصصة" كادت أن تتلاشى. اتضح أن الروبوتات لم تكن غبية؛ بل كانت تُقيّم بناءً على اختبار معيب.

2. الطرق الثلاث لطرح السؤال

بحث الورقة أيضاً في كيفية طرح أسئلة التصنيف على الروبوتات. لقد اختبروا ثلاثة "أنماط للعب" مختلفة:

النمط أ: العالم المفتوح (المقال الحر)
- الإعداد: تعرض صورة وتقول: "أخبرني بما تراه". يكتب الروبوت جملة مثل: "أرى كلب جولدن ريتريفر يلعب في الحديقة".
- المشكلة: كيف تقيّم مقالاً؟ يجب عليك مطابقة "جولدن ريتريفر" مع قائمة الإجابات المسموح بها المكونة من 1000 إجابة.
- الاكتشاف: وجد المؤلفون أنه إذا استخدمت "مترجماً ذكياً" (فضاء التضمين/Embedding Space) لمطابقة جملة الروبوت مع أقرب إجابة مسموح بها، فإن الروبوتات تؤدي في الواقع بشكل أفضل هنا مقارنة بالأنماط الأخرى. فشلت الدراسات السابقة لأنها استخدمت طريقة "البحث والاستبدال" الخرقاء التي تفتقر إلى الدقة.
النمط ب: الاختيار من متعدد (برنامج المسابقات)
- الإعداد: تعرض صورة وتسأل: "هل هذا قط، أم كلب، أم سيارة، أم محمصة خبز؟"
- المشكلة: في العديد من الاختبارات الماضية، كانت الإجابات الخاطئة (المشتتات) سهلة للغاية. سؤال "هل هذا قط أم محمصة خبز؟" هو سؤال سهل جداً لروبوت ذكي.
- الاكتشاف: عندما جعل المؤلفون الإجابات الخاطئة أكثر صعوبة (على سبيل المثال: "هل هذا جولدن ريتريفر أم لابرادور؟")، انخفضت درجات الروبوتات بشكل كبير. وهذا يثبت أن الدراسات السابقة كانت تضخم قدرات الروبوتات عبر إعطائها اختبارات سهلة.
النمط ج: العالم المغلق (القائمة الصارمة)
- الإعداد: تعطي الروبوت قائمة بجميع الإجابات الـ 1000 الممكنة وتقول له: "اختر واحداً بالضبط من هذه القائمة".
- المشكلة: أحياناً يرتبك الروبوت ويقول شيئاً ليس في القائمة (مثل "جرو" بينما القائمة تحتوي فقط على "كلب"). في الماضي، كان يُحتسب ذلك كفشل.
- الإصلاح: قدم المؤلفون نظام CW+. إذا قال الروبوت "جرو"، يقوم النظام تلقائياً بربطه بأقرب إجابة صالحة في القائمة ("كلب") بدلاً من مجرد اعتباره خطأً. وقد أصلح هذا مصدراً رئيسياً لـ "الإخفاقات الزائفة".

3. تأثير "الدفعة" (Batch): لماذا الترتيب مهم؟

تخيل أنك معلم تصحح دفعة من 10 امتحانات.

إذا كان الامتحان الأول عبارة عن صورة لـ قطة، وأنت متعب أو مشتت الذهن، فقد تنظر لا شعورياً إلى الامتحانات التسعة التالية وتظن: "كل هذه تبدو كقطط أيضاً"، حتى لو لم تكن كذلك.
وجد البحث أنه عندما تعالج الروبوتات الصور في "دفعات" (مجموعات)، فإنها أحياناً "تتعلق" بتسمية الصورة الأولى وتطبقها على بقية المجموعة.
الدرس: للحصول على درجة عادلة، يجب خلط الصور عشوائياً حتى لا يصبح الروبوت "كسولاً" ويخمن نفس الإجابة لكل شيء في الدفعة.

4. الروبوتات كمساعدين للتدريس

أخيراً، سأل المؤلفون: هل يمكن لهذه الروبوتات مساعدة البشر؟

أخذوا الصور التي اختلف فيها الروبوت مع الخبراء البشريين.
عرضوا هذه الصور الصعبة على فريق ثانٍ من المقيّمين البشريين، جنباً إلى جنب مع تخمين الروبوت.
النتيجة: في حوالي 50% من الحالات الصعبة، اتفق البشر مع الروبوت وغيروا إجاباتهم الخاصة.
الاستعارة: فكر في الروبوت ليس كحكم نهائي، بل كـ متدرب شديد الانتباه. إنه يرصد الأخطاء التي غفل عنها المشرفون البشريون. إذا استخدمت الروبوت لتحديد الأخطاء المحتملة، يمكنك بناء مجموعات بيانات أفضل بكثير.

الخلاصة الكبرى

هذا البحث هو بمثابة جرس إنذار لمجتمع الذكاء الاصطناعي.

لا تثق في الدرجات القديمة: الكثير من نماذج MLLMs تم تقييمها بشكل غير عادل على أنها "سيئة في التصنيف" لأن بيانات الاختبار كانت مشوشة وطرق التقييم كانت معيبة.
أصلح البيانات أولاً: قبل لوم النموذج، تحقق مما إذا كان "نموذج الإجابة" الخاص بك صحيحاً.
كن حذراً من صيغة الاختبار: طريقة طرحك للسؤال (مفتوح مقابل مغلق مقابل اختيار من متعدد) تغير الدرجة أكثر مما تغير ذكاء النموذج الفعلي.

باخت-اختصار: الروبوتات أذكى مما كنا نظن، لكننا كنا نطرح عليها الأسئلة الخاطئة ونقيمها بمسطرة مكسورة. وبمجرد أن أصلحنا المسطرة، اجتازت الاختبارات بتفوق باهر.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "النماذج اللغوية الكبيرة متعددة الوسائط كأدوات لتصنيف الصور" (Multimodal Large Language Models as Image Classifiers).

1. بيان المشكلة

تتناول الورقة الاستنتاجات المتضاربة في الأدبيات الحالية فيما يتعلق بأداء النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في تصنيف الصور مقارنة بنماذج الرؤية الحاسوبية التقليدية الخاضعة للتعلم الخاضع للإشراف ونماذج الرؤية واللغة (VLMs).

المعايسات غير المتسقة: تشير الدراسات السابقة إلى أن نماذج MLLMs إما تتراجع بشكل كبير في الأداء أو تضاهي النماذج الكلاسيكية. ويرى المؤلفون أن هذه التناقضات تنبع من بروتوكولات التقييم المعيبة والحقيقة الأرضية (Ground Truth) المشوبة بالضجيج، وليس من قصور حقيقي في النماذج.
مشكلات بروتوكول التقييم:
- العالم المفتوح (Open-World - OW): يعتمد غالباً على مطابقة النصوص البسيطة أو تضمين النصوص، مما يؤدي إلى تقدير أداء النموذج بأقل من قيمته الحقيقية.
- الاختيار من متعدد (Multiple-Choice - MC): يستخدم في كثير من الأحيان مشتتات ضعيفة، مما يضخم الأداء ويعطي رؤية متفائلة للغاية.
- العالم المغلق (Closed-World - CW): تم تجنبه تاريخياً لنماذج MLLMs بسبب حدود عدد الرموز (tokens) المدخلة وظاهرة "خارج المطالبة" (Out-of-Prompt - OOP) حيث تولد النماذج تسميات ليست ضمن القائمة المقدمة، مما يؤدي إلى عقاب غير عادل للنموذج.
ضجيج الحقيقة الأرضية: تحتوي مجموعة التحقق القياسية من ImageNet-1k على أخطاء كبيرة في التسميات (حوالي 20%)، بما في ذلك صور تحتوي على كائنات متعددة ولكنها مصنفة كفئة واحدة، وتداخل في التعريفات، وتحولات في التوزيع. هذا الضجيج يؤثر بشكل غير متناسب على النماذج التي لا تعتمد بشكل كبير على إشارات التدريب الخاضعة للإشراف.

2. المنهجية

يقترح المؤلفون إطار عمل تقييمي موحداً وصارماً لمقارنة نماذج Melle (MLLMs)، ونماذج الرؤية واللغة (VLMs)، والنماذج الخاضعة للإشراف على مجموعة ImageNet-1k.

أ. مجموعة البيانات: ReGT (الحقيقة الأرضية المعاد تصنيفها)

النطاق: إعادة تصنيف 625 فئة من مجموعة التحقق لـ ImageNet-1k (31,250 صورة).
الاستراتيجية: تم تدريب المصنفين على تحديد وتجنب الأخطاء الشائعة. قاموا بتسمية جميع الكائنات الموجودة (تعدد التسميات) أو الإشارة إلى عدم وجود فئة صالحة.
الاستثناءات: تم استبعاد الفئات البرية دقيقة التفاصيل التي تتطلب معرفة خبيرة من المجموعة الرئيسية، ولكن تم تقييمها بشكل منفصل في دراسة حالة (عائلة Mustelidae).
الفئات: تم تصنيف الصور بناءً على الاتفاق بين التسميات الأصلية (ImGT) والتسميات الجديدة (ReGT):
- S (تسمية واحدة): صور تحتوي على كائن واحد.
- M (تسميات متعددة): صور تحتوي على كائنات متعددة.
- N (لا يوجد): صور لا تحتوي على تسمية ImageNet صالحة.
- الاتفاق/الاختلاف: مجموعات فرعية حيث تتطابق ReGT مع ImGT أو تتعارض معها.

ب. مهام وبروتوكولات التقييم

تقيم الورقة ثلاثة نماذج للمهام ضمن إطار عمل واحد:

العالم المفتوح (OW): يقوم النموذج بتوليد وصف حر.
- الابتكار: يستخدم مطابقة أقرب جار في فضاء تضمين النص (بدلاً من مطابقة النصوص) لربط النص المولد بأقرب اسم فئة، مما يحسن أداء OW بشكل كبير.
الاختيار من متعدد (MC): يختار النموذج من بين $n$ $n$ من الخيارات (خيار واحد صحيح + $n-1$ $n - 1$ من المشتتات).
- الابتكار: يقدم مشتتات أكثر صعوبة يتم اختيارها بناءً على مصفوفة الارتباك (confusion matrix) لنموذج خاضع للإشراف (EVA-02) أو تضمينات BERT، بدلاً من العينات العشوائية.
العالم المغلق (CW) و (+CW): يجب على النموذج الاختيار من قائمة تضم 1,000 فئة كاملة.
- الابتكار (+CW): للتعامل مع تنبؤات "خارج المطالبة" (OOP) (الهلوسة)، يقوم المؤلفون بربط مخرجات النص الحر للنموذج بأقرب فئة في فضاء التضمين. وهذا يسمح بتقييم العالم المغلق الكامل دون الحاجة إلى فك ترميز مقيد مكلف.

ج. النماذج التي تم تقييمها

نماذج MLLM: GPT-4o (مغلق المصدر)، Qwen3-VL، LLaVA-OneVision، InternVL3.5، PaliGemma 2.
نماذج VLM: SigLIP (أحجام مختلفة)، DINOv3 (zero-shot و k-NN).
النماذج الخاضعة للإشراف: EfficientNet-L2، EfficientNetV2-XL، EVA-02.

د. دراسات الاستئصال (Ablation Studies)

حلل المؤلفون بشكل منهجي الخيارات التصميمية التي غالباً ما يتم تجاهلها في الأعمال السابقة:

حجم الدفعة (Batch Size): تأثير معالجة 1 مقابل 5 مقابل 10 صور لكل طلب.
ترتيب الصور: التجميع العشوائي مقابل التجميع المتجانس للفئات.
أجهزة ترميز النص (Text Encoders): اختيار أفضل جهاز ترميز لعملية المطابقة القائمة على التضمين.
تصميم المطالبة (Prompt Design): أسماء الفئات مقابل معرفات الفئات (Class IDs).

3. المساهمات الرئيسية

إطار عمل محسن للمعايير: تقديم +CW، وهو طريقة معالجة لاحقة خفيفة الوزن تحل تنبؤات OOP عبر التضمين، مما يتيح تقييماً عادلاً للعالم المغلق واسع النطاق.
مجموعة بيانات ReGT: إعادة تسمية عالية الجودة ومتعددة التسميات لـ 625 فئة من ImageNet، مما يقلل بشكل كبير من ضجيج التسميات والغموض.
تحديد حساسية ضجيج التسميات: أثبتت الدراسة أن نماذج MLLM حساسة للغاية لجودة الحقيقة الأرضية؛ حيث أدى تصحيح التسميات إلى تحسين دقة MLLM بنسبة تصل إلى +10.8%، بينما أظهرت النماذج الخاضعة للإشراف مكاسب طفيفة.
تحليل حساسية البروتوكول: أظهرت النتائج أن بروتوكولات التقييم (صعوبة المشتتات، حجم الدفعة، الترتيب) تغير الدقة المسجلة بشكل جذري. على سبيل المثال، أدى استخدام المشتتات القائمة على مصفوفة الارتباك إلى انخفاض في الدقة بنسبة 10-15% مقارنة بالمشتتات العشوائية.
نماذج MLLM كمساعدين في التسمية: أظهرت دراسة حالة أن المصنفين البشريين قبلوا أو دمجوا تنبؤات MLLM في حوالي 50% من الحالات الصعبة والمثيرة للجدل، مما يثبت فائدتها في تنسيق مجموعات البيانات.

4. النتائج الرئيسية

تضييق فجوة الأداء: في مجموعة ImGT الأصلية، تأخرت نماذج MLLM عن النماذج الخاضعة للإشراف. أما في ReGT، فقد تقلصت الفجوة بشكل كبير؛ فعلى سبيل المثال، تحسن أداء GPT-4o بنسبة 6.0%، بينما تحسن أداء PaliGemma 2 بنسبة 10.8%.
أداء المهام:
- +CW: تفوق باستمرار على CW القياسي، خاصة في المجموعات الفرعية الصعبة (S- و M-).
- OW مقابل CW: على عكس الأعمال السابقة، حققت بعض النماذج (مثل LLaVA-OV و Qwen3-VL) أداءً أفضل في بيئات العالم المفتوح (OW) مقارنة بالعالم المغلق (CW) عند استخدام التضمين.
تأثير المشتتات: انخفض الأداء بشكل كبير عند استخدام مشتتات أصعب (على سبيل المثال، انخفض أداء GPT-4o من ~99% مع المشتتات العشوائية إلى ~85% مع مشتتات EVA-02 القائمة على مصفوفة الارتباح).
حساسية النماذج: أظهرت النماذج الأقل اعتماداً على إشارات التدريب الخاضعة للإشراف (مثل MLLMs و VLMs) أكبر المكاسب في الأداء من تصحيح التسميات، مما يشير إلى أنها أكثر قوة تجاه المحتوى الدلالي للصور ولكنها أكثر حساسية لضجيج التسميات مقارنة بالنماذج الخاضعة للإشراف.
معدلات الهلوسة: ولدت نماذج MLLM تنبؤات خارج المطالبة (OOP) بشكل متكرر (وصلت إلى 26% في LLaVA-OV)، خاصة في الصور متعددة التسميات أو الصور التي كانت فيها ImGT غير صحيحة. وقد نجح نظام +CW في ربط جزء كبير من هذه التنبؤات بالفئات الصحيحة.

5. الأهمية والخاتمة

إعادة تقييم قدرات MLLM: تخلص الورقة إلى أن ضعف الأداء المتصور لنماذج MLLMs في التصنيف هو إلى حد كبير نتاج حقيقة أرضية مشوبة بالضجيج وبروتوكولات تقييم غير مثالية، وليس فشلاً متأصلاً في النماذج.
أفضل الممارسات: يقدم المؤلفون إرشادات ملموسة للتقييمات المستقبلية: استخدموا المطابقة القائمة على التضمين لمهام OW/+CW، واستخدموا مشتتات صعبة لمهام MC، واضمنوا ترتيباً عشوائياً للصور داخل الدفعات لتجنب الانحياز.
التعاون بين الإنسان والذكاء الاصطناعي: تثبت الدراسة فعالية نماذج MLLM كأدوات لـ تنسيق مجموعات البيانات، حيث يمكنها رصد أخطاء التسمية المتبقية التي قد تغفل عنها العناصر البشرية، مما يشير إلى سير عمل مستقبلي حيث يساعد الذكاء الاصطناي في إنشاء معايير أكثر دقة.
التوجهات المستقبلية: تسلط الضوء على الحاجة إلى معايير (benchmarks) أكثر نظافة وبروتوكولات تقييم مبنية على أسس سليمة لتقييم الإمكانات الحقيقية للنماذج متعددة الوسائط في مهام التعرف البصري.