ملخص تقني: HueManity – استقصاء الإدراك البصري دقيق التفاصيل في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) قدرات مثيرة للإعجاب في الاستدلال البصري عالي المستوى، مثل الإجابة على الأسئلة البصرية (VQA) ووصف الصور، فإن المعايير المرجعية الحالية تتجاهل إلى حد كبير قدرتها على التقاط التفاصيل الإدراكية دقيقة التفاصيل. غالبًا ما تخلط نماذج التقييم الحالية بين الإدراك والاستدلال الدلالي، مما يسمح للنماذج بالاعتماد على الأولويات اللغوية بدلاً من المدخلات البصرية الصرفة. ومع تزايد نشر هذه النماذج في المجالات الحساسة للسلامة (مثل القيادة الذاتية، والتصوير الطبي)، فإن الافتقار إلى حدة إدراكية تأسيسية — وتحديدًا القدرة على استخراج إشارات متماسكة من البيئات المزدحمة بصريًا — يشكل خطرًا كبيرًا. تجادل الورقة البحثية بأن القدرة على تمييز الأنماط من الإشارات الضعيفة ومنخفضة المستوى (اللون، السطوع، الملمس) هي شرط مسبق للذكاء البري القوي، ومع ذلك لا تزال هذه القدرة غير مستقصاة بواسطة المعايير المرجعية القياسية.

المنهجية: معيار HueManity

لمعالجة هذه الفجوة، قدم المؤلفون HueManity، وهو معيار مرجعي آلي وقابل للتوسع مصمم لعزل وتقييم الإدراك البصري دقيق التفاصيل.

بناء مجموعة البيانات

• النطاق والمحتوى: يتكون المعيار المرجعي من 83,850 صورة، تتميز كل منها بسلسلة أبجدية رقمية مكونة من حرفين مدمجة داخل نمط نقاط بأسلوب "إيشيهارا" (Ishihara-style).
• خط إنتاج التوليد:
  1. قناع النص (Text Masking): يتم إنشاء قناع ثنائي بـ 900×900 بكسل لسلاسل مكونة من حرفين باستخدام مكتبة Pygame مع خط DejaVu Sans عريض ومائل.
  2. اختيار الألوان: تم اختيار 25 زوجًا متميزًا من ألوان المقدمة والخلفية باستخدام عملية متعددة المراحل. تضمن ذلك تحليلًا كميًا عبر صيغة فرق الألوان CIEDE2000 ($\Delta E_{2000}$) لضمان توازن الصعوبة الإدراكية، متبوعًا بالتحقق اليدوي لضمان قابلية القراءة البشرية.
  3. رسم الأنماط: يقوم مولد تكراري بملء الصورة بدوائر غير متداخلة (4-15 بكسل). تُخصص للأجزاء داخل منطقة الحرف ألوان المقدمة، بينما تتلقى الدوائر الأخرى لون الخلفية. تخضع هذه الألوان لتحويلات عشوائية (إزاحات التدرج، إزاحات RGB، وتغيير السطوع) لإنشاء أنماط كثيفة وصعبة.
• تصميم المهام: يتضمن المعيار مهمتين للتعرف:
  • المهمة الرقمية: أرقام مكونة من رقمين (مثل "17")، مع مساحة تسمية تبلغ 90 احتمالًا.
  • المهمة الأبجدية الرقمية: سلاسل مكونة من حرفين (مثل "A7"، "9b")، مع مساحة تسمية تبلغ 3,364 احتمالًا (باستثناء الحروف المتشابهة بصريًا مثل 'l' و 'I' و 'J' و 'O').
• شروط الضبط (Control Conditions): لفصل التجميع الإدراكي عن التعرف على الحروف، يتم تقييم النماذج أيضًا على أقنعة النصوص الثنائية (مهمة الضبط) جنبًا إلى جنب مع أنماط إيشيهارا.

الإعداد التجريبي

• النماذج التي تم تقييمها: تم اختبار تسعة من النماذج الرائدة (SOTA) في مجال MLLMs، بما في ذلك النماذج التجارية القائمة على واجهة برمجة التطبيقات (GPT-4.1، GPT-4.1 mini، Claude 3.7 Sonnet، Qwen VL Max، Pixtral) والنماذج مفتوحة المصدر (متغيرات LLaVA-v1.6، Mistral-small3.1).
• النماذج المرجعية (Baselines):
  • الأداء البشري: قام 16 متطوعًا يتمتعون برؤية ألوان طبيعية بتقييم 100 صورة لكل مهمة.
  • الرؤية الحاسوبية التقليدية: عمل نموذج ResNet50 مضبوط بدقة (تم تدريبه على 2,000 عينة) كنموذج مرجعي للرؤية الحاسوبية.
• بروتوكول التقييم: تم توجيه النماذج لإخراج النص بدقة بتنسيق صارم. تم قياس الأداء عبر دقة المطابقة التامة. تضمنت الدراسة أيضًا دراسات استئصال (ablation studies) حول دقة الصورة وتحقيقات في قدرات التعلم داخل السياق والضبط الدقيق.

النتائج الرئيسية

فجوة الأداء

يكشف التقييم عن عجز حاد في الأداء لدى نماذج MLLMs مقارنة بالبشر ونماذج الرؤية الحاسوبية التقليدية:

• المرجع البشري: حقق أداءً قريبًا من الحد الأقصى (99.37% في المهمة الرقمية، 93.25% في المهمة الأبجدية الرقمية).
• مرجع ResNet50: حقق دقة عالية (96.5% في الرقمية، 94.5% في الأبجدية الرقمية)، مما يثبت أن المهمة قابلة للحل للبنى القادرة على تعلم الميزات دقيقة التفاصيل.
• أداء MLLM:
  • المهمة الرقمية: حقق أفضل نموذج (GPT-4.1) دقة 33.6% فقط. وتراوحت دقة النماذج الأخرى بين 19.0% وصولًا إلى ما يقرب من 0%.
  • المهمة الأبجدية الرقمية: انهار الأداء بشكل أكبر. حقق GPT-4.1 دقة 3.0% فقط، بينما سجلت معظم النماذج الأخرى 0% أو ما يقرب من الصفر.
  • التعرف الضوئي (OCR) مقابل الإدراك: بينما حافظت النماذج على دقة عالية (أكثر من 80%) على أقنعة النصوص الثنائية (مما يثبت وظيفة الـ OCR)، انهار أداؤها في أنماط إيشيهارا. يشير هذا إلى أن الفشل متجذر في التجميع الإدراكي واستخراج الميزات من الفوضى، وليس في التعرف على الحروف نفسه.

أنماط الفشل

حدد التحليل النوعي ثلاثة أنماط فشل متميزة في نماذج MLLM:

1. الهلوسة (Hallucination): توليد نصوص غير ذات صلة ومعقدة للغاية (مثل عبارات مثل "MUST SEE") عندما تتعرض المعالجة البصرية للضغط.
2. التملص (Evasion): وصف الصورة بأنها "اختبار ألوان" أو التصريح صراحة بعدم القدرة على أداء المهمة، بدلًا من محاولة التخمين.
3. المخرجات غير المنتظمة (Erratic Outputs): إنتاج سلاسل عشوائية، أو أنماط متكررة، أو أرقام غير منطقية، مما يشير إلى غياب استخراج الميزات البصرية المستقر.

نتائج إضافية

• التعلم داخل السياق (In-Context Learning): لم تؤدِ الأمثلة قليلة العينات (few-shot) إلى تحسين الأداء؛ بل أدت في كثير من الحالات إلى تدهور النتائج، مما يشير إلى أن التعقيد البصري للأمثلة يسبب ضجيجًا.
• الضبط الدقيق (Fine-Tuning): فشل ضبط نموذج (Gemma-3-4B) بدقة على الصور ذات الأنماط في تحسين الأداء، بل دمر قدرته على حل مهمة القناع البسيطة، مما يشير إلى أن النماذج تعلمت إنتاج سلاسل منطقية بدلاً من تعلم المهارة الإدراكية.
• استئصال الدقة (Resolution Ablation): أدى خفض دقة الصورة (تقليل العينات) بشكل غير متوقع إلى تحسين الأداء لأفضل نموذج (GPT-4.1)، مما يشير إلى أن تقليل العينات يعمل كمرشح تمرير منخفض (low-pass filter) يقوم بتنعيم الضجيج عالي التردد، مما يجعل أشكال الحروف أكثر بروزًا.
• الارتباط بالواقع: وُجد ارتباط إيجابي قوي ($\rho = 0.82$) بين أداء HueManity والترتيب في معيار Vision Arena، مما يشير إلى أن العجز الإدراكي دقيق التفاصيل يرتبط بالأداء العام في المهام متعددة الوسائط في العالم الحقيقي.

الأهمية والادعاءات

تدعي الورقة أن HueManity يكشف عن ضعف حرج في التأسيس الإدراكي لنماذج MLLM الحالية. يجادل المؤلفون بأن:

1. القيود الهيكلية: من المرجح أن يكون الفشل ناتجًا عن اختناقات معمارية (مثل تقسيم صور Vision Transformers إلى رقع، أو عمل طبقات الإسقاط كاختناقات للمعلومات) وأهداف التدريب المسبق المحسنة للسمات عالية المستوى بدلاً من التفاصيل منخفضة المستوى.
2. الفائدة التشخيصية: يعمل المعيار المرجعي كأداة تشخيصية قوية. فالارتباط القوي مع المعايير المرجعية في العالم الحقيقي يعني أن تحسين الإدراك دقيق التفاصيل أمر ضروري لنشر نماذج MLLM في التطبيقات الحساسة للسلامة.
3. الاتجاه البحثي: تشير النتائج إلى أن النماذج الحالية لا يمكنها ببساطة "تعلم" هذه المهارات من خلال الضبط الدقيق القياسي أو التعلم داخل السياق. يجب أن يركز العمل المستقبلي على بنى جديدة تحافظ على المعلومات البصرية منخفضة المستوى وأهداف تدريب تعزز صراحةً الحدة البصرية المستقلة عن الاستدلال الدلالي.

يطلق المؤلفون مجموعة البيانات وكود التوليد لتسهيل البحث القابل للتكرار والامتدادات التي يقودها المجتمع في هذا المجال.