Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision?
تكشف هذه الورقة أن معايير التقييم الحالية للرؤية واللغة تفشل في تقييم الربط البصري دقيق التفاصيل بشكل موثوق لأن النماذج مفتوحة المصدر تظهر حساسية منخفضة بشكل مفاجئ تجاه التدهور البصري وتعتمد على الأدلة البصرية بدرجة أقل مما تشير إليه مقاييس الدقة القياسية، وهي ظاهرة تُعزى إلى زيادة التشابه بين الرموز البصرية في طبقات الشبكة العميقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الرؤية دون نظر: هل تختبر معايير تقييم الرؤية واللغة القدرة على الرؤية حقاً؟" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
الفكرة الكبرى: مشكلة "التخمين الأعمى"
تخيل أنك تجري اختباراً حيث يعرض عليك المعلم صورة لكلب ويسألك: "هل يوجد كلب في هذه الصورة؟" فتجيب بـ "نعم"، وتحصل على الإجابة الصحيحة. يفترض المعلم حينها أنك رأيت الكلب.
ولكن ماذا لو غطى المعلم 75% من الصورة بشريط أسود، تاركاً زاوية صغيرة جداً فقط مرئية؟ أو ماذا لو قام بتغبيش (blurring) الصورة بالكامل بحيث لا يمكنك رؤية أي تفاصيل؟ إذا كنت لا تزال تجيب بثقة "نعم"، فهل رأيت الكلب حقاً، أم أنك خمنت فقط بناءً على حقيقة أن المعلم عادة ما يسأل عن الكلاب؟
تجادل هذه الورقة بأن نماذج الذكاء الاصطناعي الحالية تشبه الطلاب الذين يخمنون الإجابات دون النظر حقاً إلى الصورة. فحتى عندما نخفي الأجزاء المهمة من الصورة، لا تزال نماذج الذكاء الاصطناعي هذه تحصل على الإجابات الصحيحة في الاختبارات القياسية. وهذا يشير إلى أن الاختبارات التي نستخدمها لقياس مدى قدرة الذكاء الاصطناوي على "الرؤية" هي في الواقع معيبة.
التجربة: إخفاء الأدلة
قرر الباحثون لعب لعبة "إخفاء الأدلة" مع عدة نماذج ذكاء اصطناعي شهيرة. استخدموا اختباراً شائعاً يسمى POPE (والذي يطرح أسئلة بسيطة بنعم/لا مثل "هل يوجد قفاز بيسبول؟").
إليك ما فعلوه:
- اختبار "التعتيم" (Blackout): أخذوا الصورة وغطوا أجزاء ضخمة منها بمربعات سوداء أو قاموا بتغبيشها.
- النتيجة: حتى عندما غطوا ما يصل إلى 75% من الصورة، لم ينخفض معدل درجات الذكاء الاصطناعي إلا قليلاً. كان الأمر كأنك تغطي عيني طالب ولكنه لا يزال يتفوق في الاختبار.
- اختبار "الاستبدال" (Swap): استخدموا أداة لاستبدال الجسم الموجود في الصورة رقمياً. إذا كانت الصورة تظهر قفاز بيسبول، قاموا باستبداله بمحمصة خبز (toaster). وأبقوا السؤال كما هو: "هل يوجد قفاز بيسبول؟"
- النتيجة: كان ينبغي للذكاء الاصطناعي أن يقول "لا". بدلاً من ذلك، غالباً ما استمر في قول "نعم". لقد تجاهل حقيقة اختفاء القفاز وتمسك بتخمينه الأصلي.
- اختبار "إسقاط الرموز" (Token Drop): تقوم نماذج الذكاء الاصطناعي بتجزئة الصور إلى قطع رقمية صغيرة تسمى "رموز" (tokens). قام الباحثون بحذف 75% من هذه القطع عشوائياً قبل أن يراها الذكاء الاصطناعي.
- النتيجة: لم يهتم الذكاء الاصطناعي كثيراً. لا يزال يؤدي بشكل جيد تقريباً كما لو كان قد رأى الصورة كاملة.
لماذا يحدث هذا؟ (نظرية "ورقة الغش")
تقترح الورقة أن الذكاء الاصطناعي لا "ينظر" حقاً إلى التفاصيل الدقيقة. بدلاً من ذلك، هو يعتمد على ثلاثة أشياء تعمل كـ "ورقة غش":
- تلميحات لغوية: يعرف الذكاء الاصطناعي أنه في هذه الاختبارات، تكون الأسئلة عادةً حول أشياء موجودة بالفعل. فهو يخمن "نعم" لأنها الإجابة الأكثر احتمالاً في مجموعة البيانات، وليس لأنه يرى الشيء.
- سياق المشهد: إذا كانت الصورة تظهر ملعب بيسبول، يفترض الذكاء الاصطناعي وجود قفاز، حتى لو كان القفاز مغطى بالحبر الأسود. إنه يستخدم الخلفية لتخمين ما في المقدمة.
- التكرار (Redundancy): قد يرى الذكاء الاصطناٍ قطعة صغيرة ضبابية من اللون البني ويفكر: "هذا يبدو مثل الجلد، إذاً لا بد أنه قفاز"، دون الحاجة لرؤية الجسم كاملاً.
"الرؤية الضبابية" الداخلية
نظر الباحثون أيضاً داخل "دماغ" الذكاء الاصطناعي (طبقاته الداخلية) لمعرفة كيفية معالجته للصورة. ووجدوا شيئاً مفاجئاً:
تخيل نظام الرؤية في الذكاء الاصطناعي كسباق تتابع:
- العداؤون الأوائل: في البداية، يرى الذكاء الاصطناعي الصورة بوضوح، مثل صورة عالية الدقة. هو يعرف بالضبط مكان القفاز.
- العداؤون اللاحقون: مع مرور المعلومات عبر الطبقات الأعمق للذكاء الاصطناعي، تصبح التفاصيل "عكرة". الموقع المحدد للقفاز يختلط مع الخلفية. وبحلول الوقت الذي يتخذ فيه الذكاء الاصطناعي قراره النهائي، يكون "الشكل" المتميز للقفاز قد تلاشى. يتخذ الذكاء الاصطناعي قراره بناءً على شعور عام بالمشهد، وليس بناءً على رؤية حادة ومفصلة.
الخلاصة: الاختبار معطل
الرسالة الأساسية هي أن معايير التقييم القياسية (benchmarks) تكذب علينا.
عندما يحصل الذكاء الاصطناعي على درجة عالية في هذه الاختبارات، نفترض أنه أتقن الفهم البصري. لكن هذه الورقة تظهر أن الذكاء الاصطناعي يمكنه الحصول على درجة عالية حتى لو كان "أعمى" عن التفاصيل المحددة للصورة. إنه يشبه تقييم طالب بناءً على ما إذا كان قد خمن الإجابة الصحيحة، دون التحقق مما إذا كان قد قرأ السؤال حقاً أو نظر إلى الرسم التوضيحي.
ما لا تقوله الورقة البحثية:
- هي لا تقول إن الذكاء الاصطناعي عديم الفائدة.
- هي لا تقول إن علينا التوقف عن استخدام هذه النماذج.
- هي لا تقترح تطبيقاً طبياً أو سلامة محدداً.
ما تقوله الورقة البحثية:
- نحن بحاجة إلى اختبارات أفضل تجبر الذكاء الاصطناعي على إثبات أنه ينظر حقاً إلى الجسم المحدد، وليس مجرد التخمين بناءً على السياق أو الأنماط اللغوية.
- حتى نصلح الاختبارات، لن نعرف حقاً مدى جودة هذه النماذج في "الرؤية".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.