VLM-SubtleBench: How Far Are VLMs from Human-Level Subtle Comparative Reasoning?
تقدم هذه الورقة البحثية VLM-SubtleBench، وهو معيار شامل يمتد عبر عشرة أنواع من الفروق الدقيقة عبر مجالات متنوعة مثل الصور الصناعية والطبية والجوية، لتقييم وكشف الفجوات الكبيرة في الأداء بين النماذج الرؤية واللغوية الحالية والبشر في مهام الاستدلال المقارن الدقيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "أوجد الفروقات" مع صديق لك. تنظران إلى صورتين لقطة تجلس على سجادة.
- الصورة أ: القطة ترتدي طوقاً أحمر.
- الصورة ب: القطة ترتدي طوقاً أزرق.
هذا سهل. حتى الطفل الصغير يمكنه ملاحظته. هذا هو ما تبرع فيه معظم نماذج الذكاء الاصطناعي الحالية: العثور على الفروقات الصارخة والواضحة.
لكن الآن، تخيل لعبة أصعب.
- الصورة أ: القطة تنظر قليلاً إلى اليسار، وذيلها ملتف للأعلى.
- الصورة ب: القطة تنظر قليلاً إلى اليمين، وذيلها ملتف للأسفل.
الفرق ضئيل جداً. إنه دقيق. يتطلب الأمر منك أن "تنظر" حقاً وتفهم السياق. هذا هو نوع التفكير الذي يقوم به البشر بشكل طبيعي، ولكن هذا هو المكان الذي تعاني فيه نماذج الذكاء الاصطناعي الحالية.
تقدم هذه الورقة البحثية اختباراً جديداً يسمى VLM-SubtleBench لترى بالضبط مدى بعد الذكاء الاصطناعي عن التفكير بمستوى البشر في سيناريوهات "أوجد الفروقات" هذه.
المشكلة: الذكاء الاصطناعي "فظّ" للغاية
فكر في نماذج الذكاء الاصطناعي الحالية مثل المطرقة. إذا كنت بحاجة لدق مسمار كبير (العثور على فرق هائل بين كلب وقطة)، فإن المطرقة تعمل بشكل رائع. لكن إذا كنت بحاجة لإجراء جراحة دقيقة (العثور على خدش صغير في قطعة غيار سيارة أو تغيير طفيف في صورة أشعة طبية)، فإن المطرقة ستكون خرقاء للغاية.
الاختبارات السابقة للذكاء الاصطناعي كانت تشبه سؤال المطرقة عن إيجاد المسمار الكبير. كان الذكاء الاصطناعي يجتاز الاختبار بتفوق، مما جعلنا نعتقد أنه عبقري. لكن في العالم الحقيقي — مثل فحص الشقوق في أنبوب مصنع أو رصد ورم في صورة أشعة للرئة — تكون الفروقات ضئيلة. يفشل الذكاء الاصطناعي لأنه لم يتم تدريبه على البحث عن "همسات" التغيير، بل عن "الصرخات" فقط.
الحل: اختبار "المجهر" الجديد
قام المؤلفون ببناء V-SubtleBench، وهو يشبه المجهر عالي الدقة لاختبار الذكاء الاصطناعي. بدلاً من عرض صورتين مختلفتين تماماً للذكاء الاصطناعي، يعرضان له صورتين متطابقتين بنسبة 99%، مع وجود فرق واحد صغير ومراوغ.
لقد اختبروا الذكاء الاصطناعي في 10 أنواع مختلفة من التغييرات الدقيقة:
- السمات: هل القميص أغمق قليلاً؟
- الحالة: هل التفاحة مقشرة أكثر قليلاً؟
- العاطفة: هل الشخص أقل غضباً قليلاً؟
- الزمن: هل حدث هذا قبل أم بعد ذلك؟
- المكان: هل تحرك الشيء قليلاً إلى اليسار؟
- الوجود: هل هناك شيء صغير مفقود؟
- الكمية: هل هناك مبنى إضافي في الأفق؟
- الجودة: هل إحدى الصور ضبابية أكثر قليلاً؟
- وجهة النظر: هل مالَت الكاميرا قليلاً؟
- الحركة: هل الشخص يضرب بذراع مختلفة؟
كما اختبروا الذكاء الاصطناعي في 6 عوالم مختلفة:
- طبيعي: صور عادية.
- طبي: أشعة سينية وفحوصات.
- صناعي: قطع المصانع والعيوب.
- جوي: صور الأقمار الصناعية للمدن.
- ألعاب: رسومات ألعاب الفيديو.
- اصطناعي: أشكال منشأة حاسوبياً.
النتائج: الذكاء الاصطناعي لا يزال "طفلاً"
عندما أجروا الاختبار، كانت النتائج بمثابة صدمة للواقع.
- البشر: حصلوا على كل شيء تقريباً بشكل صحيح (95%+). نحن أساتذة التفاصيل الدقيقة.
- أفضل ذكاء اصطناعي (GPT-5-thinking): حصل على حوالي 78% بشكل صحيح. يبدو هذا جيداً، ولكن في عالم الذكاء الاصطناعي، هذه فجوة كبيرة.
- الفجوة: في الفئات الأصعب — مثل المكانية (أين توجد الأشياء) والزمنية (متى تحدث الأشياء) — كان الذكاء الاصطناعي غالباً أسوأ بنسبة 30% من البشر.
التشبيه: تخيل إنساناً وروبوتاً يخضعان لاختبار قيادة. الإنسان يرى طفلاً يخطو من الرصيف على بعد 50 قدماً فيتوقف. الروبوت يرى الطفل ولكنه يعتقد: "هذا مجرد ظل"، ويستمر في القيادة. الروبوت ليس أعمى؛ هو فقط لا يستطيع معالجة "دقة" الخطر.
لماذا يفشل الذكاء الاصطناعي؟
تعمقت الورقة البحثية لمعرفة لماذا يعاني الذكاء الاصطناعي:
- سيء في "المنطق العام": إذا كان القارب يتحرك للأمام، فلا يمكنه التحرك للخلف. البشر يعرفون هذا فوراً. الذكاء الاصطناعي غالباً ما يرتبك بشأن الوقت والاتجاه.
- يغمره الازدحام: إذا كان هناك 50 جسماً في الصورة، يضيع الذكاء الاصطنا_ي. إذا كان هناك 5 فقط، فإنه يبلي بلاءً حسناً. الأمر يشبه محاولة العثور على إبرة معينة في كومة قش تحتوي على 50 إبرة مقابل كومة قش تحتوي على 5 إبر فقط.
- يتأثر بالحجم: إذا كان الشيء المتغير صغيراً جداً، غالباً ما يفوته الذكاء الاصطناعي. إذا كان كبيراً، يراه الذكاء الاصطناعي.
- التوجيه (Prompting) لا يساعد كثيراً: قولنا للذكاء الاصطناٍ "فكر خطوة بخطوة" (وهي حيلة شائعة) ساعد قليلاً، لكنه لم يحل المشكلة الجوهرية. الأمر يشبه قولك لشخص مصاب بعمى الألوان "انظر بتركيز أكبر" إلى تفاحة حمراء وخضراء؛ سيظل غير قادر على رؤية الفرق.
لماذا يهم هذا؟
قد تعتقد: "وماذا لو لم يستطع الذكاء الاصطناعي رصد فرق بسيط في لعبة فيديو؟" لكن هذه المهارة حاسمة في الحياة الواقعية:
- الطب: يحتاج الطبيب لرصد تغيير طفيف في ورم بين صورتين للأشعة تم التقاطهما بفارق شهر. إذا فات الذكاء الاصطناعي ذلك، فقد يتعرض المريض للخطر.
- المصانع: يحتاج الروبوت لرؤية شرخ شعري في قطعة غيار سيارة قبل شحنها. إذا فاته ذلك، فقد تتعطل السيارة.
- السيارات ذاتية القيادة: تحتاج السيارة لملاحظة حركة قدم مشاة بسيطة قبل أن يخطو في الطريق.
الخلاصة
V-SubtleBench هو جرس إنذار. يخبرنا أنه بينما يزداد الذكاء الاصطناعي ذكاءً في وصف الصور والإجابة على الأسئلة السهلة، إلا أنه لا يزال بعيداً عن كونه مراقباً "بمستوى بشري". يمكنه رؤية الغابة، لكنه غالباً ما يفتقد رؤية الأشجار.
يأمل المؤلفون أن يدفع هذا الاختبار الجديد مطوري الذكاء الاصطناعي لبناء نماذج لا تكتفي بـ "إلقاء نظرة خاطفة" على الصور، بل تفهم حقاً التفاصيل الصغيرة والدقيقة التي تجعل العالم يعمل. وحتى ذلك الحين، بالنسبة للمهام الأكثر دقة، لا نزال بحاجة إلى العيون البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.