BareBones: Benchmarking Zero-Shot Geometric Comprehension in VLMs
تقدم الورقة البحثية "BareBones"، وهو معيار اختبار صفري (zero-shot) يستخدم ظلالاً على مستوى البكسل، لتوضيح أن نماذج الرؤية واللغة المتطورة تعاني من "منحدر انحياز الملمس" (Texture Bias Cliff) الشديد عند حرمانها من إشارات RGB، مما يكشف عن اعتمادها على الملمس والسياق بدلاً من الفهم الهندسي الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "خمن الحيوان" مع صديق ذكي ومثقف جداً.
اللعبة:
تعرض على صديقك صورة نمر. يقول فوراً: "نمر!" لأنه يرى الفراء البرتقالي، والخطوط السوداء، وخلفية الغابة. أمر سهل للغاية.
التحول المفاجئ:
الآن، تأخذ نفس تلك الصورة وتحولها إلى ظلية (Silhouette) بالأبيض والأسود. تمسح الفراء البرتقالي، والخطوط، والخلفية، والإضاءة. كل ما يتبقى هو المخطط الخارجي لشكل الحيوان.
النتيجة:
صديقك، الذي كان واثقاً جداً من نفسه في البارحة، يتجمد فجأة. قد يخمن "قط"، أو "كلب"، أو حتى "كتلة ضخمة". لا يمكنه معرفة أنه نمر بعد الآن.
هذا بالضبط ما اكتشفته ورقة بحثية بعنوان "BareBones" حول الذكاء الاصطناعي الحديث (وتحديداً نماذج الرؤية واللغة مثل GPT-4 وGemini وLLaVA).
الفكرة الكبرى: "منحدر انحياز النسيج"
قام الباحثون ببناء اختبار جديد يسمى BareBones. أخذوا آلاف الصور من مجموعات بيانات مختلفة (بما في ذلك مجموعة ضخمة من ظليات بوكيمون - Pokémon) وجردوا كل شيء باستثناء الشكل.
وجدوا شيئاً صادماً: نماذج الذكاء الاصطناعي سيئة جداً في التعرف على الأشكال إذا لم تتمكن من رؤية الأنسجة (Textures).
إليك تفصيل ذلك باستخدام تشبيهات بسيطة:
1. مشكلة "شفرة الغش"
فكر في نماذج الذكاء الاصطناعي كطلاب بارعين في حفظ الإجابات ولكنهم سيئون في فهم المفاهيم.
- الطريقة القديمة (النسيج): عندما يرى الذكاء الاصطناعي نمراً، فهو لا "يرى" حقاً شكل النمر. هو يرى الخطوط. الأمر يشبه طالباً يعرف الإجابة على مسألة رياضية فقط لأنه حفظ الأرقام المحددة الموجودة في الصفحة، وليس لأنه فهم الصيغة الرياضية.
- طريقة BareBones (الشكل): عندما تزيل الخطوط (النسيج) وتترك المخطط الخارجي فقط، يفقد الذكاء الاصطناعي "شفرة الغش" الخاصة به. الأمر يشبه سحب الأرقام من الطالب وطلب حل المسألة باستخدام الصيغة فقط. سيفشل فشلاً ذريعاً.
يطلق المؤلفون على هذا اسم "منحدر انحياز النسيج" (Texture Bias Cliff). بمجرد إزالة النسيج، لا ينخفض أداء الذكاء الاصطناعي قليلاً فحسب؛ بل يسقط من فوق منحدر.
2. لغز البوكيمون
لإثبات أن هذا لم يكن مجرد صدفة، استخدم الباحثون البوكيمون.
- التحدي: تشتهر شخصيات البوكيمون بامتلاك أشكال أجسام متشابهة جداً. "بلاسلي" (Plusle) و"مينون" (Minun) يبدوان متطابقين تقريباً في المخطط الخاري، ويختلفان فقط في تفاصيل صغيرة مثل أطراف الأذن أو شكل الذيل.
- الاختبار: عرضوا على نماذج الذكاء الاصطناي 1,160 بوكيمون مختلفاً، ولكن كمخططات باللون الأبيض والأسود فقط.
- النتيجة: حتى أكثر نماذج الذكاء الاصطناعي ذكاءً (مثل GPT-4.1) أخطأت في التقدير بنسبة تقترب من 100% من الوقت. لم يتمكنوا من التمييز بين "جينجار" (Gengar) و"ميميكيو" (Mimikyu) بمجرد النظر إلى المخطط الخارجي.
- المقارنة مع البشر: استطاع معجب بشري بالبوكيمون تخمين حوالي 70% منهم بشكل صحيح بمجرد النظر إلى الأشكال. أما الذكاء الاصطناعي، الذي يُفترض أنه "فائق الذكاء"، سجل أقل من 4%.
3. العقول الأكبر لا تحل المشكلة
قد تعتقد: "ربما يحتاج الذكاء الاصطناعي فقط إلى أن يكون أكبر أو أذكى؟"
اختبر الباحثون نماذج تتراوح من الصغيرة (1 مليار بارامتر) إلى الضخمة (26 مليار بارامتر).
- النتيجة: لم يهم مدى كبر حجم "الدماغ". جميعهم فشلوا.
- التشبيه: الأمر يشبه إعطاء مكتبة ضخمة لشخص كفيف. مهما كان عدد الكتب (البيانات) التي يمتلكها، إذا لم يستطع رؤية شكل الشيء الموجود أمامه، فلن يتمكن من التعرف عليه. المشكلة ليست في حجم المكتبة؛ بل في أن "العيون" (الجزء البصري للذكاء الاصطناعي) معطلة عندما يتعلق الأمر بالهندسة الصرفة.
4. عادة "الهلوسة"
عندما يرتبك الذكاء الاصطناعي بسبب عدم قدرته على رؤية النسيج، فإنه لا يقول: "لا أعرف". بدلاً من ذلك، يبدأ في التخمين بناءً على ما يتذكره من الإنترنت.
- إذا رأى الذكاء الاصطناعي مخططاً ضبابياً قد يكون لكلب، فإنه يخمن "أفغان هاوند" لأنه رأى هذه العبارة ملايين المرات في بيانات التدريب الخاصة به.
- الأمر يشبه طالباً في امتحان لا يعرف الإجابة، فيقوم بكتابة الكلمة الأكثر شيوعاً التي سمعها في الفصل، آملاً أن تكون هي الإجابة الصحيحة.
لماذا يهم هذا الأمر؟
تجادل الورقة البحثية بأن الذكاء الاصطناعي الحالي "هش" (Brittle).
- الواقع: في العالم الحقيقي، لا تبدو الأشياء دائماً مثالية. تتغير الإضاءة، وتظهر الظلال، وتغطى الأشياء بالطين أو الثلج. إذا كان الذكال الاصطناعي يعتمد على "الخطوط" للعثور على نمر، فقد يخطئ في رؤية النمر وهو وسط الثلج.
- الهدف: نريد ذكاءً اصطناعياً يفهم الهندسة (Geometry) — الهيكل الفعلي للعالم — بحيث يمكنه العمل في أي ظروف، وليس فقط عندما تكون الإضاءة مثالية والأنسجة واضحة.
الخلاصة
يعتبر معيار "BareBones" بمثابة جرس إنذار. فهو يظهر أنه بينما يبدو الذكاء الاصطناعي مذهلاً في قراءة ووصف الصور، إلا أنه لا يفهم حقاً أشكال الأشياء الموجودة فيها. إنه يشبه شخصاً يمكنه وصف سيارة بالتفصيل، لكنه لا يستطيع التعرف عليها إذا قمت بطلاءها باللونين الأبيض والأسود.
لبناء آلات ذكية حقاً، نحتاج إلى تعليمها رؤية "الهيكل العظمي" للعالم، وليس مجرد "الجلد".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.