VB: Visibility Benchmark for Visibility and Perspective Reasoning in Images
تقدم هذه الورقة البحثية VB، وهو معيار مرجعي مبتكر مصمم لتقييم قدرة نماذج الرؤية واللغة على تحديد مدى وضوح الصورة والامتناع عن الإجابة بشكل مناسب عندما تكون الأدلة غير كافية، وذلك باستخدام تعديلات طفيفة محكومة ومقاييس متخصصة لتبيان أن النماذج رفيعة المستوى مثل GPT-4o وGemini 3.1 Pro تتفوق بشكل كبير على البدائل مفتوحة المصدر في دقة الوعي بالثقة والاستدلال المنظوري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "ما الذي يمكنك رؤيته حقاً؟" مع صديق آلي (روبوت).
في هذه اللعبة، تعرض للروبوت صورة واحدة وتسأله سؤالاً بسيطاً مثل: "هل الكرة الحمراء مرئية في هذه الصورة؟" أو "هل يمكنك قراءة لوحة ترخيص تلك السيارة؟"
لدى الروبوت ثلاثة خيارات:
- نعم، أراها بوضوح. (إنها موجودة هناك في البكسلات.)
- لا، أنا بالتأكيد لا أراها. (إنها مخفية، أو ضبابية، أو ليست في الإطار.)
- لست متأكداً. (الصورة مظلمة جداً، أو الجسم صغير جداً بحيث لا يمكن التأكد.)
الورقة البحثية التي شاركتَها تقدم اختباراً جديداً يسمى VB (معيار رؤية الوضوح - Visibility Benchmark). إنه يشبه "اختبار رخصة القيادة" للروبوتات الذكية، ولكن بدلاً من قيادة سيارة، عليهم إثبات أنهم يعرفون الفرق بين ما هو مرئي بالفعل وبين ما يقومون بمجرد التخمين بشأنه.
إليك تفصيل الورقة البحثية باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة الجوهرية: فخ "التخمين"
العديد من الروبوتات الذكية تشبه الطلاب المتحمسين جداً الذين سيجيبون على أي سؤال، حتى لو لم يعرفوا الإجابة. إذا عرضت عليهم صورة لغرفة مظلمة وسألتهم: "هل هناك قطة في الزاوية؟"، فقد يخمن الروبوت السيئ "نعم" أو "لا" فقط ليكون مفيداً.
لماذا يعد هذا خطيراً؟
تخيل روبوتاً يساعد شخصاً كفيفاً في عبور الشارع. إذا خمن الروبوت أن "ممر المشاة خالٍ" بينما هو في الواقع مظلم جداً بحيث لا يمكن الرؤية، فقد يتعرض شخص ما للأذى. تجادل الورقة بأن معرفة متى تقول "لا أعرف" لا يقل أهمية عن معرفة الإجابة نفسها.
2. تصميم الاختبار: لعبة "المرآة السحرية"
لاختبار ما إذا كانت الروبوتات ذكية أم مجرد محظوظة، ابتكر الباحثون لعبة خاصة باستخدام 100 عائلة من الصور.
فكر في كل "عائلة" كأنها مجموعة من أربع بطاقات:
- البطاقة أ (الأساس): صورة تكون فيها الإجابة هي "لا" بوضوح. (مثلاً: لافتة مغطاة بشجرة).
- البطاقة ب (قلب النص): هي نفس الصورة، ولكن يتغير السؤال إلى "هل اللافتة مخفية؟" (الآن تصبح الإجابة "نعم").
- البطاقة ج (قلب الصورة): صورة معدلة قليلاً حيث تم تحريك الشجرة، مما كشف عن اللافتة. يبقى السؤال كما هو. (الآن تصبح الإجابة "نعم").
- البطاقة د (القلب المزدوج): الصورة المعدلة مع السؤال المعدل. (الآن تصبح الإجابة "لا" مرة أخرى).
الهدف: يجب على الروبوت أن يدرك أنه إذا حركت الشجرة (قلب الصورة)، فإن الإجابة تتغير. وإذا غيرت الكلمات فقط (قلب النص)، فإن الإجابة تتغير أيضاً. إذا ارتبك الروبوت بسبب هذه التغييرات الطفيفة، فهو لا "يرى" العالم حقاً، بل يقوم فقط بحفظ الأنماط.
3. لغز "المرتبة الثانية": عمل المحققين
بعض الأسئلة في الاختبار أكثر تعقيداً. فهي تسأل عما يستطيع الآخرون في الصورة رؤيته.
- مثال: "هل يعرف بوب أن أليس لا تستطيع رؤية البطاقة؟"
هذا يشبه لعبة "نظرية العقل" (Theory of Mind). يجب على الروبوت النظر إلى الصورة، وتحديد أين ينظر بوب، وأين تنظر أليس، وما الذي يحجب الرؤية عن كل منهما. الأمر لا يتعلق بعيني الروبوت فحسب؛ بل يتعلق بمحاكة عيون الآخرين.
4. النتائج: من اجتاز الامتحان؟
اختبر الباحثون 9 نماذج ذكاء اصطناعي مختلفة (بعضها من شركات تقنية كبرى مثل Google وOpenAI، وبعضها مفتوح المصدر).
- الطلاب المتفوقون: تعادلت GPT-4o و Gemini 3.1 Pro في المركز الأول. كانا الأفضل في قول "أرى ذلك"، "لا أرى ذلك"، أو "لست متأكداً" في الأوقات الصحيحة.
- الطالب "الأمين": كان أحد النماذج (GPT-5) حذراً جداً. لقد قال "لا أعرف" كثيراً. ورغم أن هذا آمن، إلا أنه فقد بعض النقاط لأنه لم يجب على أسئلة كافية.
- المفاجأة من المصادر المفتوحة: أدى أفضل نموذج "مجاني" (Gemma 3 12B) بشكل جيد بشكل مفاجئ. لقد تفوق فعلياً على أحد النماذج القديمة المدفوعة من شركة كبرى. هذا يشبه تذوق وجبة منزلية الصنع طعمها أفضل من وصفة قديمة لسلسلة مطاعم وجبات سريعة.
- نقطة الضعف: كانت معظم الروبوتات أفضل في فهم تغييرات الكلمات (قلب النص) من فهم تغييرات الصورة (قلب الصورة). الأمر يشبه كونهم بارعين في قراءة قائمة الطعام لكنهم سيئون في ملاحظة ما إذا كان النادل قد أحضر الطبق الصحيح بالفعل.
5. لماذا يهم هذا؟
هذه الورقة البحثية لا تتعلق فقط بالحصول على درجة عالية. إنها تتعلق بـ السلامة.
- معايرة الثقة: تتحقق الورقة مما إذا كانت "درجة الثقة" للروبوت تطابق الواقع. إذا قال الروبوت "أنا متأكد بنسبة 99%" ولكنه كان مخطئاً في الواقع، فهذا أمر خطير. أفضل الروبوتات (مثل Gemini 3.1 Pro) لا تقول "أنا متأكد" إلا عندما تكون محقة بالفعل.
- خيار "الامتناع": يكافئ الاختبار الروبوتات التي تقول "لا يمكنني التحديد" عندما تكون الأدلة مفقودة. في العالم الحقيقي، الروبوت الذي يرفض التخمين عندما يكون الجو مظلماً هو أكثر أماناً من الروبوت الذي يخمن ويصطدم.
الخلاصة
إن معيار VB هو طريقة جديدة لتعليم الذكاء الاصطناعي أن يكون متواضعاً. فهو يجبرهم على الاعتراف بعدم قدرتهم على رؤية شيء ما، بدلاً من اختلاق الحقائق. تظهر النتائج أنه بينما تصبح نماذج الذكاء الاصطناዊ الأكثر ذكاءً جيدة جداً في هذا الأمر، إلا أنها لا تزال تواجه صعوبة في التغييرات البصرية الدقيقة وفهم ما يمكن للآخرين في الصورة رؤيته.
إنها خطوة نحو بناء ذكاء اصطناعي لا يكتفي فقط بتقديم إجابات "هلوسة"، بل يعمل كإنسان مراقب وحذر يعرف حدود رؤيته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.