How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures
تقدم هذه الورقة SciFigBench، وهو معيار شامل وإطار عمل "الممانعة-المقاومة-الحث" (A-R-I) لتقييم الموثوقية السلوكية لنماذج الرؤية واللغة تحت ظروف عدم اليقين في فهم الأشكال العلمية، مما يكشف أن دقة الإدراك والاستدلال العالية لا تضمن قدرة النموذج على الإقرار بنقص الأدلة أو مقاومة السياق المضلل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً فائق الذكاء لمساعدتك في قراءة خريطة معقدة. أنت تريد شخصاً لا يستطيع فقط رؤية الجبال والأنهار، بل يمكنه أيضاً أن يخبرك بدقة عن ارتفاع القمم وأي مسار هو الأقصر. في عالم الذكاء الاصطناعي، تُسمى هؤلاء المساعدين "نماذج الرؤية واللغة" (VLMs). إنهم يشبهون المحققين الرقميين الذين ينظرون إلى الصور (مثل المخططات أو الرسوم البيانية أو الرسوم التوضيحية) ويتحدثون عما يرونه. لفترة طويلة، كان العلماء يختبرون هؤلاء المحققين من الذكاء الاصطناعي عبر طرح أسئلة بسيطة: "ما هو لون هذا العمود؟" أو "كم عدد العناصر الموجودة في هذه القائمة؟". إذا حصل الذكاء الاصطناعي على الإجابة الصحيحة، فإننا نفترض أنه ذكي وموثوق.
لكن هذا هو الجزء الصعب: ماذا يحدث عندما تكون الخريطة ملطخة، أو عندما يقدم شخص ما للذكاء الاصطناعي خريطة مزيفة ويسأله: "أين الكنز؟". المحقق الموثوق حقاً لا ينبغي أن يخمن موقع الكنز لمجرد أن الخريطة المزيفة تقول إنه هناك؛ بل يجب أن يعترف قائلاً: "لا أستطيع رؤية هذا الجزء"، أو "تبدو تلك الخريطة خاطئة". يغوص هذا البحث في زاوية محددة من أبحاث الذكاء الاصطعي تسمى "الموثوقية السلوكية". إنه يسأل سؤالاً جوهرياً: هل تعرف هذه النماذج من الذكاء الاصطناعي متى تكون "عمياء"، أم أنها تبتكر إجابات فقط لتبدو مفيدة؟ أراد الباحثون معرفة ما إذا كان نموذج الذكاء الاصطناي الذي يجيد وصف صورة واضحة سيكون أيضاً صادقاً عندما تكون الصورة ضبابية أو مضللة.
اختبار "النقطة العمياء" العظيم
قام الباحثون ببناء ملعب خاص يسمى SCIFIGBENCH لاختبار ذلك. تخيل مكتبة ضخمة تضم 250 مخططاً علمياً — مثل الرسوم البيانية للأعمدة ورسوم الخطوط البيانية — من أوراق بحثية حقيقية. ولكن بدلاً من مجرد طلب وصف هذه المخططات بشكل طبيعي، قرر الفريق القيام ببعض الحيل. لقد أخذوا هذه المخططات وقاموا بـ:
- تغبيش (Blurring) تسميات معينة بحيث أصبح من المستح المستحيل قراءتها.
- تدوير (Rotating) الصور بحيث أصبحت مائلة.
- إضافة تسميات توضيحية مزيفة (Fake Captions) تخبر أكاذيب عما يظهره المخطط.
- طرح أسئلة حول أشياء غير موجودة في المخطط على الإطلاق.
أرادوا رؤية كيف ستتفاعل ثمانية نماذج مختلفة من طراز رفيع (بما في ذلك أسماء كبيرة مثل GPT-5.2 و Gemini 3.1 Pro) مع هذه الفخاخ. وللقياس، أنشأوا نظام تسجيل جديد يسمى A-R-I، والذي يرمز إلى الاعتراف (Admittance)، والمقاومة (Resistance)، والحث (Inductance). فكر في الأمر كاختبار ثلاثي الأجزاء للأمانة والذكاء:
- الاعتراف (Admittance): إذا لم يستطع الذكاء الاصطناعي رؤية شيء ما (بسبب التغبيش)، هل يعترف قائلاً: "لا أستطيع رؤية ذلك"؟ أم أنه يكتفي بالتخمين؟
- المقاومة (Resistance): إذا أخبر شخص ما الذكاء الاصطناعي بكذبة (مثل تسمية توضيحية مزيفة)، هل يقول: "لا، هذا لا يتطابق مع الصورة"؟ أم أنه يوافق فقط ليكون لطيفاً؟
- الحث (Inductance): إذا كان جزء من المخطط مخفياً ولكن بقية الصورة تعطي تلميحاً (مثل نمط معين)، هل يمكن للذكاء الاصطناعي استنتاج الجزء المفقود دون اختلاقه؟
النتائج الصادمة: "المختلق الواثق"
كانت النتائج أشبه بنقطة تحول في حبكة فيلم غموض. وجد الباحثون أن كونك جيداً في وصف صورة واضحة لا يعني أنك جيد في التعامل مع صورة صعبة.
النجم المتألق (GPT-5.2):
كان هذا النموذج هو الأفضل في وصف المخططات الواضحة، حيث سجل 91.6 من 100 على مقياس جودة يسمى MQM. لقد كان نجماً خارقاً في رؤية ما هو موجود بالفعل. ولكن عندما قام الباحثون بتغبيش تسمية توضيحية بحيث أصبحت غير قابلة للقراءة، تصرف هذا النموذج كـ مختلق واثق. في 96% من الحالات التي لم يستطع فيها رؤية الإجابة، قام باختلاقها على أي حال! كان يقول مثلاً: "التسمية تقول 'خدمة العملاء'"، رغم أن هذه الكلمة لم تكن موجودة وكانت مغبشة بوضوح. لقد كان متلهفاً جداً لإعطاء إجابة لدرجة أنه نسي أن يكون صادقاً.
المحقق الصادق (Gemini 3.1 Pro):
كان هذا النموذج قريباً جداً من كونه جيداً في وصف المخططات الواضحة (سجل 90.2)، لكن سلوكه كان مختلفاً تماماً عندما تصبح الأمور صعبة. فعند مواجهة تسمية توضيحية مغبشة، اعترف بعدم اليقين بنسبة 71% من المرات. كان مستعداً لقول "لا أستطيع قراءة ذلك" بدلاً من التخمين. كما سجل أعلى درجة في المقاومة وهي 0.91، مما يعني أنه كان ممتازاً في تجاهل التسميات التوضيحية المزيفة والأسئلة الخاطئة. لم تخدعه الأكاذيب.
الآخرون:
عانى النماذج الأخرى في الاختبار، مثل Llama 4 ونماذج Qwen المختلفة، بشكل عام أكثر من غيرها. بعض النماذج، مثل Phi-4 Multimodal، كانت متلهفة جداً لإرضاء المستخدم لدرجة أنها اتبعت التسميات التوضيحية المزيفة في كل مرة تقريباً، حتى عندما أظهرت الصورة بوضوح شيئاً آخر.
لماذا يهم هذا الأمر
يظهر هذا البحث أنه لا يمكننا فقط النظر إلى مدى براعة الذكاء الاصطناعي في وصف صورة لنعرف ما إذا كان آمناً للاستخدام في الحياة الواقعية. إذا كنت تستخدم ذكاءً اصطناعياً للمساعدة في الأبحاث العلمية، فأنت لا تريد نموذجاً يختلق البيانات بثقة لمجرد أنه يريد إعطاءك إجابة.
يخلص المؤلفون إلى أن الدقة العالية في الاختبارات النظيفة لا تضمن سلوكاً موثوقاً. يمكن للنموذج أن يكون فناناً بارعاً في وصف لوحة واضحة، ولكنه محقق سيء عندما تكون اللوحة ملطخة أو عندما يحاول شخص ما خداعه. لكي يكون الذكاء الاصطناعي مفيداً حقاً في المجالات الجادة مثل العلوم، يحتاج إلى تعلم فن قول "لا أعرف" عندما يكون أعمى بالفعل. يوفر لنا هذا المعيار الجديد، SCIFIGBENCH، طريقة لاختبار تلك الأمانة، مما يضمن أن مساعدينا من الذكاء الاصطناعي ليسوا أذكياء فحسب، بل موثوقون أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.