Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations
تكشف هذه الدراسة أن نماذج الرؤية واللغة تظهر عدم استقرار تشخيصي وانحيازاً مفرطاً كبيراً تحت تأثير الاضطرابات البصرية والنصية في تحليل رنين الدماغ المغناطيسي، مما يثبت أن مقاييس الدقة القياسية تفشل في رصد إخفاقات الموثوقية الحرجة اللازمة للنشر السريري الآمن.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يكون محققاً. تعرض عليه كومة من الأدلة — صور، ملاحظات، وخرائط — وتطلب منه حل لغز ما. في عالم الذكاء الاصطناائي، تُسمى هذه الروبوتات "نماذج الرؤية واللغة" (VLMs). وهي برامج ذكية للغاية يمكنها "رؤية" الصور و"قراءة" النصوص، ثم دمج هاتين المهارتين للإجابة على الأسئلة أو اتخاذ القرارات. لفترة طويلة، كان العلماء يختبرون هذه الروبوتات عبر طرح أسئلة معيارية والتحقق مما إذا كانت تحصل على الإجابة الصحيحة. الأمر يشبه اختبار الاختيار من متعدد: إذا اختار الروبوت "أ"، وكانت "أ" هي الإجابة الصحيحة، فإنه يحصل على نجمة ذهبية.
لكن هنا تكمن الحيلة: الحصول على الإجابة الصحيحة في اختبار لا يعني دائماً أن الروبوت يفهم اللغز حقاً. أحياناً، قد يكون الروبوت مجرد مخمن بناءً على ترتيب الأدلة المقدمة له، أو قد يتم خداعه بكيفية صياغة السؤال. إذا قمت بخلط الصور أو تغيير ترتيب الكلمات في السؤال، فإن المحقق الذكي حقاً يجب أن يحل القضية بنفس الطريقة. إذا غير الروبوت رأيه لمجرد أنك نقلت صورة من أعلى الكومة إلى أسفلها، فهو ليس محققاً حقيقياً؛ بل هو مجرد باحث عن الأنماط. يسأل هذا البحث سؤالاً مهماً للغاية: هل محققو الذكاء الاصطناعي لدينا موثوقون حقاً، أم أنهم بارعون فقط في لعب لعبة "تخمين الإجابة الصحيحة" دون النظر فعلياً إلى الأدلة؟
خلطة الرنين المغناطيسي الكبرى
في هذه الدراسة، قرر فريق من الباحثين وضع أربعة من أكثر محققي الذكاء الاصطناعي تقدماً تحت الاختبار النهائي. لم يستخدموا اختباراً مدرسياً عادياً؛ بل قدموا لهم لغزاً طبياً من العالم الحقيقي: فحص صور الرنين المغناطيسي للدماغ للتمييز بين نوعين من أورام الدماغ، وهما الورم الأرومي الدبقي (GBM) والورام النقيلي الدماغي (MET). هذه حالات صعبة حتى على الأطباء البشر لأن الأورام يمكن أن تبدو متشابهة جداً.
وللتأكد من أن الذكاء الاصطناعي ينظر بالفعل إلى الدماغ وليس مجرد التخمين، استخدم الباحثون مجموعة بيانات خاصة حيث تم تأكيد "الحقيقة" بواسطة اختبار مخبري (الباثولوجيا النسيجية) بعد الجراحة. ثم لعبوا سلسلة من ألعاب "الخدع" على الذكاء الاصطناعي، عبر تغيير كيفية تقديم المعلومات دون تغيير الحقائق الطبية الفعلية.
الخدع البصرية: خلط الأوراق
أولاً، عبث الباحثون بترتيب شرائح الدماغ. تخيل فيلماً من صور الرنين المغناطوري، حيث تعرض كل لقطة شريحة مختلفة من الدماغ. عادة، تُعرض هذه الشرائح بالترتيب، من الأعلى إلى الأسفل.
- العكس: قاموا بتشغيل الفيلم بالعكس.
- الخلط: قاموا بخلط الشرائح عشوائياً، مثل خلط أوراق اللعب.
- النقل: أخذوا الشرائح الأكثر أهمية (التي تحتوي على الورم) ونقلوها إلى بداية القائمة تماماً أو نهايتها تماماً.
والنتيجة؟ أصيب المحققون الآليون بالارتباك. عندما تم عكس ترتيب الشرائح ببساطة، غيرت بعض النماذج تشخيصها في ما يصل إلى 48.9% من الحالات. وهذا يعني أنه في نصف الحالات تقريباً، قال الروبوت: "أوه، لقد غيرت رأيي، إنه الورم الآخر!" لمجرد أن الصور كانت بترتيب مختلف. والأسوأ من ذلك، عندما قاموا بخلط الشرائح عشوائياً، ارتفع الارتباك بشكل أكبر لدى بعض النماذج. يبدو الأمر كما لو أن المحقق نسي شكل مسرح الجريمة لمجرد أن الصور قُدمت إليه بترتيب مختلف.
الخدع النصية: تغيير السيناريو
بعد ذلك، أبقى الباحثون الصور كما هي تماماً ولكنهم غيروا الكلمات في التعليمات.
- التبديل: قاموا بتبديل أسماء الورمين في النص المطلوب. بدلاً من السؤال "هل هو GBM أم MET؟"، سألوا "هل هو MET أم GBM؟".
- إعادة الصياغة: أعادوا صياغة السؤال باستخدام كلمات مختلفة ولكن بنفس المعنى.
هنا أصبح الأمر مهزوزاً للغاية. أحد النماذج، وتحديداً النموذج المدرب طبياً، قلب تشخيصه في 67.8% من الحالات لمجرد تغير ترتيب الكلمات! الأمر يشبه طالباً حفظ نموذج الإجابات، لكنه ارتبك إذا كتب المعلم السؤال على السبورة بخط مختلف. بدا أن الذكاء الاصطناعي كان يستمع إلى النص أكثر من نظره إلى صور الدماغ.
اختبار "لا توجد أدلة": التخمين المفرط في الثقة
أخيراً، لعب الباحثون لعبة "الضبط السلبي". أخذوا صور الرنين المغناطيسي وقاموا بإزالة الشرائح التي تحتوي فعلياً على الورم جراحياً. تركوا الذكاء الاصطناعي مع الأجزاء السليمة فقط من الدماغ. المحقق الذكي والحذر يجب أن ينظر إلى هذا ويقول: "لا يمكنني التحديد؛ لا توجد أدلة هنا".
لكن الذكاء الاصطناعي لم يتوقف. بدلاً من ذلك، خمن تشخيصاً بكل ثقة على أي حال. في إحدى الحالات، أعطى نموذج ما إجابة قاطعة في 76.1% من الحالات حتى بعد إزالة شرائح الورم. يُسمى هذا "الإفراط في الالتزام التشخيصي". إنه يشبه محققاً ينظر إلى غرفة فارغة ويصر على أن: "اللص دخل بالتأكيد من النافذة!" رغم عدم وجود آثار أقدام، ولا زجاج مكسور، ولا نافذة من الأساس. كان الذكاء الاصطناعي متلهفاً جداً لإعطاء إجابة لدرجة أنه تجاهل حقيقة أن الأدلة مفقودة.
ماذا يعني هذا للمستقبل
الخلاصة الكبرى من هذا البحث هي أن الدرجات العالية في الاختبارات القياسية قد تكون مضللة. مجرد حصول الذكاء الاصطناعي على معدل دقة مرتفع في اختبار عادي لا يعني أنه جاهز ليكون مساعداً للطبيب. تظهر الدراسة أن هذه النماذج هشة بشكل مثير للدهشة؛ إذ يمكن خداعها بسهولة من خلال ترتيب الصور أو طريقة صياغة السؤال.
وجد الباحثون أنه حتى أكثر النماذج تقدماً ("الأحدث في مجالها") تواجه صعوبة في الحفاظ على الاتساق عندما يتغير أسلوب العرض. ويقترحون أنه قبل أن نثق في أنظمة الذكاء الاصطناعي هذه في رعاية المرضى الحقيقية، نحتاج إلى اختبارها ليس فقط على ما إذا كانت تحصل على الإجابة الصحيحة، بل على ما إذا كانت تظل هادئة ومتسقة عندما يصبح العالم من حولها فوضوياً قليلاً. وحتى نتمكن من إصلاح "نقاط العمى" هذه، فإن الاعتماد عليها في القرارات الطبية الحرجة قد يشبه تماماً الوثوق ببوصلة تدور بجنون كلما استدرت بجسدك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.