Polish Medical Visual Question Answering: Vision-Language Models Underutilize Visual Evidence
تقدم هذه الورقة معيارًا بولنديًا لأسئلة الإجابة البصرية الطبية المستمدة من امتحانات شهادات التخصص، وتكشف أن نماذج الرؤية واللغة الحالية لا تستغل الأدلة البصرية بشكل كافٍ، حيث تعتمد غالبًا على الإشارات النصية وخيارات الإجابة أكثر من اعتمادها على الصور الفعلية لحل المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون طبيبًا. لن تكتفي بمجرد إعطائه مجموعة من الكتب المدرسية؛ بل ستحتاج أيضًا إلى إطلاعه على صور الأشعة السينية، وخطوط جهاز مراقبة القلب المتعرجة، وصور الطفح الجلدي. هذا هو عالم نماذج الرؤية واللغة (VLMs). فكر في هذه النماذج كطلاب أذكياء للغاية يمكنهم قراءة كتاب طبي والنظر إلى صورة لعظمة مكسورة في الوقت ذات نفسه. من المفترض أن تجمع هذه النماذج بين ما تراه وما تعرفه للإجابة على الأسئلة الصعبة. ولكن إليك القلق الكبير: ماذا لو كان الروبوت مجرد "غشاش"؟ ماذا لو تجاهل الصورة تمامًا وخمن الإجابة بمجرد قراءة خيارات الاختيار من متعدد أو الوصف النصي، مثل طالب حفظ إجابات الاختبار دون دراسة المادة فعليًا؟ تغوص هذه الورقة البحثية في هذا السؤال تحديدًا، متسائلة عما إذا كانت أطباء الذكاء الاصطناعي لدينا ينظرون حقًا إلى الأدلة أم أنهم يكتفون بمسح القرائن بصريًا فقط.
قرر الباحثون وراء هذه الدراسة وضع الذكاء الاصطناعي الطبي البولندي تحت الاختبار النهائي. فقد صمموا امتحانًا خاصًا باستخدام أسئلة حقيقية من امتحان البورد البولندي للحصول على الشهادات، وهو الاختبار الصعب الذي يجب أن يجتازه الأطباء وأطباء الأسنان الحقيقيون ليصبحوا متخصصين. لقد أخذوا 286 من هذه الأسئلة التي تتضمن صورًا — مثل الأشعة المقطعية، ومخططات موجات القلب، والصور السريرية — وسألوا نماذج ذكاء اصطناعي مختلفة لحلها. كما أنشأوا مجموعة ضابطة من الأسئلة النصية فقط ليروا كيف سيكون أداء النماذج بدون أي صور على الإطلاق.
إليك ما وجدوه، وهي نتيجة تحمل تحولًا في الحبكة. تمكن أفضل نموذج ذكاء اصطناعي من الإجابة بشكل صحيح على حوالي 79.0% من الأسئلة في الاختبار الكامل القائم على الصور. يبدو هذا مثيرًا للإعجاب، ولكن عندما قارنوه بالأطباء البشر الذين خاضوا نفس الامتحان، سجل البشر حوالي 70.14%. لذا، فإن نموذجًا تجاريًا محددًا (GPT-5.6) تفوق بالفعل على البشر، لكن كل نموذج آخر اختبروه تقريبًا كان أداؤه أسوأ من أداء الطبيب البشري.
لكن السحر الحقيقي حدث عندما بدأ الباحثون في لعب لعبة "الغميضة" بالمعلومات. لقد اختبروا النماذج في سيناريوهات مختلفة:
- الخيارات فقط: أعطوا الذكاء الاصطناعي الخيارات الخمسة الممكنة (أ، ب، ج، د، هـ) دون السؤال أو الصورة. ومن المثير للدهشة أن النماذج لا تزال تخمن بشكل صحيح أكثر من احتمالية العشوائية (التي هي 20%).
- النص فقط: أعطوهم السؤال والخيارات ولكن أخفوا الصورة.
- الصورة فقط: أعطوهم الصورة والخيبات ولكن أخفوا نص السؤال.
أظهرت النتائج أن النماذج تعطي الأولوية للنص على الصور عند معالجة المعلومات. فعندما كان عليهم الاختيار بين قراءة النص أو النظر إلى الصورة، مالوا بشدة نحو النص. في الواقع، كان أداء النماذج أفضل عندما كانت الصورة مفقودة (ولكن النص موجود) مما كان عليه عندما كان النص مفقودًا (ولكن الصورة موجودة). وهذا يشير إلى أنه بالنسبة لهذه الأسئلة الطبية المحددة، يعتمد الذكاء الاصطناعي على الكلمات أكثر من الدليل البصري.
كما قاموا بتصنيف الأسئلة حسب مدى أهمية الصورة. كانت بعض الأسئلة تحتوي على صور للزينة فقط (مثل مخطط يكرر ما يقوله النص)، بينما كانت أخرى "مهيمنة بالصورة"، مما يعني أنه يجب عليك حتمًا النظر إلى الصورة لحل السؤال. واجهت النماذج أكبر صعوبة في الأسئلة المهيمنة بالصورة. حتى عندما كان لديهم الصورة الكاملة والنص الكامل، حصلوا على نتائج أقل في تلك الأسئلة مقارنة بالأسئلة التي يقوم فيها النص بكل العمل الشاق.
يشير المؤلفون إلى أن هذا يحدث لأن النماذج تعلمت رصد الأنماط في خيارات الإجابة أو الأوصاف النصية التي تعمل كاختصارات، مما يسمح لها بالتخمين بشكل صحيح دون "رؤية" المشكلة الطبية حقًا. إنه يشبه الطالب الذي يلاحظ أن الإجابة الأطول هي عادة الإجابة الصحيحة، فيقوم باختيار الخيار الأطول دون قراءة السؤال.
في النهاية، لا تقول هذه الورقة إن الذكاء الاصطناعي عديم الفائدة في الطب، لكنها تطلق إنذارًا خطيرًا. فهي تشير إلى أنه عندما تحقق هذه النماذج درجات عالية في الامتحانات الطبية، فقد لا تكون تثبت فهمها للأدلة البصرية كما نأمل. قد تكون مجرد بارعة جدًا في قراءة التفاصيل الدقيقة. يحذر الباحثون من أنه في العالم الحقيقي، حيث يحتاج الطبيب إلى رؤية ورم فعلي في الأشعة أو طفح جلدي على الجلد، فإن الاعتماد على ذكاء اصطناعي يتجاهل الصورة قد يكون خطيرًا. وتخلص الدراسة إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإننا بحاجة إلى التأكد من أنه ينظر حقًا إلى الأدلة، وليس مجرد التخمين بناءً على القرائن الموجودة في النص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.