Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology

ملخص تقني: هل النماذج اللغوية الكبيرة متعددة الوسائط جاهزة لطب الجلد السريري؟ تقييم من الواقع العملي

بيان المشكلة
بينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) أداءً واعداً في الاختبارات المرجعية الجلدية العامة، لا يزال هناك شك جوهري بشأن قدرتها على التعميم في سير العمل السريري الواقعي. تعتمد التقييمات الحالية بشكل أساسي على صور منتقاة لآفة واحدة (غالباً ما تكون صوراً تنظيرية جلدية) تم التقاطها في ظروف معيارية، وهي مرتبطة بمهام التصنيف القائمة على الاختيار من متعدد أو الفئات. في المقابل، تتضمن الاستشارات الجلدية في العالم الحقيقي مدخلات متباينة: صور سريرية تم التقاطها بإضاءة وتكوين صور متغيرين (غالباً بدون استخدام المنظار الجلدي)، مقترنة بملاحظات استشارية موجزة، قد تكون ناقصة أو مضللة من الأطباء المحولين. تعالج هذه الدراسة فجوة "من المختبر إلى السرير"، متسائلة عما إذا كانت النماذج الحالية قادرة على توليد تشخيصات تفريقية مفتوحة النهايات وإجراء فرز قائم على الشدة تحت هذه الظروف الواقعية وغير المنتقاة.

المنهجية
قام المؤلفون بتقييم خمسة نماذج لغوية كبيرة متعددة الوسائط—أربعة من النماذج ذات الأوزان المفتوحة (InternVL-Chat v1.5، وLLaVA-Med v1.5، وSkinGPT-4، وMedGemma-4B-Instruct) ونموذج تجاري واحد (GPT-4.1)—في بيئتين تقييميتين متميزتين:

1. الاختبارات المرجعية العامة: ثلاثة مجموعات بيانات قياسية (DermNet، وFitzpatrick17k، وSCIN) تضم حوالي 46,500 صورة.
2. مجموعة الواقع العملي: مجموعة بيانات استشارية جلدية استرجاعية، متعددة المراكز، قائمة على المستشفيات، تضم 5,811 حالة و46,405 صورة سريرية، جُمعت بين عامي 2014 و2023. تضمنت هذه المجموعة صوراً سريرية مقترنة بملاحظات استشارية من الأطباء المحولين. ومن الجدير بالذكر أن هذه المجموعة الداخلية كانت غنية بالحالات الشديدة (44.0% مقارنة بنحو 19% في مجموعات البيانات العامة).

تم تقييم النماذج بناءً على مهمتين ذات صلتين سريرياً:

• التشخيص التفريقي المفتوح: توليد قائمة بأفضل 3 تشخيصات محتملة.
• الفرز القائم على الشدة: تحديد الحالات التي تتطلب تقييماً عاجلاً.

تم قياس الأداء باستخدام:

• المقاييس الآلية: مقياس BERTScore للتشابه الدلالي، ومسار عمل "النموذج اللغوي كحكم" (LLM-as-a-judge) للتحقق مما إذا كان التشخيص الصحيح قد ظهر في توقعات أفضل 3 نتائج ولتحديد درجة الشدة.
• التقييم البشري: تمت مراجعة مجموعة فرعية من المخرجات من قبل ثلاثة أطباء جلد متخصصين أو مؤهلين للتخصص لتقييم مدى التوافق مع القصد السريري، والدقة الواقعية، وخصوصية وصف السمات البصرية.

قام المؤلفون بتغيير المدخلات بشكل منهجي لاختبار المتانة: صورة فقط مقابل صورة بالإضافة إلى السياق السريري، ووجود سياق "موجه" (حيث يقترح الطبيب المحول تشخيصاً معيناً) مقابل سياق غير موجه.

النتائج الرئيسية

1. فجوة كبيرة بين المختبر والسرير: انخفض الأداء التشخيصي بشكل كبير عند انتقال النماذج من الاختبارات المرجعية العامة إلى مجموعة الاستشارات الواقعية. في مجموعات البيانات العامة، حقق أفضل نموذج ذو أوزان مفتوحة (MedGemma-4B) دقة في أفضل 3 نتائج بلغت 26.55%، بينما وصل GPT-4.1 إلى 42.25%. وفي الإعداد الواقعي باستخدام الصور فقط، انخفضت هذه الأرقام إلى 13.35% و24.65% على التوالي.
2. الاعتماد على السياق وهشاشته: أدى إدراج السياق السريري (الملاحظات المحولة) إلى تحسين الدقة عبر جميع النماذج (على سبيل المثال، ارتفع GPT-4.1 إلى دقة 38.93% في أفضل 3 نتائج). ومع ذلك، أدى هذا التكامل إلى ضعف شديد؛ حيث كانت النماذج حساسة للغاية للسياق المضلل أو غير المكتمل؛ ففي السياقات غير الموجهة، أدى إضافة الملاحظات إلى تحسين الأداء لبعض النماذج، لكنه أدى إلى تدهوره لنماذج أخرى (بمعدلات تدهور تصل إلى 84.2% لنموذج SkinGPT-4). وكثيراً ما انجرفت النماذج نحو التمسك المفرط بالاقتراحات الخاطئة للأطباء بدلاً من تصحيحها بناءً على الأدلة البصرية.
3. الارتكاز البصري كعائق رئيسي: كشفت مراجعة أطباء الجلد الخبراء أن الأخطاء التشخيصية لم تكن ناتجة أساساً عن قصور في الاستنتاج الطبي اللاحق أو المعرفة العامة. بدلاً من ذلك، كان العامل المميز الأساسي بين الإجابات الصحيحة والخاطئة هو الخصوصية البصرية. فقد وصفت الإجابات الصحيحة باستمرار سمات مورفولوجية دقيقة وذات صلة بالتشخيص، بينما قدمت الإجابات الخاطئة، رغم لغتها الواقعية، أوصافاً عامة.
4. أداء الفرز: بينما ظل التشخيص الدقيق تحدياً، أظهرت النماذج حساسية متوسطة (تجاوزت 60% لبعض النماذج مع وجود السياق) في تحديد الحالات الشديدة، مما يشير إلى إمكانية الاستخدام كأداة مساعدة في الفرز، وإن كانت الموثوقية للنشر المستقل لا تزال غير كافية.

الآثار والادعاءات
يجادل العمل بأن التقييمات المرجعية الحالية تبالغ في تقدير النضج السريري للنماذج اللغوية الكبيرة متعددة الوسائط في طب الجلد. ويدعي المؤلفون أن العائق الرئيسي أمام النشر الآمن ليس قدرات الاستنتاج لدى النماذج، بل هو:

• تكامل السياق الهش: تفتقر النماذج إلى المتانة تجاه طبيعة الملاحظات السريرية الواقعية التي قد تكون مشوشة، أو ناقصة، أو مضللة.
• ضعف الارتكاز البصري: تفشل النماذج في استخراج وترتيب السمات البصرية الجلدية المحددة تحت ظروف التصوير الواقعية (الإضاءة المتغيرة، تعدد الآفات، والمشتتات في الخلفية).

تخلص الدراسة إلى أن التطورات المستقبلية في النماذج اللغوية الكبيرة متعددة الوسائط لطب الجلد يجب أن تعطي الأولوية للتقييم الواقعي القائم على سير العمل، والمتانة ضد السياق المضلل، وتعزيز التعلم الخاص بالتمثيلات البصرية الجلدية، بدلاً من التركيز حصرياً على تحسين قدرات الاستنتاج. ويؤكد المؤلفون أن النماذج الحالية ليست جاهزة للاستخدام التشخيصي المستقل في طب الجلد الاستشاري، وأن الإشراف البشري يظل لا غنى عنه لعملية الفرز نظراً لحساسية السياق.