Comparing Four Explanation Methods for Melanoma Classification: Fidelity, Utility and Trust
تقيم هذه الدراسة أربع طرق للتفسير البعدي لتصنيف الميلانوما عبر محاور الأمانة، والمنفعة، والثقة، كاشفةً عن اختلافات جوهرية في تصنيفاتهم، ومستنتجةً أن التقييم متعدد المحاور مع بوابة الإخلاص أمر ضروري لاختيار تقنية التفسير الأكثر ملاءمة.
المؤلفون الأصليون:Okoi Michael Obeten, Christiana Uchenna Ezeanya
في عالم الكشف عن سرطان الجلد عالي المخاطر، وصلت الذكاء الاصطناعي إلى نقطة يمكن فيها لبرامج الكمبيوتر أن تكتشف الميلانوما (سرطان الجلد) بدقة تضاهي دقة طبيب الجلدية البشري. هذه البرامج، المعروفة بنماذج التعلم العميق، تحلل آلاف الصور الدرموسكوبية — وهي صور مقربة للآفات الجلدية — للوصول إلى تشخيص. ومع ذلك، تعمل هذه الأنظمة كـ "صناديق سوداء"؛ فهي تقدم إجابة، مثل "هذا هو السرطان"، لكنها لا تقدم أي تفسير لسبب وصولها إلى هذا الاستنتاج. ولكي يثق الأطباء في هذه الأدوات ويستخدموها، يحتاجون إلى رؤية المنطق وراء القرار. ولتجسير هذه الفجوة، يستخدم الباحثون "طرق التفسير". وهذه تقنيات تولد خريطة حرارية بصرية فوق الصورة الأصلية، تسلط الضوء على المناطق المحددة التي يعتقد الكمبيوتر أنها الأكثر أهمية. فإذا توهجت الخريطة الحرارية بشدة فوق الشامة المشبوهة وتلاشت في أماكن أخرى، يبدو التفسير منطقياً. لكن الخريطة التي تبدو صحيحة للعين البشرية ليست بالضرورة خريطة تعكس كيف يفكر الكمبيوتر بالفعل.
وضع فريق من الباحثين هدفاً لاختبار ما إذا كان الجمال البصري لهذه الخرائط الحرارية يتوافق حقاً مع موثوقيتها التقنية وفائدتها للطبيب. وقد ركزوا على أربع طرق شائعة تُستخدم لتوليد هذه التفسيرات: Grad-CAM، وIntegrated Gradients، وLIME، وocclusion sensitivity. ولضمان اختبار عادل، قاموا بتدريب نموذج حاسوبي واحد عالي الأداء للتمييز بين بقع الجلد الحميدة والميلانوما باستخدام مجموعة بيانات عامة ضخمة تضم أكثر من عشرة آلاف صورة. وبمجرد أن أصبح النموذج جاهزاً، طبقوا طرق التفسير الأربع على نفس مجموعة الصور الاختبارية. ثم قام الباحثون بتقييم كل طريقة ليس فقط بناءً على مدى جمال الخريطة، بل بناءً على ثلاثة معايير متميزة: الدقة التقنية (هل تُظهر الخريطة فعلياً ما يستخدمه النموذج؟)، والمنفعة السريرية (هل تشير الخريطة إلى المكان الصحيح على الجلد؟)، ومعايرة الثقة (هل تبدو الخريطة أفضل عندما يكون النموذج مصيباً مقارنة بكونه مخطئاً؟).
كشفت النتائج عن انفصال مفاجئ. وجد الباحثون أن الطرق الأربع لم تتفق مع بعضها البعض، وأن الطريقة التي سجلت درجة عالية في مقياس واحد غالباً ما كان أداؤها ضعيفاً في مقياس آخر. على سبيل المثال، كانت طريقتان، وهما LIME وocclusion sensitivity، ممتازتين في تحديد الموقع الدقيق للآفة على الجلد. ومع ذلك، فإن طريقة ثالثة، وهي Integrated Gradients، والتي أنتجت خرائط بدت جيدة جداً في الاختبارات القياسية، فشلت في اختبار واقعي حاسم. فعندما قام الباحثون بخلط الأوزان الداخلية لنموذج الكمبيوتر — وهو ما يعني تحويله إلى مجرد مُخمن عشوائي — ظلت الخرائط التي تنتجها طريقة Integrated Gradients متطابقة تقريباً مع الخرائط الأصلية. أثبت هذا أن الطريقة لم تكن تعكس في الواقع المعرفة التي تعلمها النموذج، بل كانت تتفاعل مع ميزات الصورة نفسها، مثل حواف الآفة. في المقابل، غيرت الطرق الثلاث الأخرى خرائطها فوراً عند خلط النموذج، مما أثبت أنها تستمع حقاً لمنطق الكمبيوتر.
وعندما نظر الفريق في مدى فائدة هذه الخرائط للطبيب، تغيرت التصنيفات مرة أخرى. وضعت طريقة LIME أكبر قدر من الاهتمام مباشرة على الآفة، لكنها كانت بطيئة للغاية في التوليد، حيث استغرقت أكثر من ست ثوانٍ للصورة الواحدة. أما طريقة occlusion sensitivity فكانت قريبة جداً من الدقة في تحديد موقع الآفة، لكنها كانت أسرع بنحو ثلاثين مرة، مما يجعلها خياراً أكثر عملية في العيادات المزدحمة. ولعل الأهم من ذلك هو أن الدراسة أظهرت أن الخريطة الحرارية التي تبدو واثقة لا تعني بالضرورة أن التشخيص صحيح. فقد اكتشف الباحثون أنه عندما يرتكب الكمبيوتر خطأً، فإنه غالباً ما يفعل ذلك بثقة عالية، منتجاً خريطة حرارية حادة ومقنعة للغاية. وهذا يعني أن الطبيب قد يُضلل بواسطة خريطة جميلة توحي باليقين تجاه إجابة خاطئة. وتخلص الدراسة إلى أن الاعتماد على فحص بصري واحد أمر خطير. وبدلاً من ذلك، يجب فحص أنظمة الذكاء الاصطناك الطبية باستخدام اختبارات متعددة تتحقق من الصدق والدقة والسرعة، لضمان أن التفسيرات التي نثق بها هي في الواقع تخبرنا بالحقيقة حول كيفية رؤية الآلة للعالم.
ملخص تقني: مقارنة أربع طرق تفسير لتصنيف الميلانوما
بيان المشكلة تُستخدم طرق التفسير اللاحقة (post-hoc)، مثل خرائط التنبيه (saliency maps)، على نطاق واسع لتفسير مصنفات التعلم العميق لتشخيص آفات الجلد. ومع ذلك، غالباً ما يتم تقييم هذه الطرق بناءً على معيار واحد، وهو عادةً المعقولية البصرية (ما إذا كانت الخريطة الحرارية "تبدو" وكأنها تسلط الضുള്ള على الآفة). يرى المؤلفون أن هذا النهج غير كافٍ لأن المعقولية البصرية لا تضمن أن التفسير يعكس عملية اتخاذ القرار الفعلية للنموذج (الأمانة/Faithfulness)، كما أنها لا تضمن المنفعة السريرية أو معايرة الثقة المناسبة. هناك نقص في الدراسات المقارنة التي تقيم طرق التفسير في آن واحد عبر ثلاثة محاور متميزة: الأمانة التقنية، والمنفعة السريرية، ومعايرة الثقة، لا سيما ضمن إطار عمل موحد وقابل لإعادة الإنتاج.
المنهجية تستخدم الدراسة مسار تقييم موحد باستخدام مصنف ثنائي للميلانوما تم تدريبه على مجموعة بيانات HAM10000 (10,015 صورة تنظير جلدي).
النموذج والبيانات: تم ضبط بنية EfficientNet-B0 بدقة على تقسيم على مستوى الآفة (7,470 آفة متميزة) لمنع تسرب البيانات. حقق النموذج درجة AUC-ROC اختبارية بلغت 0.9295.
طرق التفسير: تم تطبيق أربع طرق تمثيلية لاحقة على عينة طبقية مكونة من 800 صورة اختبار:
Grad-CAM: طريقة تعتمد على التدرج (gradient-based).
Integrated Gradients (IG): طريقة تعتمد على التدرج باستخدام خط أساس لصورة متوسطة.
LIME: طريقة تعتمد على الاضطراب (perturbation-based) باستخدام السوبر بيكسل (superpixels).
Occlusion Sensitivity: طريقة تعتمد على الاضطراب باستخدام نوافذ منزلقة.
محاور التقييم:
الأمانة التقنية (Technical Fidelity): تُقاس عبر تقاطع الاتحاد (IoU) تحت قواعد ثنائية متعددة (عتبات ثابتة وقواعد قائمة على الكتلة)، ودقة لعبة التوجيه (Pointing Game)، وDAUC/IAUC (المساحة تحت المنحنى للحذف والإدراج)، وفحص التحقق من الصحة عبر عشوائية المعلمات المتتالية (Adebayo et al.).
وكيل المنفعة السريرية (Clinical Utility Proxy): يُقاس بمعدل إصابة الآفة (كتلة داخل الآفة)، والمسافة من المركز (المسافة من مركز الآفة)، وتخصيص العيوب (التركيز على الشعر، أو الحبر، أو المساطر).
معايرة الثقة (Trust Calibration): تُقاس عبر "فجوة الأمانة" بين الصور المصنفة بشكل صحيح والصور المصنفة بشكل خاطئ. قام المؤلفون بالتحكم في المتغيرات المربكة من خلال تقسيم التحليل حسب الفئة المتوقعة (الإيجابيات الحقيقية مقابل الإيجابيات الكاذبة) والتحقق من الارتباطات مع درجات ثقة النموذج.
النتائج الرئيسية وجدت الدراسة أن محاور التقييم الثلاثة أنتجت تصنيفات مختلفة بشكل كبير للطرق، مما أدى غالباً إلى استنتاجات متناقضة إذا تم النظر في محور واحد فقط.
الأمانة وفحص الصحة:
تفوقت طريقتَا LIME و Occlusion في مقاييس التحديد الموضعي (IoU ولعبة التوجيه) وكانتا متماثلتين إحصائياً في IoU (بقيمة p=0.465).
جاءت Integrated Gradients في المرتبة الثانية في لعبة التوجيه والمسافة من المركز، لكنها فشلت في فحص الصحة. فقد احتفظت بارتباط رتب سبيرمان قدره ~0.33 مع خرائطها الأصلية حتى بعد سبع مراحل عشوائية من أصل تسع، مما يشير إلى أنها تعتمد بشدة على بنية المدخلات (مثل الحواف) بدلاً من أوزان النموذج المدرب.
أدت Grad-CAM أداءً ضعيفاً في مقاييس التحديد الموضعي لكنها اجتازت فحص الصحة.
المنفعة:
حققت LIME أعلى معدل إصابة للآفة (0.4465)، مما يعني وضع أكبر كتلة تفسير داخل الآفة.
سجلت Occlusion أقل مسافة من المركز (الأقرب لمركز الآفة) ولكن بمعدل إصابة أقل، مما يشير إلى خريطة منتشرة ولكنها موجهة بدقة.
سجلت Grad-CAM أدنى معدل إصابة وأعلى مسافة من المركز، ويُعزى ذلك إلى شبكتها الميزية الخشنة (7×7).
معايرة الثقة:
كانت درجات الثقة غير المصنفة سالبة لجميع الطرق، مما يشير إلى أن التفسيرات كانت "أكثر أمانة" في التنبؤات الخاطئة. تم تحديد هذا كمتغير مربك: حيث كانت الأخطاء تتمثل في إيجابيات كاذبة (تنبؤات عالية الثقة)، وارتبطت مقاييس الأمانة بقوة مع ثقة النموذج (ρ>0.90 لـ IAUC).
عند التصنيف حسب الفئة المتوقعة، أظهرت Grad-CAM فقط فرقاً إيجابياً معنوياً في الأمانة بين الإيجابيات الحقيقية والإيجابيات الكاذبة. ومع ذلك، يشير المؤلفون إلى أن هذا قد لا يزال يعكس تأثيرات الثقة جزئياً.
الاتفاق والتكلفة:
كان الاتفاق الزوجي بين الطرق منخفضاً (أقصى ارتباط رتب 0.22).
كانت LIME مكلفة حوسبياً (6.55 ثانية/صورة)، بينما كانت Grad-CAM الأسرع (0.021 ثانية/صورة). قدمت Occlusion توازناً قوياً بين الجودة والسرعة (0.24 ثانية/صورة).
المساهمات الرئيسية
بروتوكول متعدد المحاور: بروتوكول حسابي كامل يقيم التفسيرات عبر الأمانة، والمنفعة، والثقة في آن واحد، مما يثبت أن التقييم أحادي المحور غير كافٍ.
دليل على التباين: إثبات أن المحاور تختلف بما يكفي لتغيير اختيار الطريقة؛ وتحديداً، الطريقة (Integrated Gradients) التي تؤدي جيداً في التحديد الموضعي تفشل في اختبار أمانة أساسي.
هشاشة المقاييس: إثبات أن عتبات التثنيت (binarisation) الثابتة يمكن أن تعكس التصنيفات (على سبيل المثال، ظهرت Integrated Gradients وكأنها تفشل في التحديد الموضعي عند τ=0.5 لكنها استعادت الأداء تحت قاعدة قائمة على الكتلة).
تحديد متغير الثقة المربك: دليل على أن مقاييس معايرة الثقة غير المصنفة تتبع ثقة النموذج بدلاً من الصحة ما لم يتم التصنيف حسب الفئة المتوقعة.
إرشادات عملية: إطار عمل توصية مرجح يأخذ في الاعتبار التكلفة الحوسبية جنباً إلى جنب مع الأداء.
الأهمية والادعاءات تدعي الورقة أن التباين بين محاور التقييم جوهري لدرجة أنه قد يغير الطريقة التي يختارها الممارس. وتجادل بأن التقييم متعدد المحاور مع بوابة فحص الأمانة يجب أن يصبح ممارسة قياسية قبل نشر التفسيرات في البيئات السريرية.
على وجه التحديد، يخلص المؤلفون إلى:
لا يُنصح باستخدام Integrated Gradients (مع خط أساس لصورة متوسطة) لهذا النوع من البنية بسبب فشلها في فحص الصحة، رغم درجات التحديد الموضعي الجيدة.
تبرز Occlusion كأفضل خيار افتراضي عند الموازنة بين الجودة والتكلفة الحوسبية.
تُفضل LIME عندما تكون الجودة هي الأولوية على زمن الاستجابة.
Grad-CAM مناسبة عندما تكون سرعة الاستجابة حرجة ويكون التحديد الموضعي الخشن مقبولاً.
معايرة الثقة: وضوح الخريطة الحرارية يشير إلى ثقة النموذج، وليس بالضرورة إلى صحته. الاعتماد على جودة الخريطة كوكيل للصحة يمكن أن يؤدي إلى انحياز الأتمتة، خاصة عندما تكون الأخطاء ذات ثقة عالية (إيجابيات كاذبة).
تؤكد الدراسة أنه لا توجد طريقة واحدة تصدرت في جميع المحاور الثلاثة، وأن الممارسات الحالية التي تعتمد على المعقولية البصرية أو المقاييس الفردية تخاطر باختيار طرق قد تكون غير أمينة للنموذج أو مضللة للأطباء.