Unmasking Biases and Reliability Concerns in Convolutional Neural Networks Analysis of Cancer Pathology Images

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كشف التحيزات ومخاوف الموثوقية في تحليل الشبكات العصبية التلافيفية لصور أمراض السرطان".

1. بيان المشكلة

أصبحت الشبكات العصبية التلافيفية (CNNs) هي النهج المهيمن للتشخيص الآلي للسرطان في مجالات علم الأمراض والأشعة. ومع ذلك، فإن طبيعتها كـ "صندوق أسود" تجعل من الصعب التحقق مما إذا كانت تتعلم سمات ذات صلة سريرية (مثل الهياكل الخلوية، أو مورفولوجيا الورم) أم أنها تتعلم ارتباطات زائفة (مثل عيوب الخلفية، أو إعدادات الماسح الضوئي، أو التحيزات الخاصة بمجموعة البيانات).

تعتمد ممارسات التقييم الحالية بشكل كبير على المقاييس التجريبية (الدقة، ودرجة F1) باستخدام مجموعات بيانات معيارية. ويرى المؤلفون أن هذه المقاييس قد تكون مضللة إذا كانت النماذج تستغل إشارات غير سريرية. وتتمثل المشكلة الجوهرية في غياب التحقق الصارم لضمان أن دقة التصنيف العالية تعكس فهماً مرضياً حقيقياً بدلاً من "تعلم الاختصار" (الاعتماد على سمات سهلة التعلم وغير تشخيصية).

2. المنهجية

لاختبار مدى قوة ممارسات تقييم الشبكات العصبية التلافيفية القياسية، صمم المؤلفون تجربة "فرضية العدم". فإذا كان النموذج يتعلم بالفعل علم الأمراض، فيجب أن يفشل في تصنيف الصور التي لا تحتوي على أي معلومات ذات صلة سريرية.

• مجموعات البيانات: استخدمت الدراسة 13 مجموعة بيانات معيارية واسعة الاستخدام تغطي أنواعاً متنوعة من السرطان (الميلانوما، سرطان الثدي، سرطان القولون والمستقيم، سرطان الرئة) وأنماط تصوير مختلفة (الأشعة السينية، الأشعة المقطعية CT، الرنين المغناطيسي MRI، الموجات فوق الصوتية، تنظير الجلد، وعلم الأنسجة المرضية).
  • مجموعة MedMNIST+ : تشمل PathMNIST، وDermaMNIST، وBreastMNIST، وNoduleMNIST.
  • علم الأنسحة المرضية (Histopathology): تشمل BreakHis (تكبيرات مختلفة)، وIDC (سرطان القنوات الغازي).
  • تنظير الجلد (Dermoscopy): تشمل ISIC 2016–2019.
• التصميم التجريبي:
  • قص الصور (Image Cropping): من كل صورة أصلية، تم استخراج خمس قطع فرعية بحجم 20 × 20 بكسل تلقائياً من مواقع محددة: أعلى اليسار، أعلى اليمين، المنتصف، أسفل اليسار، وأسفل اليمين.
  • المبرر: تم اختيار هذه القطع الصغيرة من الأطراف أو الخلفية في الصور الأصلية، لضمان أنها لا تحتوي على أي محتوى ذي صلة طبية (على سبيل المثال: لا توجد أنسجة ورمية أو آفات).
  • فرضية العدم: يجب أن يكون أداء نموذج تم تدريبه على هذه القطع الخلفية عند مستوى الصدفة (50% في التصنيف الثنائي) لأن البيانات تفتقر إلى المعلومات التشخيصية.
• النماذج: تم اختبار أربعة بنى معيارية للشبكات العصبية التلافيفية وهي: ResNet50، وDenseNet121، وInception V3، وVGG16.
• بروتوكول التدريب:
  • تم استخدام التعلم بنقل الخبرة (Transfer learning) باستخدام أوزان ImageNet مسبقة التدريب كما هو متبع في الممارسات القياسية.
  • استخدام مُحسّن Adam القياسي، لمدة 5 حقبات (epochs)، وحجم دفعة (batch size) قدره 32.
  • كما أُجريت تجارب بدون تعلم نقل الخبرة ومع موازنة الفئات لعزل المتغيرات.

3. المساهمات الرئيسية

1. الكشف المنهجي عن التحيز: تقدم الورقة إطاراً منهجياً للكشف عن تحيز مجموعة البيانات عبر اختبار أداء النموذج على "مقاطع الصور غير المعلوماتية".
2. دليل على تعلم الاختصار: تثبت الورقة أن الدقة العالية في الاختبارات المعيارية لا تضمن أن النماذج تتعلم أمراض السرطان؛ بل قد تكون تتعلم عيوباً خاصة بمجموعة البيانات (مثل بروتوكولات الصبغ، أو وضعية الماسح الضوئي، أو أنسجة الخلفية).
3. تحليل حساسية البنية: تكشف الدراسة أن بنيات الشبكات العصبية التلافيفية المختلفة تظهر درجات متفاوتة من التأثر بهذه التحيزات.
4. نقد المراجع الحالية: تتحدى الورقة صلاحية مجموعات البيانات المرجعية الحالية (مثل MedMNIST وISIC) لتقييم الذكاء الاصطناوي الطبي، مشيرة إلى أنها قد تعطي نتائج متفائلة للغاية لا تعكس الواقع عند التطبيق السريري.

4. النتائج الرئيسية

كانت النتائج مذهلة ومتسقة عبر معظم مجموعات البيانات، حيث أظهرت أن الشبكات العصبية التلافيفية يمكنها تصنيف السرطان مقابل غير السرطان بدقة عالية حتى عند تغذيتها بضجيج الخلفية فقط.

• مجموعات بيانات MedMNIST+:
  • DermaMNIST: حققت النماذج دقة تقارب 93.42% في الصور المقتصة من الزوايا (خلفية بلون الجلد)، وهو ما يقارب دقة 95% في الصور الأصلية.
  • BreastMNIST: حققت النماذج دقة تصل إلى 75.64% في قطع الخلفية (وهي أعلى بكثير من نسبة الصدفة البالغة 50%).
  • PathMNIST: حققت النماذج دقة تترا- مابين 82-90% في القطع غير التشخيصية.
• BreakHis (علم الأنسحة المرضية):
  • عبر جميع مستويات التكبير (من 40x إلى 400x)، حققت النماذج دقة تتراوح بين 70-88% في قطع الخلفية بحجم 20×20 بكسل.
  • أظهرت بنية VGG16 تحيزاً عالياً بشكل خاص، حيث حققت حوالي 72% دقة في قطع الخلفية مقارلة بـ 95% في الصور الأصلية.
• مجموعات بيانات ISIC (تنظير الجلد):
  • ISIC 2016–2018: حققت النماذج باستمرار دقة تتراوح بين 60-80% في قطع الخلفية. وفي بعض الحالات (مثل VGG16 على ISIC-2017)، كان الأداء على قطع الخلفية أعلى قليلاً من الأداء على الصور الأصلية.
  • ISIC 2019: لوحظ انخفاض كبير في الأداء على قطع الخلفية (يقترب من 50%)، مما يشير إلى أن مجموعات البيانات الأحدث قد قللت من التحيز أو أن التحيز مرتبط بمجموعات بيانات محددة.
• مجموعة بيانات IDC:
  • حققت النماذج دقة تتجاوز 85% في قطع الخلفية، مما يؤكد وجود التحيز في مجموعات بيانات سرطان الثدي النسيجي.
• تعلم نقل الخبرة (Transfer Learning):
  • أظهرت التجارب أن التحيز موجود بغض النظر عن استخدام تعلم نقل الخبرة، مما يشير إلى أن التحيز مرتبط بـ عملية الحصول على البيانات وإعدادها وليس بالأوزان مسبقة التدريب.

5. الأهمية والآثار المترتبة

• أزمة الموثوقية: تشير النتائج إلى أن العديد من النتائج المنشورة كـ "أفضل ما توصل إليه العلم" (state-of-the-art) في مجال الذكاء الاصطناوي الطبي قد تكون مبالغاً فيها. فقد يبدو النموذج وكأنه يشخص السرطان بدقة لمجرد أنه يتعرف على المستشفى الذي أُخذت منه الصورة أو الماسح الضوئي المحدد المستخدم، بدلاً من تشخيص المرض نفسه.
• المخاطر السريرية: إن نشر مثل هذه النماذ في بيئات العالم الحقيقي حيث تختلف بروتوكولات الحصول على الصور قد يؤدي إلى حالات فشل تشخيصي كارثية.
• التحول المنهجي: تدعو الورقة إلى تحول جذري في كيفية تقييم الذكاء الاصطناوي الطبي. فمقاييس الدقة القياسية ليست كافية. يجب أن تتضمن التقييمات المستقبلية:
  • الاختبار العدائي (Adversarial testing) (مثل الاختبار على قصاصات الخلفية).
  • الذكاء الاصطناوي القابل للتفسير (XAI) لتصور السمات التي يستخدمها النموذج فعلياً.
  • تنقية صارمة لمجموعات البيانات لإزالة العيوب غير السريرية.
• التوجهات المستقبلية: يقترح المؤلفون أن الأبحاث المستقبلية يجب أن تتجاوز المراجع العامة إلى جمع بيانات مضبوطة حيث يتم توثيق المتغيرات السريرية (الإضاءة، درجة الحرارة، الصبغ) للقضاء على التحيز بشكل منهجي.

في الختام، تعمل هذه الورقة كتحذير شديد اللهجة لمجتمع الذكاء الاصطناوي الطبي: الدقة العالية في مجموعات البيانات المرجعية ليست مؤشراً على الصلاحية السريرية. فبدون اختبار صارم للتحيز، قد تقوم الشبكات العصبية التلافيفية بـ "كشف" العيوب بدلاً من كشف السرطان.