Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

ملخص تقني: البحث عن تعزيزات قوية لتحسين التعميم خارج النطاق في تصنيف سرطان الجلد عبر منظار الجلد

بيان المشكلة
غالبًا ما تحقق نماذج التعلم العميق لتصنيف آفات الجلد عبر منظار الجلد دقة عالية في مجموعات الاختبار الداخلية، لكنها تعاني من تدهور كبير في الأداء عند تطبيقها على بيانات من مصادر جديدة (خارج النطاق، أو OOD). ينشأ هذا "التحول في النطاق" نتيجة للاختلافات في أجهزة التصوير، والإضاءة، ومعالجة الألوان، والعيوب الناتجة عن الالتقاط عبر العيادات المختلفة. وبينما درست الأبحاث السابقة اختيار البنى الهيكلية والتحقق الداخلي بشكل مكثف، إلا أن هناك نقصًا في التحليل المنهجي حول فئات محددة من تعزيزات البيانات التي تساهم بفعالية في تحسين المتانة تجاه هذه التحولات على مستوى المصدر. علاوة على ذلك، فإن دراسات التعزيز الحالية غالبًا ما تعمل على تحسين الأداء داخل النطاق، وتفشل في معالجة التحدي المحدد المتمثل في نقل النماذج إلى بيئات استحواذ جديدة تمامًا.

المنهجية
تستخدم الدراسة نهجًا متمحورًا حول البيانات لتحسين التعميم خارج النطاق (OOD) لمصنف ثنائي (خبيث مقابل غير خبيث).

• مجموعات البيانات: يستخدم التدريب والتقييم داخل النطاق مجموعة متعددة المصادر من أرشيف ISIC (BCN20000، Derm12345، HIBA، BALD، MILK10k، ISIC 2016–2020) وDerm7pt. ولضمان تقييم صارم خارج النطاق، تم استبعاد مجموعات البيانات HAM10000 وISIC 2019–2020 تمامًا كمجموعة اختبار منفصلة المصدر. كما استُخدمت مجموعة سريرية مغلقة ومستقلة (Melanoscope) حصريًا للتحقق الخارجي النهائي دون التأثير على اختيار النموذج.
• بنية النموذج: استُخدمت بنية ConvNeXt-Large كعمود فقري، مع تهيئة بأوزان ImageNet، مع رأس تصنيف ثنائي.
• البحث عن التعزيزات: أجرى المؤلفون بحثًا منهجيًا عبر ثلاث فئات من التعزيزات:
  1. التعزيزات الفردية: تحويلات هندسية وضوئية فردية.
  2. التركيبات الضوئية: أزواج أو ثلاثيات ثابتة من المعاملات القائمة على اللون (مثل ColorJitter، وPlanckianJitter، وHEStain).
  3. السياسات المركبة: تكوينات مستوحاة من حلول المسابقات ومن نتائج المؤلفين الخاصة (مثل mix وkaggle_strong_hestain).
• مقاييس التقييم: المقياس الأساسي هو المساحة تحت منحنى خصائص تشغيل المستقبِل (ROC-AUC). شمل التقييم اختبارات داخل النطاق، واختبارات خارج النطاق منفصلة المصدر، ومجموعة Melanoscope الخارجية. تم تقييم الأهمية الإحصائية باستخدام فترات الثقة لأسلوب Bootstrap واختبار DeLong. كما استخدمت الدراسة تصورات t-SNE وGrad-CAM للتقييم النوعي لخلط مساحة الميزات وخرائط الانتباه.

المساهمات الرئيسية

1. البحث المنهجي عن التعزيزات من أجل OOD: على عكس الدراسات السابقة التي ترتب التعزيزات بناءً على الأداء داخل النطاق، يعمل هذا العمل صراحةً على البحث عن سياسات تعظم الأداء على مجموعات الاختبار المستبعدة على مستوى المصدر.
2. تحديد هيمنة التحويلات الضوئية: تحدد الدراسة أن التحويلات الضوئية (تعديلات اللون والشدة) هي المحرك الرئيسي للمتانة خارج النطاق، حيث تفوقت على التحويلات الهندسية البحتة في هذا المجال المحدد.
3. سياسة "Mix": يقترح المؤلفون سياسة تعزيز مركبة محددة تسمى mix تدمج بين التحويلات الضوئية والتحويلات الهندسية المتوسطة. وقد ثبت أن هذه السياسة تحقق أعلى مكاسب خارج النطاق مع الحفاظ على الدقة داخل النطاق.
4. بروتوكول تحقق صارم: تميزت الورقة بين نتائج الفرز (تقديرات نقطية لمرة واحدة) والتقييمات الموسعة (بذور متعددة، فترات ثقة، ومجموعات بيانات خارجية مستقلة)، مما يوفر رؤية شفافة للتباين والقيود.

النتائج

• الأداء خارج النطاق: حققت سياسة mix أكبر مكسب في مجموعة الاختبار خارج النطاق، حيث حسنت ROC-AUC بمقدار +0.0332 بالنسبة للخط المرجعي في مرحلة الفرز. وفي التقييم الموسع (9,921 صورة من مصادر مستبعدة)، بلغت نسبة التحسن +0.053 (بفاصل ثقة 95%: +0.045 إلى +0.061، p < 0.001).
• الأداء داخل النطاق: حافظت سياسة mix أيضًا على تأثير إيجابي على الدقة داخل النطاق، حيث حسنت ROC-AUC بمقدار +0.0061، مما يثبت أن المتانة لم تأتِ على حساب الأداء الداخلي.
• المتانة عبر البذور العشوائية: استمر تفوق سياسة mix خارج النطاق عبر أربع بذور تدريب عشوائية مختلفة، مع نطاقات ROC-AUC غير متداخلة (المرجع: 0.761–0.775؛ Mix: 0.806–0.829).
• التحقق الخارجي (Melanoscope): في مجموعة بيانات Melanoscope المستقلة، أظهرت نقطة تفتيش واحدة زيادة في الحساسية من 0.591 إلى 0.818. ومع ذلك، يشير المؤلفون إلى أن هذه النتيجة تستند إلى 22 حالة خبيثة فقط، ولم تصل إلى الأهمية الإحصائية في AUC (p = 0.22)، كما أن الميزة تتلاشى عند المتوسط عبر بذور تدريب متعددة.
• تحليل الميزات: أشارت تصورات t-SNE إلى أن سياسة mix قللت من التكتل المرتبط بالمصدر في مساحة الميزات مقارنة بالمرجع. وأشار تحليل Grad-CAM إلى أن النموذج المعزز ركز بشكل أكثر إحكامًا على الآفة بدلاً من العيوب الطرفية.
• التفكيك الخاص بالتشخيص: كان التحسن خارج النطاق مدفوعًا بشكل أساسي بزيادة النوعية في حالات التقرن الحميد (تقليل الإيجابيات الكاذبة) بدلاً من التحسن الكبير في استدعاء الميلانوما، الذي ظل منخفضًا (0.26–0.43) عبر جميع التكوينات.

الأهمية والقيود
تدعي الورقة أن التعزيزات التي تحاكي مصادر التحول في النطاق (تحديدًا التباينات الضوئية) يمكن أن تكون أكثر أهمية للتعميم خارج النطاق من تعظيم الدقة داخل النطاق أو تغيير بنية النموذج. وتُقدم سياسة mix كخطوة مرجعية بسيطة وقابلة للتكرار يجب النظر فيها قبل التحقق السريري من أنظمة دعم القرار.

ومع ذلك، يضع المؤلفون قيودًا صريحة على ادعاءاتهم:

• تحيز الاختيار: تم اختيار السياسة باستخدام بيانات من نفس المصادر المستخدمة في تقييم OOD الأساسي (HAM10000 وISIC 2019–2020). لذلك، قد يكون حجم التأثير المذكور متفائلًا بشكل مفرط، ولا تشكل النتائج تأكيدًا مستقلًا للتعميم على مصادر أخرى غير مرئية تمامًا.
• الأدلة الخارجية المحدودة: لم يكن التحسن في مجموعة بيانات Melanoscope المستقلة ذا دلالة إحصائية ولم يستمر عبر بذور التدريب، مما يشير إلى أن المتانة الملحوظة في مصادر ISIC/HAM لم تثبت بعد قدرتها على الانتقال إلى سياق سريري مختلف تمامًا.
• المنفعة السريرية: بينما تحسنت النوعية، لا يزال الاستدعاء المطلق للميلانوما منخفضًا، مما يشير إلى أن النموذج حاليًا أكثر ملاءمة لتحديد أولويات الحالات للمراجعة بدلاً من التشخيص الذاتي.

يخلص المؤلفون إلى أنه بينما توفر سياسة mix خطًا مرجعيًا قويًا، فإن العمل المستقبلي يتطلب بروتوكول اختيار منفصل المصدر (مثل ترك مصدر واحد خارج الحساب) والتحقق من مجموعات خارجية أكثر تنوعًا لتأكيد التعميم غير المنحاز.