Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Résumé Technique : Recherche d'augmentations robustes pour améliorer la généralisation hors domaine dans la classification des cancers de la peau par dermoscopie

Énoncé du problème
Les modèles d'apprentissage profond pour la classification des lésions dermoscopiques de la peau atteignent souvent une précision élevée sur les ensembles de tests internes mais souffrent d'une dégradation significative des performances lorsqu'ils sont appliqués à de nouvelles sources (hors domaine, ou OOD). Ce « décalage de domaine » provient des variations des dispositifs d'imagerie, de l'éclairage, du traitement des couleurs et des artefacts de capture entre différentes cliniques. Bien que les recherches antérieures aient étudié de manière approfondie la sélection des architectures et la validation interne, il existe un manque d'analyse systématique concernant les classes spécifiques d'augmentations de données qui améliorent efficacement la robustesse face à ces décalages au niveau de la source. De plus, les études d'augmentation existantes optimisent souvent la validation en domaine, échouant ainsi à traiter le défi spécifique du transfert de modèles vers des environnements d'acquisition entièrement nouveaux.

Méthodologie
L'étude emploie une approche centrée sur les données pour améliorer la généralisation OOD d'un classifieur binaire maligne versus non-maligne.

• Données : L'entraînement et l'évaluation en domaine utilisent une collection multi-sources de l'archive ISIC (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) et Derm7pt. Pour garantir une évaluation OOD rigoureuse, les ensembles de données HAM10000 et ISIC 2019–2020 ont été entièrement mis de côté comme ensemble de test disjoint de la source. Un ensemble clinique fermé indépendant (Melanoscope) a été utilisé uniquement pour la validation externe finale sans influencer la sélection du modèle.
• Architecture du modèle : Un backbone ConvNeXt-Large, initialisé avec des poids ImageNet, a été utilisé avec une tête de classification binaire.
• Recherche d'augmentation : Les auteurs ont mené une recherche systématique à travers trois catégories d'augmentations :
  1. Augmentations simples : Transformations géométriques et photométriques individuelles.
  2. Combinaisons photométriques : Appariements fixes ou triplets d'opérateurs basés sur la couleur (ex. : ColorJitter, PlanckianJitter, HEStain).
  3. Politiques composites : Configurations inspirées par des solutions de compétitions et les propres découvertes des auteurs (ex. : mix, kaggle_strong_hestain).
• Métriques d'évaluation : La métrique principale est l'aire sous la courbe ROC (ROC-AUC). L'évaluation comprend des tests en domaine, le test OOD disjoint de la source et l'ensemble indépendant Melanoscope. La signification statistique a été évaluée par des intervalles de confiance bootstrap et des tests de DeLong. L'étude a également utilisé des visualisations t-SNE et Grad-CAM pour évaluer qualitativement le mélange de l'espace des caractéristiques et les cartes d'attention.

Contributions clés

1. Recherche systématique d'augmentation pour l'OOD : Contrairement aux études précédentes qui classent les augmentations selon la performance en domaine, ce travail cherche explicitement des politiques qui maximisent la performance sur les ensembles de tests mis de côté au niveau de la source.
2. Identification de la dominance photométrique : L'étude identifie que les transformations photométriques (ajustements de couleur et d'intensité) sont les principaux moteurs de la robustesse OOD, surpassant les transformations purement géométriques dans ce domaine spécifique.
3. La politique « Mix » : Les auteurs proposent une politique d'augmentation composite spécifique nommée mix, qui combine des transformations photométriques et des transformations géométriques modérées. Cette politique s'est avérée être la plus efficace pour obtenir les gains OOD les plus élevés tout en préservant la précision en domaine.
4. Protocole de validation rigoureux : Le document distingue les résultats de screening (estimations ponctuelles sur un seul passage) et les évaluations étendues (multiples graines, intervalles de confiance et ensembles de données externes indépendants), offrant une vue transparente de la variance et des limites des découvertes.

Résultats

• Performance hors domaine (OOD) : La politique mix a obtenu le gain le plus important sur l'ensemble de test OOD, améliorant l'ROC-AUC de +0,0332 par rapport à la ligne de base lors de la phase de screening. Dans l'évaluation étendue (9 921 images provenant de sources mises de côté), l'amélioration était de +0,053 (IC 95 % : +0,045 à +0,061, p < 0,001).
• Performance en domaine : La politique mix a également maintenu un effet positif sur la précision en domaine, améliorant l'ROC-AUC de +0,0061, démontrant que la robustesse n'a pas été obtenue au détriment de la performance interne.
• Robustesse selon les graines (seeds) : L'avantage OOD de la politique mix a persisté à travers quatre graines d'entraînement aléatoires différentes, avec des plages de ROC-AUC non chevauchantes (Baseline : 0,761–0,775 ; Mix : 0,806–0,829).
• Validation externe (Melanoscope) : Sur l'ensemble de données indépendant Melanoscope, un checkpoint unique a montré une augmentation de la sensibilité de 0,591 à 0,818. Cependant, les auteurs notent que ce résultat repose sur seulement 22 cas malins, n'atteint pas la signification statistique en AUC (p = 0,22), et que l'avantage disparaît lorsqu'on fait la moyenne sur plusieurs graines d'entraînement.
• Analyse des caractéristiques : Les visualisations t-SNE ont indiqué que la politique mix réduisait le regroupement spécifique à la source dans l'espace des caractéristiques par rapport à la ligne de base. L'analyse Grad-CAM a suggéré que le modèle augmenté se concentrait de manière plus compacte sur la lésion plutôt que sur les artefacts périphériques.
• Décomposition par diagnostic : L'amélioration OOD a été principalement pilotée par une augmentation de la spécificité sur les kératoses bénignes (réduisant les faux positifs) plutôt que par une amélioration significative du rappel du mélanome, qui reste faible (0,26–0,43) à travers les configurations.

Signification et limites
Le papier affirme que les augmentations modélisant les sources réelles de décalage de domaine (spécifiquement les variations photométriques) peuvent être plus critiques pour la généralisation OOD que la maximisation de la précision en domaine ou le changement d'architecture du modèle. La politique mix est présentée comme une étape de base simple et reproductible qui devrait être considérée avant la validation clinique des systèmes d'aide à la décision.

Cependant, les auteurs qualifient explicitement leurs affirmations :

• Biais de sélection : La politique a été sélectionnée en utilisant des données provenant des mêmes sources que celles utilisées pour l'évaluation OOD primaire (HAM10000 et ISIC 2019–2020). Par conséquent, la taille de l'effet rapportée peut être optimiste, et les résultats ne constituent pas une confirmation indépendante de la généralisation à des sources entièrement nouvelles.
• Preuves externes limitées : L'amélioration sur l'ensemble de données indépendant Melanoscope n'était pas statistiquement significative et ne persistait pas à travers les graines d'entraînement, indiquant que la robustesse observée sur les sources ISIC/HAM ne s'est pas encore prouvée transférable à un contexte clinique totalement différent.
• Utilité clinique : Bien que la spécificité se soit améliorée, le rappel absolu pour le mélanome reste faible, suggérant que le modèle est actuellement mieux adapté pour prioriser les cas pour examen plutôt que pour un diagnostic autonome.

Les auteurs concluent que bien que la politique mix offre une base robuste, les travaux futurs nécessiteront un protocole de sélection disjoint de la source (par exemple, laisser une source de côté) et une validation sur des cohortes externes plus larges et diversifiées pour confirmer une généralisation sans biais.