Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Sintesi Tecnica: Ricerca di Augmentazioni Robuste per Migliorare la Generalizzazione Out-of-Domain nella Classificazione Dermatoscopica del Cancro della Pelle

Definizione del Problema
I modelli di deep learning per la classificazione delle lesioni cutanee dermatoscopiche spesso raggiungono un'elevata accuratezza sui set di test interni, ma soffrono di un significativo degrado delle prestazioni quando applicati a nuove fonti di dati (out-of-domain, o OOD). Questo "domain shift" deriva dalle variazioni nei dispositivi di imaging, nell'illuminazione, nella gestione del colore e negli artefatti di acquisizione tra le diverse cliniche. Mentre la ricerca precedente ha studiato ampiamente la selezione dell'architettura e la validazione interna, vi è una mancanza di analisi sistematica su quali specifiche classi di data augmentation contribuiscano efficacemente a migliorare la robustezza rispetto a questi shift a livello di sorgente. Inoltre, gli studi esistenti sulle augmentation spesso ottimizzano per la validazione in-domain, fallendo nel affrontare la specifica sfida del trasferimento dei modelli verso interi nuovi ambienti di acquisizione.

Metodologia
Lo studio impiega un approccio data-centric per migliorare la generalizzazione OOD per un classificatore binario maligno-versus-non-maligno.

• Dataset: L'addestramento e la valutazione in-domain utilizzano una collezione multi-sorgente dall'archivio ISIC (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) e Derm7pt. Per garantire una rigorosa valutazione OOD, i dataset HAM10000 e ISIC 2019–2020 sono stati tenuti interamente da parte come set di test source-disjoint. Un dataset clinico indipendente e chiuso (Melanoscope) è stato utilizzato esclusivamente per la validazione esterna finale senza influenzare la selezione del modello.
• Architettura del Modello: È stato utilizzato un backbone ConvNeXt-Large, inizializzato con pesi ImageNet, con un head di classificazione binaria.
• Ricerca delle Augmentations: Gli autori hanno condotto una ricerca sistematica attraverso tre categorie di augmentations:
  1. Single augmentations: Trasformazioni geometriche e fotometriche individuali.
  2. Combinazioni fotometriche: Coppie o triadi fisse di operatori basati sul colore (es. ColorJitter, PlanckianJitter, HEStain).
  3. Composite policies: Configurazioni ispirate alle soluzioni delle competizioni e alle scoperte degli autori (es. mix, kaggle_strong_hestain).
• Metriche di Valutazione: La metrica primaria è l'Area Under the Receiver Operating Characteristic Curve (ROC-AUC). La valutazione include test in-domain, il test OOD source-disjoint e il set indipendente Melanoscope. La significatività statistica è stata valutata tramite intervalli di confidenza bootstrap e test di DeLong. Lo studio ha inoltre impiegato visualizzazioni t-SNE e Grad-CAM per valutare qualitativamente il mixing dello spazio delle feature e le mappe di attenzione.

Contributi Chiave

1. Ricerca Sistematica delle Augmentations per OOD: A differenza degli studi precedenti che classificano le augmentation in base alle prestazioni in-domain, questo lavoro cerca esplicitamente policy che massimizzino le prestazioni su set di test tenuti da parte a livello di sorgente.
2. Identificazione della Dominanza Fotometrica: Lo studio identifica che le trasformazioni fotometriche (regolazioni di colore e intensità) sono i principali driver della robustezza OOD, superando le trasformazioni puramente geometriche in questo specifico dominio.
3. La Policy "Mix": Gli autori propongono una specifica policy di augmentation composita chiamata mix, che combina trasformazioni fotometriche e geometriche moderate. Questa policy si dimostra capace di ottenere i maggiori guadagni OOD preservando al contempo l'accuratezza in-domain.
4. Protocollo di Validazione Rigoroso: Il paper distingue tra i risultati di screening (stime puntuali a singola esecuzione) e le valutazioni espanse (molteplici seed, intervalli di confidenza e dataset esterni indipendenti), fornendo una visione trasparente della varianza e dei limiti dei risultati.

Risultati

• Prestazioni Out-of-Domain: La policy mix ha ottenuto il maggior guadagno sul set di test OOD, migliorando la ROC-AUC di +0,0332 rispetto al baseline nella fase di screening. Nella valutazione espansa (9.921 immagini da sorgenti tenute da parte), il miglioramento è stato di +0,053 (95% CI: +0,045 a +0,061, p < 0,001).
• Prestazioni In-Domain: La policy mix ha mantenuto anche un effetto positivo sull'accuratezza in-domain, migliorando la ROC-AUC di +0,0061, dimostrando che la robustezza non è avvenuta a scapito delle prestazioni interne.
• Robustezza tra i Seed: Il vantaggio OOD della policy mix è persistito attraverso quattro diversi seed di addestramento casuale, con intervalli di ROC-AUC non sovrapponibili (Baseline: 0,761–0,775; Mix: 0,806–0,829).
• Validazione Esterna (Melanoscope): Nel dataset indipendente Melanoscope, un singolo checkpoint ha mostrato un aumento della sensibilità da 0,591 a 0,818. Tuttavia, gli autori notano che questo risultato si basa su soli 22 casi maligni, non raggiunge la significatività statistica in AUC (p = 0,22) e il vantaggio scompare quando mediato su più seed di addestramento.
• Analisi delle Feature: Le visualizzazioni t-SNE hanno indicato che la policy mix ha ridotto il clustering specifico della sorgente nello spazio delle feature rispetto al baseline. L'analisi Grad-CAM ha suggerito che il modello aumentato si concentrasse in modo più compatto sulla lesione piuttosto che sugli artefatti periferici.
• Scomposizione Specifica per Diagnosi: Il miglioramento OOD è stato guidato principalmente da un aumento della specificità sulle cheratosi benigne (riducendo i falsi positivi) piuttosto che da un miglioramento significativo del recall del melanoma, che è rimasto basso (0,26–0,43) in tutte le configurazioni.

Significatività e Limitazioni
Il paper sostiene che le augmentation che modellano le reali fonti di domain shift (specificamente le variazioni fotometriche) possono essere più critiche per la generalizzazione OOD rispetto alla massimizzazione dell'accuratezza in-domain o al cambio dell'architettura del modello. La policy mix è presentata come un passaggio baseline semplice e riproducibile che dovrebbe essere considerato prima della validazione clinica dei sistemi di supporto alle decisioni.

Tuttavia, gli autori qualificano esplicitamente le loro affermazioni:

• Bias di Selezione: La policy è stata selezionata utilizzando dati dalle stesse sorgenti usate per la valutazione OOD primaria (HAM10000 e ISIC 2019–2020). Perticolamente, l'entità dell'effetto riportata potrebbe essere ottimisticamente influenzata dal bias, e i risultati non costituiscono una conferma indipendente della generalizzazione a sorgenti completamente nuove.
• Evidenza Esterna Limitata: Il miglioramento sul dataset indipendente Melanoscope non è stato statisticamente significativo e non è persistito attraverso i seed di addestramento, indicando che la robustezza osservata sulle sorgenti ISIC/HAM non è ancora stata provata trasferirsi a un contesto clinico completamente diverso.
• Utilità Clinica: Sebbene la specificità sia migliorata, il recall assoluto per il melanoma rimane basso, suggerendo che il modello sia attualmente più adatto a dare priorità ai casi per la revisione piuttosto che alla diagnosi autonoma.

Gli autori concludono che, sebbene la policy mix offra un baseline robusto, il lavoro futuro richiede un protocollo di selezione source-disjoint (es. leave-one-source-out) e una validazione su coorti esterne più ampie e diverse per confermare una generalizzazione non influenzata da bias.