Effect of Demographic Bias on Skin Lesion Classification

Sintesi Tecnica: Effetto del Bias Demografico sulla Classificazione delle Lesioni Cutanee

Definizione del Problema
I modelli di deep learning per l'imaging medico, pur raggiungendo elevate prestazioni diagnostiche complessive, mostrano spesso bias contro specifici gruppi demografici. Nella classificazione delle lesioni cutanee, le disparità di prestazione possono derivare da un bias di rappresentazione: squilibri sistematici nei dati di addestramento rispetto ad attributi protetti quali il sesso e l'età del paziente. Studi precedenti hanno spesso esaminato questi fattori isolatamente o all'interno di singole modalità di imaging senza un controllo sistematico sulle distribuzioni dei dati. Inoltre, l'efficacia relativa di diverse strategie di mitigazione del bias (apprendimento a compito singolo, multi-task e avversariale) attraverso estremi squilibri distribuzionali rimane sottoposta a scarsa esplorazione. Questo studio affronta la necessità di una valutazione esaustiva di come gli skew demografici controllati nei dati di addestramento influenzino le prestazioni del modello e se specifiche strategie di apprendimento possano mitigare efficacemente tali bias.

Metodologia
Gli autori hanno impiegato una rigorosa pipeline sperimentale utilizzando tre dataset: un sottoinsieme curato dell'archivio ISIC (immagini dermoscopiche) per l'addestramento e la validazione interna, e due dataset esterni, PAD-UFES-20 (immagini da smartphone) e DERM7PT (immagini dermoscopiche), per la validazione cross-dataset.

• Costruzione del Dataset tramite Programmazione Lineare (LP): Per garantire un controllo preciso sulle distribuzioni demografiche, gli autori hanno utilizzato un metodo di programmazione lineare invece del campionamento casuale. Ciò ha permesso di generare dataset di addestramento e validazione con rapporti predefiniti di sesso (da 100% maschio a 100% femmina) e di età (suddivisa in cinque fasce d'età: 0–50, 51–60, 61–70, 71–80 e 81+). Hanno creato sette scenari distinti di distribuzione del sesso e tre schemi di distribuzione dell'età (skewed verso i più giovani, bilanciato, skewed verso gli anziani).
• Architetture dei Modelli: Sono state valutate tre architetture basate su ResNet-50:
  1. Baseline a Task Singolo: Un modello di classificazione binaria standard per lesioni maligne vs benigne.
  2. Modello Multi-Task Rinforzante: Un modello con una testa ausiliaria che predice l'attributo demografico (sesso o età) insieme al compito di classificazione primario. Gli autori precisano che "rinforzante" si riferisce al rafforzamento dell'influenza del segnale demografico per regolarizzare l'encoder condiviso, non all'apprendimento per rinforzo.
  3. Modello Multi-Task Avversariale: Un modello che impiega uno schema di addestramento avversariale in cui l'encoder è penalizzato per l'immissione di informazioni che permettano di predire l'attributo demografico dall'estrazione delle feature (minimizzando l'informazione mutua), utilizzando una perdita di correlazione di Pearson negativa al quadrato per l'età e la cross-entropy binaria per il sesso.
• Valutazione: I modelli sono stati addestrati sui dataset sbilanciati e valutati su un set di test bilanciato per isolare l'effetto del bias di addestramento. Le prestazioni sono state misurate utilizzando l'Area Under the Curve (AUC) per la classificazione e metriche come i punteggi di Brier, l'Errore Assoluto Medio (MAE) e la correlazione di Pearson per le teste di predizione demografica ausiliarie. La validazione cross-dataset è stata eseguita senza fine-tuning per valutare la generalizzabilità.

Contributi Chiave

1. Controllo Esteso tramite Programmazione Lineare: Lo studio estende il lavoro precedente controllando simultaneamente i sottogruppi di sesso ed età, introducendo cinque gruppi di età e tre distribuzioni di età sbilanciate, mentre i lavori precedenti si concentravano principalmente sul sesso.
2. Valutazione Sistematica delle Strategie: Gli autori confrontano sistematicamente le strategie di apprendimento a task singolo, rinforzante e avversariale attraverso una gamma granulare di distribuzioni demografiche, inclusi squilibri estremi (ad esempio, 95% maschi/5% femmine).
3. Generalizzazione Cross-Dataset: Lo studio introduce un nuovo dataset dermoscopico esterno (DERM7PT) accanto al dataset basato su smartphone PAD-UFES-20, consentendo un'analisi di come lo shift di dominio (dermoscopia vs smartphone) interagisca con il bias demografico.
4. Analisi della Testa Ausiliaria: Il documento fornisce un'analisi dettagliata delle teste di predizione ausiliarie nel modello rinforzante, utilizzando le loro prestazioni (AUC, punteggio di Brier, MAE, correlazione) come strumento diagnostico per spiegare il successo o il fallimento dei meccanismi di mitigazione del bias.

Risultati

• Bias Basato sul Sesso:
  • Lo Squilibrio dei Dati Guida il Bias: I dataset di addestramento specifici per sesso hanno generalmente prodotto le migliori prestazioni per quel sesso specifico. Il modello baseline ha mostrato un bias significativo, ottenendo prestazioni migliori per il sesso di maggioranza nei dataset sbilanciati.
  • Limitazioni della Mitigazione: I modelli rinforzante e avversariale hanno avuto successo nel restringere o eliminare i gap di bias nei dataset bilanciati e a maggioranza femminile. Tuttavia, negli scenari a maggioranza maschile, queste strategie sono state meno efficaci; i modelli hanno continuato a performare meglio per i maschi rispetto alle femmine. La testa ausiliaria del modello rinforzante non è riuscita a imparare un discriminatore robusto negli scenari sbilanciati verso i maschi (alti punteggi di Brier per il gruppo minoritario femminile), portando al collasso dell'effetto di regolarizzazione.
  • Asimmetria: È stata osservata un'asimmetria in cui l'addestramento dominato dai maschi ha migliorato significativamente le prestazioni maschili, ma l'addestramento dominato dalle femmine non ha prodotto un incremento comparabile per le prestazioni femmini nel dataset ISIC, suggerendo che i modelli possano fare overfitting su indizi specifici maschili.
• Bias Basato sull'Età:
  • Declino Persistente: A differenza del bias di sesso, che era in gran parte guidato dallo squilibrio dei dati, il declino delle prestazioni legate all'età è persistito anche con un addestramento bilanciato. I gruppi di età più giovani (A1: 0–50) hanno costantemente ottenuto le prestazioni più elevate, mentre le prestazioni sono diminuite progressivamente nei gruppi di età più avanzati.
  • Shortcut e Correlazione: La testa di predizione dell'età ausiliaria ha mostrato una correlazione moderata negli scenari bilanciati, ma una forte correlazione negli scenari sbilanciati verso gli anziani per la coorte più giovane, suggerendo che il modello si sia affidato a shortcut specifici dell'età quando le distribuzioni erano sbilanciate.
  • Benefici dell'Addestramento Bilanciato: Sebbene l'addestramento bilanciato abbia migliorato le prestazioni per la categoria A4 rispetto all'addestramento sbilanciato verso i più giovani, non ha eliminato il trend generale di declino delle prestazioni con l'età.
• Validazione Cross-Dataset:
  • Impatto dello Shift di Dominio: La validazione esterna su PAD-UFES-20 (smartphone) e DERM7PT (dermoscopia) ha rivelato cali di prestazione significativi rispetto alla validazione interna, evidenziando l'impatto dello shift di dominio (modalità di imaging e protocollo di acquisizione).
  • Variazione dei Pattern di Bias: I pattern di bias demografico osservati nel dataset ISIC non si sono replicati pienamente nei dataset esterni. Ad esempio, il modello avversariale ha mostrato un miglioramento delle prestazioni per le pazienti femmine nei coorti a maggioranza femminile sul dataset PAD-UFES-20, contrastando con i risultati di ISIC.

Significatività e Rivendicazioni
L'articolo sostiene che i gap di prestazione legati al sesso nella classificazione delle lesioni cutanee siano guidati principalmente dagli squilibri nei set di addestramento, i quali possono essere parzialmente mitigati da strategie di apprendimento multi-task e avversariale, specialmente quando la classe minoritaria è sufficientemente rappresentata per addestrare le teste ausiliarie. Al contrario, le disparità di prestazione legate all'età sembrano derivare da differenze biologiche o fisiologiche intrinseche (ad esempio, cambiamenti nella texture della pelle, rughe) che persistono anche con un campionamento bilanciato, suggerendo che il solo riequilibrio dei dati sia insufficiente per l'equità rispetto all'età.

Gli autori sottolineano che i meccanismi di bias sono complessi e dipendenti dal dataset. Concludono che, sebbene i loro metodi facciano progredire l'IA equa identificando le fonti specifiche di disparità, l'interazione tra fattori espliciti (distribuzione dei dati, protocolli di acquisizione) e fattori impliciti (variazioni biologiche, differenze geografiche) richiede un ulteriore disincanto. Lo studio funge da mattone per lo sviluppo di sistemi di IA sanitaria più sofisticati, dimostrando che diverse strategie di mitigazione sono necessarie per diversi tipi di bias demografico.