Automated Disentangling Analysis of Skin Colour for Lesion Images

Questo lavoro propone un framework di disentanglement per le immagini dermatologiche che, attraverso la manipolazione controllata dei fattori di colore della pelle e la correzione geometrica, genera dati di addestramento diversificati per migliorare l'equità e le prestazioni dei modelli di classificazione delle lesioni cutanee.

L'essenziale

Immagina di avere un fotografo medico molto intelligente, capace di diagnosticare malattie della pelle guardando le foto. Purtroppo, questo fotografo ha un difetto: se gli mostri una foto scattata con una luce calda e su una pelle scura, e poi gli mostri una foto scattata con una luce fredda su una pelle chiara, si confonde. Non riconosce che è la stessa malattia, perché "vede" solo i colori sbagliati.

Gli scienziati di questo studio (dall'Università di Waterloo) hanno creato un super-trucco per insegnare al fotografo a ignorare le "distrazioni" del colore e concentrarsi solo sulla malattia.

Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Problema: Il "Colore" è un Mix Confuso

Finora, gli scienziati pensavano alla pelle come a un semplice interruttore: "pelle chiara" o "pelle scura". Ma la realtà è più complessa. Il colore che vediamo in una foto è un cocktail di ingredienti:

• Il vero colore della tua pelle (il DNA).
• La luce della stanza (luce calda, fredda, sole).
• La fotocamera usata (i suoi filtri e impostazioni).

Tutti questi ingredienti sono mescolati insieme, come un frullato. Se provi a togliere solo il "colore della pelle", rischi di togliere anche la luce o di rovinare la foto.

2. La Soluzione: Il "Separatore di Ingredienti"

Gli autori hanno creato un'intelligenza artificiale che funziona come un separatore di ingredienti magico.
Invece di dire "questa è pelle scura", il sistema impara a separare la foto in due parti distinte:

1. La Forma (Lo Scheletro): La struttura della lesione, le macchie, i bordi. Questa parte rimane "in bianco e nero" (o meglio, senza colore specifico).
2. Il Colore (Il Tinteggiatore): Una sorta di "codice segreto" che contiene tutte le informazioni sul colore, la luce e la fotocamera.

3. I Due Trucchi Segreti

Per far funzionare questo separatore senza sbagliare, hanno usato due trucchi geniali:

• Il Trucco del "Dipingere a Caso" (Decolorizzazione Randomizzata):
  Immagina di dover insegnare a un bambino a riconoscere un'auto senza guardare il colore. Se gli dai solo una foto in bianco e nero, il bambino potrebbe pensare che un'auto rossa sia grigia.
  Invece, questo sistema "dipinge" la foto in bianco e nero in modo casuale e intelligente ogni volta. Non usa una formula fissa, ma cambia leggermente la ricetta ogni volta. Questo costringe l'IA a imparare davvero la forma della lesione, senza poter fare scorciatoie guardando le ombre o i toni di grigio fissi. È come se il sistema dicesse: "Non importa come ti dipingo in bianco e nero, devi riconoscere l'auto comunque!".

• Il "Filtro di Sicurezza" (Post-Processing Geometrico):
  A volte, quando si cambia il colore di una pelle, l'IA potrebbe per sbaglio cambiare anche il colore di un segno di inchiostro, di una cicatrice o di un tatuaggio presente nella foto. Sarebbe un disastro!
  Per evitare questo, hanno aggiunto un "controllore di sicurezza". Questo controllore guarda la foto originale e dice: "Ehi, qui c'è un segno che non è pelle! Non toccarlo!". Se l'IA prova a cambiare il colore di quel punto, il controllore lo blocca e rimette il colore originale. È come avere un fotografo che sa esattamente dove non toccare.

4. Cosa Possiamo Fare Ora? (La Magia)

Grazie a questo sistema, possiamo fare cose incredibili:

• Il "Cambio Pelle" (Trasferimento del Colore): Possiamo prendere una foto di una lesione su una pelle chiara e dire all'IA: "Fai finta che questa lesione sia su una pelle scura, con questa luce specifica". L'IA lo fa mantenendo intatta la lesione. È come un filtro Instagram, ma scientificamente preciso.
• La "Macchina del Tempo Fisica": Abbiamo scoperto che nel "codice segreto" (lo spazio latente) ci sono delle direzioni che hanno un senso fisico. Possiamo spostare un cursore e vedere come cambia la pelle se:
  • Aumenta la circolazione sanguigna (diventa più rossa).
  • Cambia la luce della fotocamera (diventa più fredda o calda).
  • Cambia la temperatura della pelle.
    È come avere una macchina del tempo per vedere come apparirebbe una malattia in diverse condizioni.

5. Perché è Importante? (L'Obiettivo Finale)

L'obiettivo non è solo fare belle foto, ma salvare vite e garantire equità.
Oggi, le diagnosi mediche basate sull'IA funzionano male per le persone con la pelle scura perché i dati di addestramento sono pieni di foto di persone con la pelle chiara.

Con questo sistema, possiamo:

1. Prendere poche foto di pazienti con la pelle scura.
2. Usare l'IA per generare migliaia di varianti di quelle foto, con diverse luci e colori, per "allenare" il medico digitale.
3. Insegnare ai futuri medici a riconoscere le malattie su tutti i tipi di pelle, non solo su quelli che hanno visto in passato.

In sintesi: Hanno creato un "laboratorio virtuale" dove possono cambiare il colore della pelle di una foto senza rovinare la malattia, rendendo le diagnosi più giuste per tutti, indipendentemente dal colore della pelle o dalla fotocamera usata. È un passo enorme verso una medicina più equa.

Sommario tecnico

Titolo

Analisi Automatica di Scomposizione (Disentanglement) del Colore della Pelle per Immagini di Lesioni

1. Il Problema

I modelli di apprendimento automatico applicati alla diagnosi dermatologica spesso mostrano prestazioni degradate quando il colore della pelle catturato nelle immagini (SCCI - Skin Colour Captured in Images) differisce tra i dati di addestramento e quelli di deployment.

• Discrepanza: Esistono gap di accuratezza significativi (dal 10% al 30%) tra immagini di pelle chiara e scura.
• Causa: La discrepanza non è dovuta solo al tono della pelle intrinseco, ma a una combinazione di fattori ambientali intrecciati (illuminazione, impostazioni della camera, bilanciamento del bianco) e fattori intrinseci.
• Limiti degli approcci esistenti:
  • I metodi di augmentation attuali si concentrano spesso solo sul tono intrinseco, utilizzando descrittori scalaristici o categoriali (es. scala Fitzpatrick) che non correlano bene con il colore reale nelle foto, ignorando fattori come la perfusione sanguigna o le condizioni ambientali.
  • I metodi di normalizzazione convertono le immagini in uno "standard" ma spesso non considerano esplicitamente i fattori intrinseci o non offrono un controllo interpretabile per la visualizzazione educativa.
  • Manca uno strumento che permetta di rispondere alla domanda controfattuale: "Come apparirebbe questa condizione della pelle se il colore catturato fosse diverso?".

2. Metodologia

Gli autori propongono un framework non supervisionato basato sul principio del "disentanglement-by-compression" (scomposizione tramite compressione), adattato da lavori precedenti [25], per apprendere uno spazio latente strutturato e manipolabile per l'SCCI.

Architettura del Modello

Il sistema utilizza due reti neurali principali:

1. Codificatore di Colore ($e$): Mappa un'immagine colorata di input $y$ in un embedding di colore a bassa larghezza di banda $e = e(y)$.
2. Sintetizzatore di Colore ($f$): Ricostruisce l'immagine $\hat{y} = f(x, e)$ combinando l'embedding $e$ con un'immagine senza colore $x$ (che preserva la geometria ma rimuove le informazioni cromatiche).

• Vincolo: L'embedding $e$ è costretto a contenere solo le informazioni globali necessarie per una ricostruzione fedele, separando così il colore dalla struttura.

Componenti Chiave Innovativi

1. Mappatura di Decolorizzazione Randomizzata:

   • A differenza dei metodi precedenti che usano una conversione in scala di grigi fissa (che può "perdere" informazioni sulla luminosità correlata alla scurezza della pelle), gli autori introducono una mappatura $g_\alpha$ randomizzata e quasi monotona.
   • Questa mappatura genera l'input senza colore $x$ da $y$ in modo che le informazioni sulla scurezza della pelle non siano facilmente recuperabili dall'immagine senza colore, forzando la rete a imparare a rappresentare il colore globalmente nello spazio latente.
   • La funzione è una combinazione lineare di termini quadratici monotoni, con parametri $\alpha$ e $\beta$ campionati ad ogni epoca.

2. Post-Processing Allineato alla Geometria:

   • Per prevenire spostamenti di colore indesiderati su pattern localizzati (es. segni di inchiostro, cicatrici, irritazioni) durante il trasferimento o la manipolazione del colore, viene introdotto un operatore di rifiuto $P$.
   • Questo operatore calcola un peso di rifiuto basato sull'errore di ricostruzione: se una regione era difficile da ricostruire (alta differenza tra input e output), il cambiamento di colore proposto viene scartato, mantenendo fedele l'aspetto originale di tali dettagli.

Strategie per Task a Valle

• Augmentation dei Dati: Campionamento dello spazio latente dalla distribuzione di un target (es. una popolazione specifica) per arricchire il set di addestramento, rendendo il modello più equo.
• Normalizzazione del Colore: Mappatura di tutte le immagini verso un embedding medio "standard" $\bar{e}$ per ridurre la variabilità dovuta a dispositivi e condizioni di acquisizione.

3. Contributi Chiave

1. Modello Non Supervisionato per Domande Controfattuali: Un sistema capace di manipolare lo spazio latente per rispondere a "Cosa succederebbe se il colore della pelle fosse diverso?", abilitando il trasferimento di colore e la manipolazione controllata.
2. Modulo di Decolorizzazione Randomizzata: Risolve il problema della "fuga di informazioni" (information leakage) sulla scurezza della pelle, permettendo un apprendimento più fedele delle caratteristiche dei colori scuri.
3. Post-Processing Geometrico: Corregge gli spostamenti di colore su dettagli non cutanei, migliorando la fedeltà percettiva delle trasformazioni.
4. Traiettorie Fisicamente Significative: Lo spazio latente appreso permette di identificare e percorrere traiettorie corrispondenti a proprietà fisiche reali (es. perfusione sanguigna, bilanciamento del bianco della camera, temperatura del colore).

4. Risultati

Gli esperimenti sono stati condotti su dataset dermatologici (SkinCap, ISIC-2020, DermNet NZ) con un modello classificatore ResNet-50 per la malignità delle lesioni.

• Qualitativi:
  • Il modello trasferisce efficacemente il colore della pelle tra immagini diverse senza alterare la struttura della lesione o i dettagli locali (Fig. 1).
  • La manipolazione delle singole dimensioni latenti rivela fattori fisici semi-interpretabili (es. variazione di temperatura/perfusione).
  • Le traiettorie nello spazio latente corrispondono a cambiamenti fisici reali (es. curve lisce per il bilanciamento del bianco).
• Quantitativi (Classificazione):
  • L'approccio proposto supera il baseline e i metodi di augmentation precedenti (Style Transfer).
  • Accuratezza:
    • Baseline: 56.1%
    • Augmentation con Style Transfer (prior work): 76.1%
    • Proposta (Augmentation): 77.2%
    • Proposta (Normalizzazione): 76.4%
  • Studi di Ablazione:
    • Rimuovere il post-processing riduce l'accuratezza al 72.7% e peggiora il punteggio LPIPS (fedeltà percettiva) da 0.011 a 0.045.
    • L'uso di una decolorizzazione in scala di grigi "naive" (PyTorch default) fallisce nel trasferimento fedele, producendo risultati con scurezza errata (72.2%).

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso una diagnosi equa in dermatologia.

• Equità: Permette di creare set di dati di addestramento diversificati che includono diversi toni di pelle e condizioni di acquisizione, riducendo i bias algoritmici contro le popolazioni con pelle scura.
• Educazione Medica: Fornisce uno strumento per visualizzare come una singola condizione cutanea appaia sotto diverse condizioni di colore della pelle e illuminazione, essenziale per la formazione di medici e studenti.
• Interpretabilità: A differenza delle "scatole nere", il modello offre uno spazio latente manipolabile dove le direzioni corrispondono a fattori fisici reali, aumentando la fiducia nell'uso clinico dell'AI.

In sintesi, il paper propone un framework robusto per separare il colore della pelle da altri fattori visivi, abilitando applicazioni pratiche che migliorano sia le prestazioni tecniche dei modelli di IA che l'equità nell'assistenza sanitaria dermatologica.