An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Sintesi Tecnica: Identificazione Automatica di Immagini Mediche Etichettate Erroneamente tramite Sequenze di Funzioni di Perdita

Definizione del Problema
I modelli di deep learning per l'analisi delle immagini mediche dipendono fortemente dalla qualità dei dataset etichettati manualmente. Tuttavia, l'etichettatura manuale da parte dei medici è soggetta a errori dovuti a fattori quali la stanchezza del medico, le dimensioni ridotte delle lesioni (ad es. microaneurismi), i confini ambigui tra le categorie di malattia (ad es. alta miopia rispetto a miopia patologica) e le interpretazioni soggettive della gradabilità dell'immagine. Si stima che fino al 10% delle immagini mediche etichettate manualmente possa essere errato. Tali errori, se presenti nei set di addestramento, traggono in inganno l'ottimizzazione del modello, mentre gli errori nei set di validazione o di test impediscono una valutazione autentica delle prestazioni. Le soluzioni tradizionali prevedono la revisione di tutte le etichette iniziali da parte di medici esperti, un processo che richiede tempo ed energia.

Metodologia
Gli autori propongono un metodo automatizzato per identificare le immagini mediche etichettate erroneamente analizzando le sequenze temporali delle funzioni di perdita generate durante l'addestramento delle reti di deep learning. L'ipotesi centrale è che, mentre i campioni etichettati correttamente mostrano una tendenza della perdita costante e gradualmente decrescente attraverso gli epoch di addestramento, i campioni etichettati in modo errato (dove la verità di base è sbagliata) causano la confusione del modello, risultando in sequenze di perdita che mantengono livelli elevati o fluttuano significativamente.

La pipeline proposta consiste in tre fasi:

1. Addestramento del Modello Multi-Epoch: Una rete di deep learning (pre-addestrata su ImageNet) viene addestrata sul dataset etichettato per $N$ epoch ($N > 2$). Per ogni campione, il valore della perdita (cross-entropy) viene registrato ad ogni epoch, formando una sequenza di lunghezza $N$.
2. Estrazione delle Caratteristiche: Sei caratteristiche specifiche vengono estratte da ciascuna sequenza di perdita per caratterizzarne l'andamento:
   • F1: La media dell'intera sequenza (livello di perdita globale).
   • F2: La media dei primi $P$ termini (perdita locale della fase iniziale).
   • F3: La posizione $Q$ in cui si verifica il calo maggiore della perdita tra il termine $Q$ e il termine $(Q+1)$.
   • F4: La media dei primi $Q$ termini (perdita pre-diminuzione significativa).
   • F5: La media degli ultimi $N-Q$ termini (perdita post-diminuzione significativa).
   • F6: La differenza tra F4 e F5 (entità della diminuzione significativa).
3. Clustering: Utilizzando le sei caratteristiche estratte, viene applicato l'algoritmo di clustering $k$-means ($k=2$) per partizionare il dataset in due categorie: una rappresentante i campioni etichettati correttamente e l'altra rappresentante i campioni etichettati in modo errato.

Validazione Sperimentale e Risultati
Il metodo è stato validato utilizzando un dataset di immagini del fondo oculare per lo screening della retinopatia diabetica (DR) riferibile, composto da 10.788 campioni con etichette gold-standard.

• Simulazione del Dataset: Per simulare il rumore del mondo reale, è stato creato un dataset sintetico (A') invertendo intenzionalmente le etichette del 6% (648 campioni) del dataset gold-standard.
• Prestazioni di Identificazione: Nel primo esperimento, il metodo ha identificato con successo il 75,31% (488 su 648) dei campioni intenzionalmente etichettati in modo errato. La specificità era del 95,15%, il che significa che solo il 4,85% dei campioni etichettati correttamente è stato erroneamente identificato come errato. Gli autori osservano che i campioni non identificati possedevano spesso una scarsa qualità dell'immagine o caratteristiche ambigue che li rendevano visivamente simili alla classe opposta, anche per gli esperti umani.
• Miglioramento delle Prestazioni del Modello: Nel secondo esperimento, i 980 campioni identificati come potenzialmente errati sono stati revisionati e corretti dai medici, creando un dataset raffinato (A'') con solo l'1,5% di errori rimanenti. Un modello di deep learning riaddestrato su questo dataset raffinato ha raggiunto un'accuratezza massima del 96,50% su un test set indipendente. Questo rappresenta un miglioramento rispetto al modello addestrato sul dataset rumoroso (95,93%) e si avvicina alla prestazione ideale del 96,57% ottenuta da un modello addestrato sul dataset originale perfettamente pulito.

Contributi Chiave e Significato
L'articolo sostiene che questo approccio automatizzato offre una soluzione pratica al problema laborioso della pulizia dei dati nella medicina IA. Sfruttando il comportamento intrinseco delle funzioni di perdita durante l'addestramento, il metodo consente ai medici esperti di concentrare i propri sforzi di revisione su un sottoinsieme ristretto e ad alta probabilità di immagini (circa il 9,1% del dataset in questo studio) piuttosto che sull'intera collezione. Questo processo migliora efficacementamente la coerenza e l'affidabilità dei dataset di immagini mediche etichettati, ponendo una base più robusta per l'addestramento dei modelli di deep learning e, in ultima analisi, migliorandone le prestazioni diagnostiche. Gli autori concludono che, sebbene il metodo sia efficace per compiti di classificazione binaria come lo screening della DR, sono necessarie ulteriori ricerche per validarne l'utilità nei compiti di classificazione multi-classe e di segmentazione.