Lightweight attention mechanisms in breast ultrasound lesion segmentation: parameter cost, protocol choice, data leakage, and what the data can resolve

Il tumore al seno è una delle principali cause di morte in tutto il mondo e individuarlo precocemente è spesso la differenza tra la vita e la morte. Sebbene la mammografia sia lo strumento di screening standard, può avere difficoltà a vedere attraverso il tessuto mammario denso. L'ecografia offre un'utile alternativa: utilizza onde sonore invece delle radiazioni, è ampiamente disponibile e può individuare tumori che le mammografie possono mancare. Tuttavia, le immagini ecografiche sono notoriamente difficili da interpretare. Esse dipendono fortemente dalla destrezza della persona che impugna la sonda e, persino per gli esperti, può essere difficile stabilire esattamente dove un tumore inizi e finisca. Per aiutare, gli scienziati stanno addestrando i computer a disegnare automaticamente i contorni attorno a questi tumori, un processo chiamato segmentazione. La speranza è che un computer possa farlo più velocemente e in modo più coerente rispetto a un essere umano, fornendo un secondo paio di occhi ai medici.

Per costruire questi programmi informatici, i ricercatori hanno bisogno di grandi collezioni di immagini con le risposte corrette già marcate su di esse. Una di queste collezioni, nota come dataset BUSI, è diventata il campo di prova standard per testare queste nuove idee. Contiene centinaia di immagini ecografiche di lesioni mammarie, sia benigne che maligne, con contorni tracciati da esperti. Negli ultimi anni, decine di team di ricerca hanno proposto nuovi modi per migliorare questi programmi informatici, spesso aggiungendo speciali moduli di "attenzione". Pensate a questi moduli come a un modo per dire al computer di concentrarsi più attentamente su parti specifiche dell'immagine, come un lettore umano che si concentra su un punto sospetto. L'assunto è che queste aggiunte sofisticate rendano il computer più intelligente e accurato. Ma un nuovo studio suggerisce che la realtà è molto più complicata e che i miglioramenti che pensiamo di vedere potrebbero essere illusioni create dal modo in cui vengono eseguiti i test.

Un ricercatore della Bilecik Şeyh Edebali University ha deciso di sottoporre queste affermazioni a un test rigoroso. Invece di confrontare semplicemente i punteggi finali di diversi studi, ha costruito un singolo ambiente di test rigoroso e ha fatto passare undici diverse versioni di un programma informatico attraverso di esso. Ha utilizzato le stesse immagini, le stesse regole per la divisione dei dati e lo stesso modo di misurare il successo per ogni singolo test. Questo approccio ha permesso di isolare esattamente cosa stava cambiando e cosa stava effettivamente causando qualsiasi differenza nelle prestazioni. Si è concentrato specificamente su cinque diversi tipi di meccanismi di "attenzione", che spaziavano da uno molto semplice, che aggiungeva solo dodici minuscole parti di codice al programma, a uno molto più complesso, che ne aggiungeva oltre trentadue mila.

I risultati sono stati sorprendenti. I ricercatori hanno scoperto che il costo dell'aggiunta di questi meccanismi di attenzione non corrispondeva al beneficio. Il meccanismo più costoso, che aggiungeva la maggiore complessità al programma informatico, ha prodotto quasi nessun miglioramento nell'accuratezza. In effetti, il meccanismo più semplice, che aggiungeva meno pezzi di codice, ha prodotto il maggior guadagno in termini di prestazioni. Tuttavia, quando i ricercatori hanno esaminato attentamente i numeri, si sono resi conto che anche questo miglioramento ottimale era così piccolo che i dati stessi non potevano confermare se fosse reale. La differenza era inferiore alla variazione naturale nei risultati del test. In altre parole, il computer potrebbe essere stato leggermente migliore, o potrebbe essere stato solo fortunato con quel particolare set di immagini; lo studio non era abbastanza ampio da fare la differenza. I ricercatori hanno concluso che, per questo specifico dataset, i cambiamenti architettonici proposti da altri studi erano troppo sottili per essere provati dai dati disponibili.

Sebbene i sofisticati meccanismi di attenzione non abbiano mostrato un chiaro beneficio, lo studio ha scoperto che altri due fattori hanno avuto un impatto enorme. In primo luogo, rendere semplicemente il programma informatico più profondo — aggiungendo più strati alla sua struttura — ha prodotto un miglioramento chiaro e misurabile, tre volte superiore a qualsiasi effetto visto dai moduli di attenzione. In secondo luogo, e forse più importante, i ricercatori hanno scoperto che il modo in cui il test è stato condotto contava più del design del programma stesso. Hanno scoperto che se un ricercatore sceglieva la versione migliore del proprio programma basandosi sui dati di test stessi, piuttosto che tenere da parte un set separato di dati per il controllo finale, l'accuratezza riportata aumentava sensibilmente. Questo salto era abbastanza grande da essere visto chiaramente, a differenza dei piccoli guadagni derivanti dai moduli di attenzione. Ciò suggerisce che molti degli alti punteggi riportati in studi precedenti potrebbero essere il risultato di questo metodo di test piuttosto che di un design veramente superiore.

Il team ha anche scoperto un problema nascosto all'interno del dataset stesso. Hanno trovato che alcune delle immagini nella collezione erano copie quasi identiche l'una dell'altra, probabilmente perché lo stesso paziente è stato scansionato più volte o la stessa immagine è stata salvata due volte. Quando queste immagini duplicate finiscono sia nella parte di addestramento che in quella di test dello studio, il programma informatico essenzialmente memorizza la risposta invece di imparare a risolvere il problema. Quando i ricercatori hanno rimosso questi duplicati, i punteggi complessivi sono scesi, confermando che i risultati precedenti erano leggermente gonfiati. Tuttavia, le differenze relative tra i diversi programmi informatici sono rimaste in gran parte le stesse, il che significa che la conclusione sugli moduli di attenzione rimaneva valida anche dopo la pulizia dei dati.

Forse la parte più rivelatrice dello studio è stata un audit del proprio codice informatico. Il ricercatore voleva essere assolutamente certo di non aver commesso gli stessi errori criticati in altri. Ha controllato il proprio codice per garantire che il computer non vedesse mai le immagini di test prima della valutazione finale. Il codice era perfetto. Ma quando ha guardato i file sul suo disco rigido, ha visto qualcosa di diverso: il computer aveva accidentalmente salvato copie delle immagini di test in una cartella destinata all'addestramento. Se avessero giudicato il proprio lavoro guardando i file sul disco anziché il codice stesso, avrebbero falsamente accusato il proprio sistema di gestione impropria dei dati. Questo ha evidenziato una lezione critica: non si può fidarsi di ciò che si vede su un disco rigido se il processo che lo ha creato non viene anche verificato. I file possono mentire, ma le istruzioni che li hanno creati dicono la verità.

In definitiva, questo studio funge da controllo di realtà per il campo dell'imaging medico. Dimostra che, sull'attuale benchmark, i piccoli miglioramenti rivendicati dall'aggiunta di complessi moduli di attenzione sono probabilmente troppo piccoli per essere reali. I dati non sono ancora abbastanza nitidi da distinguere questi sottili cambiamenti dal rumore casuale. Lo studio suggerisce che i ricercatori dovrebbero concentrarsi meno sull'aggiunta di caratteristiche più complesse e più sul garantire che i loro metodi di test siano puliti e onesti. I maggiori guadagni derivano da cose semplici come rendere il programma più profondo o garantire che i dati di test siano veramente separati dai dati di addestramento. Finché i dati non diventeranno abbastanza grandi da risolvere queste piccole differenze, il modo più accurato per giudicare un nuovo metodo non è attraverso il suo punteggio finale, ma attraverso la cura con cui è stato testato.