Identical runs disagree more than different models: reproducibility limits in deep learning for brain-tumour MRI classification

Nel mondo ad alta posta in gioco dell'imaging medico, i computer sono sempre più chiamati ad analizzare immagini del cervello umano e a individuare tumori. Queste immagini, chiamate scansioni MRI, sono complesse e dettagliate, e il software utilizzato per analizzarle si basa su un tipo di intelligenza artificiale nota come deep learning. Per addestrare questi sistemi, i ricercatori li alimentano con migliai di immagini e lasciano che il computer impari i modelli da solo, regolando le sue impostazioni interne milioni di volte finché non diventa più bravo a identificare la malattia. L'obiettivo è creare uno strumento che i medici possano fidarsi per aiutare a diagnosticare condizioni come i tumori cerebrali. Tuttavia, affinché questa tecnologia sia sicura e utile, i risultati devono essere coerenti. Se a un computer viene mostta la stessa serie di dati due volte, dovrebbe idealmente fornire la stessa risposta. Quando gli scienziati confrontano due diversi modelli informatici per vedere quale sia il migliore, spesso cercano differenze piccolissime nell'accuratezza, talvolta solo una frazione di un punto percentuale, per decidare quale modello debba procedere verso i test nel mondo reale.

Un ricercatore della San Francisco Bay University si è posto l'obiettivo di testare un'idea specifica: se l'aggiunta di un tipo speciale di ragionamento a un modello informatico standard per l'imaging cerebrale lo avrebbe reso più bravo a individuare i tumori. Il modello standard osserva l'immagine direttamente, mentre la nuova versione cercava di comprendere le relazioni tra le diverse parti dell'immagine, in modo simile a come un essere umano potrebbe collegare i punti tra varie caratteristiche. Il ricercatore ha costruito un esperimento rigoroso per testare questo, eseguendo i modelli informatici ripetutamente per vedere se il nuovo approccio offrisse davvero un vantaggio. Ciò che ha scoperto, tuttavia, non è stata una svolta nella rilevazione dei tumori, ma una scoperta sorprendente sulla l'affidabilità del processo di test stesso. Ha scoperto che il processo di addestramento del computer era così instabile che due esecuzioni identiche dello stesso identico modello potevano produrre risultati diversi, superiori alle minuscole differenze che stava cercando di misurare tra i due diversi modelli.

Lo studio è iniziato con una vasta collezione di fette di MRI provenienti da centinaia di pazienti, suddivise con cura in modo che i dati di un singolo paziente non apparissero sia nel gruppo di addestramento che in quello di test. Questo era fondamentale perché, se il computer avesse visto il tumore dello stesso paziente in entrambi i gruppi, avrebbe semplicemente memorizzato quella specifica persona invece di imparare a riconoscere la malattia in generale. Il ricercatore ha addestrato un modello standard e una versione più complessa che includeva lo strato di ragionamento aggiuntivo. Ha eseguito ciascuna versione più volte, cambiando un numero iniziale casuale, noto come "seed", per vedere come variavano i risultati. Nel mondo dell'informatica, questo seed serve a garantire che, se si parte con lo stesso numero, il computer faccia esattamente la stessa cosa ogni volta. L'aspettativa era che il modello complesso fosse leggermente migliore o leggermente peggiore di quello semplice, e che eseguire il test tre volte fornisse una media chiara.

Inveve, i risultati hanno mostrato un modello caotico. Quando il ricercatore ha eseguito l'esatta stessa configurazione del modello due volte con lo stesso numero iniziale, i punteggi di accuratezza differivano di oltre due punti percentuali in media. Questa variazione era così grande da sommergere completamente le piccole differenze tra i due diversi modelli che stava confrontando. In effetti, la differenza tra le due esecuzioni identiche era più del doppio della differenza tra il modello semplice e quello complesso. Ciò significava che l'esperimento stava essenzialmente misurando il rumore piuttosto che il segnale. Il ricercatore si rese conto che il computer non si stava comportando come uno strumento affidabile; era come se una bilancia usata per pesare monete d'oro desse una lettura diversa ogni volta che ci si posizionava sopra, anche se ci si trovava esattamente nello stesso punto.

Scavando più a fondo, il ricercatore ha trovato due ragioni principali per questa inaffidabilità. In primo luogo, il computer era stato configurato in modo errato. Il numero iniziale casuale veniva applicato dopo che il modello era già stato costruito, il che significava che le impostazioni iniziali del modello erano ancora casuali e incontrollate. Anche dopo aver corretto questo errore e applicato il numero iniziale prima della costruzione del modello, i risultati non erano ancora perfettamente identici. Il secondo problema era nascosto nel profondo del motore matematico del computer. Nonostante il software dichiarasse di funzionare in una modalità perfettamente deterministica, una parte specifica del calcolo utilizzata per istruire il modello produceva risultati leggermente diversi ogni volta. Questo difetto nascosto era invisibile ai controlli standard che i ricercatori usano per garantire che i loro esperimenti siano riproducibili.

Lo studio ha anche rivelato che il modo in cui i dati vengono suddivisi può cambiare drasticamente il risultato. Quando il ricercatore ha diviso i dati per singola fetta di MRI anziché per paziente, l'accuratezza del computer è balzata di quasi cinque punti percentuali. Questo accadeva perché il computer stava essenzialmente riconoscendo schemi dello stesso paziente sia nei set di addestramento che in quelli di test, permettendogli di riconoscere il paziente piuttosto che il tumore. Questo punteggio gonfiato era un'illusione, che mascherava la reale capacità del modello. Inoltre, quando il ricercatore ha testato quanto bene i modelli gestissero immagini distorte o rumorose, un singolo test suggeriva che un modello fosse più robusto, ma quando il test veniva ripetuto, il risultato si invertiva, mostrando che l'altro modello era migliore. Questa inversione ha dimostrato che un singolo esperimento non è sufficiente per trarre una conclusione.

La conclusione finale del lavoro è stata che lo strato di ragionamento extra non ha migliorato la capacità di rilevare i tumori cerebrali. Il modello complesso non era migliore e, in alcuni casi, era più lento e meno affidabile. Più importante ancora, lo studio ha evidenziato una falla critica nel modo in cui molti studi sull'IA medica vengono condotti. Le differenze che i ricercatori spesso sostengono di trovare sono più piccole della variazione naturale nel processo di test stesso. Il ricercatore ha sostenuto che, prima che gli scienziati possano fidarsi di un nuovo modello, devono prima verificare che la loro configurazione di test sia abbastanza stabile da rilevare piccoli cambiamenti. Ciò comporta il controllo che i numeri iniziali casuali siano applicati correttamente ed eseguire lo stesso test due volte per misurare la variazione naturale. Questi controlli costano pochissimo tempo ed effort, eppure vengono spesso saltati. Senza di essi, il campo rischia di costruire strumenti medici su fondamenta troppo fragili per sostenere il peso delle decisioni cliniche. Il documento serve come promemoria che, nella ricerca di una migliore tecnologia medica, garantire che lo strumento di misurazione sia accurato è importante quanto lo strumento stesso.