Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

Immaginate un mondo in cui i computer vengono istruiti per vedere le malattie nelle immagini mediche, agendo come un secondo paio di occhi per i medici. Uno degli strumenti più comuni per questo è l'ecografia, che utilizza le onde sonore per creare immagini dell'interno del corpo, come il fegato. Poiché queste macchine sono ampiamente disponibili e relativamente economiche, gli scienziati hanno raccolto enormi collezioni di queste immagini per addestrare l'intelligenza artificiale. La speranza è che questi programmi informatici possano imparare a individuare tumori pericolosi, come il cancro al fegato, o escrescenze innocue, come formazioni benigne, semplicemente guardando le immagini. Per far sì che questo addestramento funzioni, il computer deve imparare a riconoscere la malattia reale, non solo dettagli casuali su come l'immagine è stata scattata. Se il computer impara una scorciatoia — come indovinare la risposta basandosi sulla dimensione del file dell'immagine piuttosto che sulla forma del tumore — fallirà quando incontrerà un nuovo paziente in un vero ospedale.

Un team di ricercatori ha recentemente deciso di esaminare da vicino una famosa collezione di immagini ecografiche del fegato che era stata resa pubblica affinché gli scienziati potessero usarla. Questa collezione, nota come SMC-LUD, doveva essere uno standard di riferimento per testare questi programmi informatici. La descrizione originale diceva che le immagini provenivano da oltre mille pazienti diversi e che i dati erano stati accuratamente suddivisi in gruppi in modo che nessun singolo paziente apparisse in più di un gruppo. Questa separazione è cruciale; se le immagini di un paziente appaiono sia nel gruppo di addestramento che in quello di test, il computer potrebbe semplicemente memorizzare l'anatomia specifica di quella persona invece di imparare a diagnosticare la malattia. I ricercatori hanno scaricato l'intera collezione e hanno iniziato un audit meticoloso, controllando ogni singolo file per vedere se la realtà corrispondeva alla promessa.

Ciò che hanno scoperto è stata una serie di sorprese che hanno cambiato il modo in cui dovremmo considerare questo dataset. Per prima cosa, hanno scoperto che il computer poteva identificare la malattia con un'accuratezza perfetta semplicemente guardando la forma dell'immagine, senza nemmeno vedere il fegato all'interno. Ogni singola immagine di un tumore canceroso era un quadrato perfetto, mentre ogni singola immagine di una crescita benigna era un rettangolo. Era come se i file fossero stati timbrati con un'etichetta nascosta che diceva "cancro" o "non cancro" basandosi interamente sulle loro dimensioni. Ciò significava che un programma informatico poteva ottenere un punteggio perfetto in un test semplicemente controllando se l'immagine fosse quadrata, ignorando completamente il contenuto medico. Questo è un classico esempio di scorciatoia tecnica, in cui la macchina impara un pattern nel processo di raccolta dei dati piuttosto che la realtà medica.

L'audit ha anche rivelato che i dati non erano separati come dichiarato. Il rapporto originale affermava che i pazienti erano mantenuti in gruppi separati, ma quando i ricercatori hanno contato le cartelle effive sui loro computer, hanno scoperto che più del sessanta per cento dei pazienti aveva immagini sparse tra i gruppi di addestramento, di test e di validazione. In effetti, quasi tutti i pazienti nel gruppo di test avevano anche immagini nel gruppo di addestramento. Questo è come dare a uno studente un esame che include domande che ha già visto nel suo libro di esercizi. Quando i ricercatori hanno ri-eseguito i test informatici utilizzando solo i pazienti che apparivano in un unico gruppo, le prestazioni del computer sono scese, sebbene rimanessero piuttosto elevate. Tuttavia, quando hanno costretto il computer a ignorare le forme delle immagini e a trattare tutte le immagini allo stesso modo, le prestazioni sono tornate a essere perfette. Ciò suggeriva che, anche dopo aver rimosso gli evidenti indizi sulla forma, altri dettagli tecnici sottili relativi a come le immagini erano state salvate stavano ancora dando al computer un vantaggio sleale.

I ricercatori hanno anche scoperto che i numeri nella descrizione ufficiale non corrispondevano ai file scaricati. La descrizione sosteneva che ci fossero oltre cinquemila immagini di oltre mille pazienti, ma i file effettivi mostravano conteggi leggermente diversi e un numero diverso di cartelle dei pazienti. Alcuni nomi di pazienti nell'elenco ufficiale non avevano alcuna immagine, mentre alcune cartelle di immagini non avevano un nome nell'elenco. Queste discrepanze suggeriscono che i dati non erano stati controllati attentamente prima del rilascio. Lo studio non ha dimostrato che i medici originali avessero commesso errori nel loro lavoro medico, ma ha mostrato che il pacchetto digitale rilasciato era disordinato e conteneva indizi nascosti che potevano trarre in inganno l'intelligenza artificiale.

Questa indagine serve come potente promemoria del fatto che, quando condividiamo dati medici per l'apprendimento informatico, dobbiamo essere estremamente cauti. L'obiettivo è insegnare alle macchine a comprendere la malattia, non a riconoscere le stranezze di una specifica fotocamera o le abitudini di un tecnico specifico. I ricercatori hanno concluso che i futuri rilasci di immagini mediche devono essere molto più trasparenti. Suggeriscono che chiunque rilasci tali dati dovrebbe fornire un elenco chiaro e immutabile che colleghi ogni immagine a un paziente specifico e confermi che nessun paziente appaia due volte. Raccomandano anche di controllare che tutte le immagini abbiano lo stesso aspetto in termini di dimensioni e formato, in modo che nessun pattern nascosto possa infiltrarsi. Senza queste salvaguardie, gli alti punteggi che vediamo nei test informatici potrebbero essere un'illusione, e la tecnologia potrebbe non essere pronta ad aiutare i medici a salvare vite umane nel mondo reale.