Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Immagina di cercare di risolvere un puzzle enorme e complesso, ma invece di avere solo una scatola di pezzi, ne hai diverse. Una scatola contiene immagini colorate (come le scansioni mediche), un'altra ha lunghe liste di numeri (come i codici genetici), una terza contiene diari quotidiani (come le cartelle cliniche dei pazienti) e una quarta ha dati da uno smartwatch (come la frequenza cardiaca). Nel mondo della scienza medica, questo viene chiamato dato multimodale. "Multi" significa molti, e "modale" si riferisce ai diversi tipi o "modalità" di informazione. I medici hanno sempre saputo che guardare un solo tipo di informazione — come solo la radiografia o solo l'esame del sangue — è come cercare di capire un intero film guardando un singolo fotogramma. Per avere la storia completa della salute di un paziente, è necessario combinare tutti questi diversi pezzi.

Tuttove, mescolare queste diverse scatole di puzzle è incredibilmente complicato. I pezzi non si incastrano naturalmente; hanno forme, dimensioni e colori diversi. Alcune scatole mancano di pezzi interi, altre hanno migliaia di minuscoli pezzi mentre altre ne hanno solo pochi, e a volte i pezzi sono così piccoli o l'immagine è così sfocata che è difficile capire cosa stia succedendo. Questo è il problema che gli scienziati nel campo dell'Intelligenza Artificiale (IA) stanno cercando di risolvere. Stanno costruendo programmi per computer che possano imparare a mettere insieme queste diverse scatole di puzzle per aiutare i medici a prendere decisioni migliori. Ma prima di poter costruire il robot risolutore di puzzle perfetto, devono capire come gestire la confusione del mondo reale.

Questo documento è un gigantesco "pagella" dell'ultimo decennio di tentativi di risolvere questo puzzle. Gli autori, un team di ricercatori di università tedesche, non hanno costruito un nuovo robot loro stessi. Inveve, hanno agito come detective, dando la caccia a 69 diversi studi pubblicati tra il 2011 e la fine del 2023. Hanno letto ognuno di essi per scoprire quali problemi questi scienziati hanno incontrato quando cercavano di mescolare i dati medici e, cosa più importante, quali trucchi hanno usato per risolvere tali problemi. Volevano sapere: Quali sono i mal di testa più grandi in questo campo e stiamo migliorando nel risolverli?

I Cinque Grandi Mal di Testa

Dopo aver analizzato centinaia di articoli, il team ha scoperto che quasi tutti combattevano le stesse cinque battaglie.

1. Il Problema del Pezzo Mancante
Immagina di cercare di risolvere il puzzle, ma per alcuni pazienti la scatola della "radiografia" è completamente vuota. Forse la macchina si è rotta, il paziente non poteva permettersi il test, o si è ritirato dallo studio. Nel mondo reale, questo accade tutto il tempo. L'articolo ha scoperto che 15 dei 69 studi (circa il 22%) hanno dovuto affrontare questo problema.

• La Soluzione: Invece di limitarsi a indovinare o lasciare lo spazio vuoto, programmi per computer intelligenti stanno imparando a "allucinare" il pezzo mancante. Utilizzano tecniche come le Reti Generative Avversarie (GAN), che sono come due artisti IA che giocano a un gioco: uno cerca di disegnare una radiografia falsa che sembri reale, e l'altro cerca di individuare il falso. Attraverso questa pratica, l'IA impara a creare un tentativo realistico per il dato mancante. Altri metodi utilizzano la distillazione della conoscenza (knowledge distillation), dove un'IA "insegnante" che sa tutto su un tipo di dato insegna a un'IA "studente" come indovinare il resto, anche se non ha visto tutti i pezzi.

2. Il Problema della Folla Esigua
A volte, hai un puzzle, ma hai solo un manipolo di persone per aiutarti a risolverlo. Nella ricerca medica, questo è chiamato dataset limitato (small dataset). L'articolo ha scoperto che questa era la sfida più comune, presente in 17 studi (25%). Se provi a insegnare a un computer a riconoscere una malattia rara con solo cinque esempi, probabilmente memorizzerà solo quelle cinque immagini e fallirà quando ne vedrà una nuova.

• La Soluzione: Per aggirare questo problema, i ricercatori utilizzano l'Apprendimento per Trasferimento (Transfer Learning). Questo è come prendere uno studente che ha già studiato per un milione di ore su immagini generiche (come gatti e auto) e dargli un corso intensivo rapido su immagini mediche. Utilizzano anche l'Aumento dei Dati (Data Augmentation), dove il computer prende le poche immagini che ha e le ruota, le ribalta o ne aumenta la luminosità artificialmente per creare "nuove" immagini di pratica, facendo sentire alla piccola folla come un grande stadio.

3. Il Problema della Discrepanza di Dimensioni
Immagina di cercare di mescolare un secchio di sabbia con un singolo chicco di riso. Il secchio di sabbia rappresenta i dati di imaging (che possono avere milioni di pixel), e il chicco di riso rappresenta i dati genomici (che potrebbero avere solo qualche migliaio di numeri). Se li versi semplicemente insieme, il computer ignorerà il riso e guarderà solo la sabbia. Questo è chiamato squilibrio nella dimensionalità (imbalance in dimensionality), e 7 studi lo hanno affrontato.

• La Soluzione: La soluzione è rimpicciolire il secchio di sabbia alle dimensioni del riso, o dare al riso un "peso" speciale in modo che il computer ci presti attenzione. I ricercatori utilizzano le funzioni di perdita pesate (weighted loss functions), che sono come un arbitro che grida: "Ehi, non ignorare il piccolo dato! È importante!". Questo costringe il computer ad ascoltare sia le immagini giganti che le piccole liste genetiche allo stesso modo.

4. Il Problema della "Scatola Nera"
Anche quando il computer risolve il puzzle perfettamente, spesso si rifiuta di spiegare come ci è riuscito. In medicina, questo è pericoloso. Se un computer dice: "Questo paziente ha il cancro", ma non può dire al medico perché, il medico non può fidarsi. Questa mancanza di interpretabilità è stata una sfida in 14 studi.

• La Soluzione: Gli scienziati stanno costruendo delle "torce elettriche" per l'IA. Utilizzano strumenti come Grad-CAM e SHAP, che evidenziano esattamente quali parti di una radiografia o quali geni specifici il computer ha guardato per prendere la sua decisione. È come se il computer disegnasse un cerchio intorno al punto sospetto sulla radiografia e dicesse: "Ho visto questo, quindi ho preso la mia decisione".

5. Il Problema della Strategia di Miscelazione
Infine, c'è la questione di come mescolare i dati. Dovresti mescolare prima i pezzi grezzi (Fusione Precoce - Early Fusion), mescolarli dopo che sono stati parzialmente risolti (Fusione Intermedia - Intermediate Fusion) o risolvere separatamente e combinare le risposte alla fine (Fusione Tardiva - Late Fusion)? L'articolo ha scoperto che 39 degli studi su 69 (più della metà) hanno utilizzato la Fusione Intermedia.

• La Soluzione: Questo approccio è come avere un team di specialisti. L'esperto di radiografie e l'esperto di analisi del sangue studiano prima i propri indizi, poi si incontrano a metà strada per confrontare le note prima di prendere una decisione finale. Questo sembra funzionare meglio rispetto al mescolare tutto all'inizio o al aspettare fino alla fine.

Cosa Dice il Documento (e Cosa Non Dice)

Gli autori sono cauti nel non dichiarare una vittoria totale. Hanno scoperto che, sebbene esistano molti trucchi ingegnosi, non esiste un unico metodo che sia la bacchetta magica capace di funzionare per ogni malattia o per ogni tipo di dato. La soluzione migliore dipende interamente dal tipo specifico di puzzle che si sta cercando di risolvere.

Hanno anche escluso esplicitamente alcune idee. Ad esempio, hanno notato che il semplice fatto di incollare tutti i dati insieme senza pensare alle differenze (un metodo chiamato "Fusione Precoce") spesso fallisce quando i tipi di dati sono troppo diversi, come mescolare un video con un foglio di calcolo. Hanno anche sottolineato che molti studi si affidano a dataset pubblici (come l'Alzheimer's Disease Neuroimaging Initiative, usato in 18 studi, o il Cancer Genome Atlas, usato in 8). Sebbene questi siano ottimi per i test, l'articolo suggerisce che affidarsi troppo ad essi potrebbe significare che non stiamo testando le nostre idee sui dati disordinati del mondo reale presenti negli ospedali veri e propri.

Inoltre, l'articolo evidenzia una lacuna preoccupante: solo 19 dei 69 studi (27,5%) hanno condiviso sia i propri dati che il proprio codice informatico. Ciò significa che per la maggior parte di queste soluzioni ingegnose, altri scienziati non possono facilmente controllare il lavoro o costruirci sopra. Gli autori suggeriscono che il campo debba essere più aperto, come condividere una ricetta piuttosto che solo la torta finita.

Il Punto Fondamentale

Questa revisione suggerisce che stiamo facendo progressi, ma la strada è ancora accidentata. I problemi più frequenti sono la mancanza di dati e la mancanza di abbastanza esempi da cui imparare. Gli strumenti più promettenti in questo momento coinvolgono l'insegnare ai computer a indovinare i pezzi mancanti, prendere in prestito la conoscenza da altri compiti e usare delle "torce elettriche" per vedere come pensano.

L'articolo conclude che il futuro non riguarda la ricerca di un algoritmo perfetto. Invece, si tratta di costruire sistemi flessibili che possano gestire i pezzi mancanti, lavorare con le folle esigue ed esplicare il proprio ragionamento. Come dicono gli autori, l'obiettivo è passare dal semplice "creare modelli" al creare modelli che siano robusti, affidabili e pronti ad aiutare i veri medici negli ospedali reali. Fino ad allora, il puzzle rimane un lavoro in corso, ma stiamo sicuramente migliorando nel trovare i pezzi.