$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

Nel ronzio silenzioso di un dipartimento di radiologia di un ospedale, un medico studia una TC, cercando la sottile differenza tra un polmone sano e uno malato. Per l'occhio umano, questo compito si basa su anni di formazione per riconoscere come una specifica malattia modifichi l'aspetto del tessuto normale. Negli ultimi anni, i computer hanno iniziato a imparare questa stessa abilità attraverso sistemi di intelligenza artificiale noti come modelli visione-linguaggio. Questi sistemi sono addestrati per osservare immagini mediche e leggere testi clinici, imparando a connettere ciò che vedono con ciò che è scritto. L'obiettivo è creare un assistente digitale che possa aiutare i medici a interpretare le scansioni, individuare le anomalie e generare referti. Tuttavia, rimane un ostacolo significativo: questi modelli informatici spesso faticano a comprendere che una malattia non è un oggetto separato che fluttua nel corpo, ma piuttosto un cambiamento che avviene alla struttura normale del corpo. Essi vedono l'immagine nel suo insieme, ma hanno difficoltà a isolare esattamente come una lesione, o un'area danneggiata, differisca dal tessuto sano che la circonda. Senza questa precisa comprensione, il computer potrebbe identificare che qualcosa non va, ma non può spiegare in modo affidabile esattamente cosa non va o dove si trova con la precisiono di cui un medico ha bisogno.

Un team di ricercatori ha proposto un nuovo modo per insegnare a questi modelli informatici, un approccio che si concentra sul concetto di cambiamento piuttosto che solo sull'immagine finale. Essi chiamano il loro approccio un metodo per l'apprendimento di rappresentazioni visive attraverso il ragionamento controfattuale. In termini semplici, invece di mostrare al computer solo l'immagine di un polmone malato e chiedergli di nominare la malattia, i ricercatori insegnano al computer a immaginare come apparirebbe quel punto specifico se fosse sano. Il sistema impara prima una mappa dettagliata di come le parti sane del corpo siano disposte nello spazio, comprendendo che il cuore si trova in una specifica relazione con i polmoni e che i vasi sanguigni seguono un percorso continuo. Una volta stabilita questa mappa dell'anatomia normale, il computer osserva un'area malata e pone una domanda ipotetica: "Se questo punto fosse normale, come apparirebbe?". Confrontando l'immagine reale del tessuto malato con questa versione sana immaginata, il sistema calcola la differenza specifica. Questa differenza, o "incremento" di cambiamento, diventa la chiave per identificare la malattia. I ricercatori hanno scoperto che, concentrandosi su questo divario tra lo stato reale e quello sano immaginato, il computer diventa molto più bravo a individuare dove si trova un problema e a descrivere esattamente di che tipo di problema si tratta.

Il metodo si basa su due fasi distinte. Primo, il sistema attraversa una fase di addestramento in cui apprende la geometria del corpo umano in assenza di malattie. Gli vengono mostrate migliaia di immagini di anatomia sana e gli viene insegnato ad organizzare la sua comprensione interna di queste strutture in modo che le relazioni spaziali corrispondano alla realtà. Se il modello sa dove dovrebbe trovarsi il polmone sinisto rispetto al polmone destro, e come il tessuto fluisce continuamente all'interno di un singolo organo, costruisce un punto di riferimento stabile. Questo è fondamentale perché fornisce al computer un punto di riferimento affidabile. Nella seconda fase, il sistema incontra immagini contenenti lesioni, come noduli o aree di infiammazione. Per ogni porzione di tessuto malato, il sistema utilizza la sua conoscenza dell'anatomia sana per stimare come quella porzione dovrebbe apparire se non fosse malata. Successivamente, sottrae questa versione sana stimata dall'immagine malata reale. Il risultato è un segnale chiaro che evidenzia solo il cambiamento patologico, eliminando il rumore di fondo dell'anatomia normale. Ciò permette al modello di apprendere che un "nodulo polmonare" non è solo una forma casuale, ma un tipo specifico di cambiamento visivo rispetto al tessuto polmonare normale.

Per testare questa idea, i ricercatori hanno applicato il loro metodo a diversi modelli esistenti di intelligenza artificiale medica e li hanno valutati su due grandi dataset pubblici contenenti scansioni TC del torace. Un dataset includeva oltre duemila immagini con note dettagliate su quattro tipi specifici di condizioni polmonari, mentre l'altro conteneva centinaia di scansioni con annotazioni di esperti per i noduli polmonari. I risultati hanno mostrato un miglioramento drammatico nella capacità dei modelli di eseguire due compiti critici: localizzare l'esatta posizione di una lesione nella scansione e identificare correttamente il tipo di malattia. Ad esempio, quando testato su uno dei modelli, la capacità di individuare correttamente la posizione di un problema è passata da circa il dieci per cento di accuratezza a oltre il cinquanta per cento. Allo stesso modo, l'accuratezza nell'identificare il tipo specifico di malattia è più che triplicata in alcuni casi. I ricercatori hanno osservato che, man mano che fornivano al sistema più esempi di tessuto malato, la sua capacità di distinguere tra diversi tipi di condizioni diventava più acuta, proprio come uno studente che impara a distinguere tra uccelli simili dopo averne visti molti di più.

Lo studio ha anche dimostrato che questo approccio funziona bene anche quando al computer viene chiesto di generare report scritti completi sulle scansioni, un compito noto come generazione di referti radiologici. In questi test, i modelli dotati del nuovo metodo sono stati in grado di produrre report che non solo erano più accurati nelle loro descrizioni, ma erano anche più capaci di collegare tali descrizioni alle parti corrette dell'immagine. In un caso studio specifico, un modello standard non era riuscito a notare un'opacità a vetro smerigliato, un'affollamento sottile nel polmone, e ha riportato che la scansione era normale. Il modello utilizzando il nuovo metodo, tuttavia, ha identificato correttamente l'anomalia, ne ha descritto la consistenza e la forma, e ne ha annotato la posizione nella parte inferiore del polmone. Questo successo suggerisce che, insegnando al computer a comprendere la disposizione normale del corpo e poi misurando la deviazione da tale disposizione, il sistema acquisisce una comprensione della malattia più profonda e affidabile. I ricercatori hanno concluso che questo modo di apprendere, che separa il normale dall'anomalo attraverso un processo di confronto, offre uno strumento potente per migliorare il modo in cui l'intelligenza artificiale interpreta le immagini mediche, portando potenzialmente a diagnosi più accurate e a un migliore supporto per i medici in futuro.