Assessing the Reliability of LLM-Generated Phenotype-Genotype Associations Through External Validation

Nel mondo della medicina moderna, la storia clinica di un paziente è spesso scritta in due lingue diverse. Una lingua descrive ciò che il medico vede: una febbre alta, un particolare ritmo cardiaco o una specifica forma di un osso. Gli scienziati chiamano questi tratti osservabili fenotipi. L'altra lingua è nascosta all'interno delle cellule del corpo, scritta nel codice del DNA. Questo codice contiene geni e minuscole variazioni nella scrittura genetica che possono spiegare perché una persona abbia un certo tratto o perché possa sviluppare una malattia specifica. Collegare queste due lingue — far corrispondere un sintomo visibile alla sua causa genetica invisibile — è la base della medicina di precisione. Ciò consente ai medici di diagnosticare condizioni rare, prevedere i rischi e scegliere trattamenti che si adattino alla biologia unica di una persona. Tuttavia, la biblioteca delle connessioni note tra sintomi e geni cresce così velocemente che gli esperti umani non possono leggere ogni nuovo articolo scientifico per aggiornare i propri registri. Il divario tra ciò che viene pubblicato e ciò che è ufficialmente registrato si sta allargando, lasciando i medici senza le risposte più recenti di cui hanno bisogno.

Per colmare questo divario, i ricercatori si stanno rivolgendo all'intelligenza artificiale, specificamente a un tipo di programma per computer noto come modello linguistico di grandi dimensioni (large language model). Questi programmi hanno letto enormi quantità di testo e possono generare nuove frasi che sembrano e suonano come la scrittura umana. L'idea è che, se questi programmi avessero letto abbastanza letteratura medica, potrebbero essere in grado di suggerire istantaneamente quali geni o variazioni genetiche sono collegati ai sintomi di un paziente, agendo come un assistente di ricerca super veloce. Ma esiste una seria preoccupazione: questi programmi sono noti per inventare talvolta dei fatti. Possono produrre un nome di un gene che sembra reale ma che non esiste, o collegare un gene reale a una malattia che non ha nulla a che vedere con esso. Se un medico si affidasse a un simile errore, ciò potrebbe portare a una diagnosi errata. La domanda critica è se questi strumenti di intelligenza artificiale possano effettivamente trovare connessioni reali e verificate tra sintomi e geni, o se stiano principalmente tirando a indovinare.

Un team di ricercatori della Vanderbilt University ha deciso di testare questa domanda con un esperimento rigoroso. Non hanno solo chiesto ai computer di indovinare; hanno costruito un sistema per controllare ogni singola risposta rispetto ai database più affidabili al mondo. Hanno selezionato quattro dei modelli linguistici più avanzati disponibili e hanno chiesto loro di eseguire sei diversi tipi di compiti. In alcuni compiti, al computer veniva fornito un elenco di sintomi e gli veniva chiesto di nominare i geni o le variazioni genetiche che li causano. In altri, al computer veniva fornito un gene o una variazione genetica e gli veniva chiesto di descrivere i sintomi che provoca. Hanno testato questi modelli sia su condizioni comuni, come l'ipertensione o il diabete, sia su malattie molto rare che colpiscono solo un manipolo di persone. I ricercatori hanno poi preso ogni singola associazione generata dai modelli e l'hanno fatta passare attraverso un processo di verifica. Hanno controllato se i nomi dei geni fossero reali, se le variazioni genetiche esistessero nei registri standard e, cosa più importante, se il legame tra il sintomo e il gene fosse supportato da prove nei principali cataloghi scientifici.

I risultati hanno rivelato un quadro complesso di ciò che questi strumenti possono e non possono fare. Complessivamente, i modelli di intelligenza artificiale sono stati sorprendentemente bravi a generare nomi che fossero reali. Quasi tutti i geni e le variazioni genetiche suggeriti esistevano effettivamente nel mondo biologico; i computer raramente inventavano nomi falsi. Tuttavia, il vero test era se la connessione tra il sintomo e il gene fosse vera. Quando i ricercatori hanno controllato le prove, hanno scoperto che circa il 74 percento delle associazioni generate dai modelli poteva essere ricondotta ad almeno un database scientifico stabilito. Ciò significa che per quasi tre suggerimenti su quattro, c'era una qualche prova nella letteratura a sostenerlo. Di questi, circa il 9 percento aveva un supporto molto forte, mentre un altro 54 percento aveva un supporto moderato. Questo suggerisce che questi strumenti possono effettivamente agire come potenti generatori di idee candidate per medici e scienziati da investigare.

Tuttavia, le prestazioni non erano uniformi in tutti i tipi di domande. I modelli hanno ottenuto risultati migliori quando interrogati sui geni rispetto a quando interrogati su specifiche variazioni genetiche, note come polimorfismi a singolo nucleotide o SNP. Quando il compito era collegare un sintomo a un gene, i modelli riuscivano a trovare prove forti o moderate per circa due terzi delle loro risposte. Ma quando il compito passava al collegamento di un sintomo a una specifica variazione genetica, il tasso di successo diminuiva significativamente. I modelli faticavano maggiormente con le malattie rare. Sebbene potessero spesso trovare connessioni per condizioni comuni come le malattie cardiache o il diabete, spesso fallivano nel trovare legami verificati per i disturbi ultra-rari. Ciò evidenzia un limite non solo dell'intelligenza artificiale, ma anche dei database stessi. I registri scientifici per le malattie rare sono spesso incompleti o dispersi, rendendo più difficile per il computer trovare una corrispondenza anche se esiste.

Lo studio ha anche confrontato i quattro diversi modelli per vedere se uno fosse chiaramente superiore. Un modello, Claude Sonnet, è stato il migliore in assoluto, generando con successo associazioni supportate da prove circa il 69 percento delle volte. Un altro modello, GPT-5.5, si è classificato secondo con circa il 65 percento. Gli altri due modelli sono rimasti indietro, con tassi di successo intorno al 61 e al 57 percento. Interessante notare che i modelli migliori nel trovare connessioni geniche non erano sempre gli stessi migliori nel trovare connessioni di variazioni genetiche. Ciò suggerisce che ogni modello ha appreso schemi differenti dai vasti volumi di testo su cui è stato addestrato. I ricercatori hanno anche esaminato quanto spesso i diversi modelli concordassero tra loro. Hanno scoperto che i modelli raramente producevano l'esatto stesso elenco di risposte, anche quando ricevevano la stessa domanda. A volte concordavano su fatti ben noti, ma per molte altre domande offrivano suggerimenti completamente diversi. Questa mancanza di accordo significa che affidarsi a un singolo modello è rischioso; se un modello suggerisce un legame, non garantisce che sia corretto, e se due modelli non concordano, non significa che entrambi abbiano torto.

Forse il risultato più importante è stata la natura degli errori commessi dai modelli. Quando i ricercatori hanno esaminato manualmente i suggerimenti che non potevano essere trovati in alcun database, hanno scoperto che la maggior parte non erano semplici tentativi casuali. Circa il 60 percento dei mancati abbinamenti riguardava casi in cui il modello collegava un gene o una variazione reale alla malattia sbagliata. Gli altri fallimenti erano spesso dovuti al fatto che i database scientifici semplicemente non possedevano ancora l'informazione. Questa distinzione è cruciale. Significa che, sebbene i modelli non inventino solitamente nomi falsi, sono spesso sicuri delle connessioni errate. Questo crea un pericolo specifico per l'uso clinico: un medico non può distinguere tra un legame corretto e verificato e un'allucinazione sicura solo guardando l'output.

I ricercatori hanno concluso che questi strumenti di intelligenza artificiale sono utili, ma devono essere trattati con cautela. Sono eccellenti nel generare un lungo elenco di possibilità, agendo come punto di partenza per gli esperti umani. Tuttavia, non possono essere affidati a fornire la risposta finale. Ogni loro suggerimento deve essere controllato rispetto ai record stabiliti prima di poter essere utilizzato in un contesto medico. Lo studio ha dimostrato che l'affidabilità dell'output dipende fortemente dal tipo di domanda posta. Per le malattie comuni e le domande a livello di gene, gli strumenti sono piuttosto affidabili. Per le malattie rare e le specifiche variazioni genetiche, sono molto meno certi, riflettendo le attuali lacune nella nostra conoscenza scientifica collettiva. La strada da seguire consiste nell'utilizzare questi modelli per accelerare il processo di scoperta, ma accoppiando sempre il loro output con un rigoroso passaggio di verifica. In questo modo, la velocità dell'intelligenza artificiale può essere combinata con l'accuratezza della scienza curata dall'uomo, garantendo che le connessioni stabilite tra i sintomi di un paziente e i suoi geni siano sia veloci che vere.