Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms

Questo studio valuta i modelli linguistici di grandi dimensioni all'avanguardia per la traduzione della documentazione multimodale dei fenotipi clinici in algoritmi eseguibili per le cartelle cliniche elettroniche, rilevando che, sebbene interpretino efficacemente il testo strutturato, le loro prestazioni peggiorano significativamente con input costituiti esclusivamente da diagrammi, identificando infine la qualità della documentazione, e non le capacità del modello, come il principale collo di bottiglia.

L'essenziale

Immagina di essere uno chef maestro che cerca di ricreare un piatto famoso, ma non hai la ricetta. Invece, hai una pila disordinata di appunti: alcuni scarabocchiati su tovaglioli, altri disegnati come fumetti, e altri ancora scritti in un confuso mix di lingue. Il tuo obiettivo è trasformare questi appunti disordinati in un manuale di istruzioni preciso, passo dopo passo, che una cucina robotica possa seguire per cucinare il piatto perfettamente.

Questo articolo riguarda il test di due chef AI super-intelligenti (chiamati Modelli Linguistici di Grandi Dimensioni, o LLM) per vedere se possono svolgere questo compito per la ricerca medica.

Il Problema: La Ricetta "Persa nella Traduzione"

Nella ricerca medica, gli scienziati definiscono gruppi specifici di pazienti (come "persone con diabete di tipo 2") utilizzando regole complesse. Queste regole sono solitamente scritte in documenti leggibili dall'uomo che sembrano un mix di storie, diagrammi di flusso e tabelle.

Per utilizzare queste regole nel sistema informatico di un ospedale, un esperto umano deve tradurle manualmente in un linguaggio informatico (SQL). È come tradurre una poesia in codice informatico. Richiede molto tempo, è molto tedioso e, se due esperti diversi lo fanno, potrebbero ottenere risultati leggermente diversi. I ricercatori volevano vedere se l'AI poteva eseguire questa traduzione automaticamente.

L'Esperimento: Testare gli Chef AI

I ricercatori hanno selezionato due dei modelli AI più intelligenti disponibili (GPT o3 di OpenAI e Claude Opus 4.1 di Anthropic) e hanno fornito loro cinque diverse "ricette" (definizioni mediche per condizioni come lesioni renali, infarti e diabete) da una libreria pubblica chiamata PheKB.

Hanno testato l'AI in tre modi diversi, come dare allo chef diversi tipi di istruzioni:

1. Il Pacchetto Completo: L'AI ha ricevuto l'intero documento (testo, grafici e diagrammi).
2. Solo la Storia: L'AI ha ricevuto solo il testo scritto e le tabelle, ma nessuna immagine.
3. Solo le Immagini: L'AI ha ricevuto solo i diagrammi e i flussi grafici, senza parole.

I Risultati: Cosa Ha Funzionato e Cosa No

1. La Trappola "Solo Immagini"
Quando l'AI ha tentato di leggere solo i diagrammi (i flussi grafici), ha fallito miseramente. Era come chiedere a uno chef di cucinare un pasto complesso guardando solo un disegno di una pentola e di una forchetta, senza testo che spiegasse gli ingredienti o i livelli di calore. L'AI ha perso dettagli cruciali, ha sbagliato i tempi e ha prodotto istruzioni che non avrebbero funzionato.

2. La "Storia" è Re
Quando l'AI ha ricevuto il testo scritto (anche senza le immagini), ha svolto un ottimo lavoro. Si è scoperto che le parole scritte contenevano quasi tutte le informazioni necessarie. L'AI poteva comprendere la logica e scrivere il codice informatico con precisione.

3. L'AI è un Ottimo Disegnatore, Non un Editore Finale
Entrambi i modelli AI sono stati sorprendentemente bravi a comprendere il quadro generale e la logica delle regole. Tuttavia, hanno commesso errori specifici:

• Ingredienti Mancanti: A volte dimenticavano di includere codici medici specifici (come un tipo particolare di farmaco).
• Numeri Sbagliati: Potrebbero sbagliare una soglia (ad esempio, dicendo "pressione sanguigna superiore a 140" quando la regola era "superiore a 150").
• Inventare Cose: A volte, l'AI inventava regole o condizioni che non erano affatto nel documento originale (una "allucinazione").
• Confondere il Formato: Quando guardavano i diagrammi, spesso non riuscivano a capire come trasformare una freccia visiva in un comando informatico logico "se-allora".

La Grande Conclusione

L'articolo conclude che questi modelli AI non sono ancora pronti a sostituire gli esperti umani. Non possono semplicemente guardare un documento disordinato e sputare fuori un programma informatico perfetto e pronto all'uso.

Tuttavia, sono eccellenti generatori di bozze iniziali. Se si fornisce loro un testo chiaro e strutturato, possono scrivere un ottimo punto di partenza per il codice. Ma poiché possono commettere errori sottili ma pericolosi (come sbagliare un numero o omettere una regola), un esperto umano deve sempre verificare il loro lavoro.

La Lezione Finale:
Il problema più grande non è che l'AI non sia abbastanza intelligente; è che i documenti medici non sono scritti in un modo facile da leggere per i computer. Se medici e ricercatori standardizzassero i loro appunti per renderli più chiari e strutturati (come scrivere una ricetta in un formato standard invece di scarabocchiare su un tovagliolo), l'AI diventerebbe molto più utile. Fino ad allora, l'AI è un assistente utile, ma l'esperto umano deve rimanere il capo.

Sommario tecnico

Riepilogo Tecnico: Valutazione dei Modelli Linguistici di Grande Dimensione per la Traduzione di Documentazioni Multimodali di Fenotipi in Algoritmi di Fenotipizzazione Esecutabili per le Cartelle Cliniche Elettroniche

Enunciato del Problema
La traduzione delle definizioni cliniche di fenotipi in query eseguibili per database di Cartelle Cliniche Elettroniche (EHR) rappresenta un collo di bottiglia critico ma ad alta intensità di lavoro nella ricerca biomedica. Sebbene gli algoritmi di fenotipizzazione siano essenziali per identificare coorti di pazienti su larga scala, sono tipicamente documentati in formati ad alto livello e leggibili dall'uomo (testo narrativo, tabelle, diagrammi di flusso, diagrammi) piuttosto che in forme pronte per il calcolo. Convertire queste specifiche multimodali in linguaggio di interrogazione strutturato (SQL) adattato a modelli di dati specifici (ad esempio, OMOP CDM) richiede sforzo manuale, competenza di dominio e validazione iterativa. Questo processo introduce variabilità interpretativa, limitando la portabilità, la comparabilità e il riutilizzo delle coorti tra le istituzioni. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato competenza nella generazione di codice e nel ragionamento multi-step, non è ancora chiaro se siano in grado di convertire fedelmente documentazione di fenotipi multimodali del mondo reale in SQL conformi agli standard ed eseguibili.

Metodologia
Questo studio ha valutato sistematicamente la capacità di due LLM all'avanguardia — OpenAI GPT o3 e Claude Opus 4.1 — di tradurre la documentazione dei fenotipi in query SQL conformi a OMOP.

• Dataset: Sono stati selezionati cinque fenotipi clinici consolidati da PheKB: Insufficienza Renale Acuta (AKI), Malattie Autoimmuni (ADs), Ipercolesterolemia Familiare (FH), Eventi Avversi Cardiovascolari Maggiori (MACE) e Diabete Mellito di Tipo 2 (T2DM). Questi sono stati scelti per la loro diversità nei domini clinici e per la variabilità delle complessità di documentazione.
• Modalità di Input: Per isolare l'impatto del formato di documentazione, sono stati testati tre scenari di input per ciascun fenotipo e modello:
  1. Documento Completo: Testo narrativo, tabelle, diagrammi e pseudocodice.
  2. Solo Testo: Testo narrativo e tabelle (escludendo diagrammi e pseudocodice).
  3. Solo Diagramma: Esclusivamente diagrammi visivi.
• Pipeline di Prompting: È stata impiegata una pipeline a quattro stadi di pensiero concatenato (chain-of-thought):
  1. Estrazione di un pseudo-algoritmo strutturato dall'input.
  2. Verifica del pseudo-algoritmo rispetto al documento sorgente.
  3. Generazione di SQL eseguibili basati sul pseudo-algoritmo verificato.
  4. Revisione e correzione dell'SQL generato.
• Valutazione: Due esperti di fenotipizzazione clinica hanno valutato indipendentemente le query generate su una scala da 0 a 4 in sette dimensioni: accuratezza logica/booleana, implementazione dei vincoli temporali, precisione dei set di valori, correttezza dello schema OMOP, efficienza di codifica, leggibilità umana e prontezza per il deployment locale. L'accordo inter-valutatori è stato sostanziale (kappa di Cohen > 0,79).
• Analisi degli Errori: Una revisione qualitativa ha categorizzato i fallimenti in sette tipi distinti: errori di fedeltà logica, incompletezza dei set di concetti, errori di schema/implementazione, errori di soglia/parametro, allucinazioni, sottodeterminazione/sovrageneralizzazione e limitazioni nell'interpretazione delle modalità.

Risultati Chiave

• Sensibilità alla Modalità di Input: La qualità dell'SQL generato era altamente sensibile alla rappresentazione dell'input. Fornire solo diagrammi ha portato a un degrado drammatico delle prestazioni in tutte le dimensioni di valutazione, in particolare nella precisione dei set di valori, nei vincoli temporali e nell'accuratezza logica. Al contrario, l'input solo testo ha prodotto prestazioni che si avvicinavano strettamente a quelle dell'input documento completo, suggerendo che la prosa narrativa cattura la maggior parte delle informazioni necessarie per la generazione SQL.
• Prestazioni del Modello: In condizioni di documento completo e solo testo, Claude Opus 4.1 ha generalmente ottenuto punteggi migliori o comparabili in cinque delle sette dimensioni, mentre OpenAI o3 ha superato le prestazioni in accuratezza logica/booleana e prontezza per il deployment locale. Negli scenari solo diagramma, i divari di prestazioni si sono ristretti, sebbene OpenAI o3 abbia mantenuto un vantaggio nell'accuratezza logica.
• Varianza Specifica per Fenotipo: Il fenotipo Malattie Autoimmuni (ADs) ha ottenuto i punteggi più alti per entrambi i modelli. Ciò è stato attribuito al suo stile di documentazione, che utilizzava pseudocodice esplicito e ben organizzato, in contrasto con la documentazione meno strutturata di altri fenotipi.
• Categorie di Errori: L'analisi ha identificato sette modalità di fallimento. Gli errori di fedeltà logica (ad esempio, interpretare erroneamente una singola diagnosi come sufficiente per una condizione che richiede eventi ripetuti) e l'incompletezza dei set di concetti (mancanza di ID concettuali richiesti) sono stati tra i più rilevanti. Sono state osservate anche allucinazioni, in cui i modelli introducevano concetti clinici o soglie non supportati. Le limitazioni nell'interpretazione delle modalità erano più evidenti negli input solo diagramma, dove i modelli non riuscivano a tradurre i criteri di esclusione visivi in logica SQL.

Significato e Affermazioni
Il paper posiziona gli LLM non come implementatori autonomi di fenotipi clinici, ma come capaci "generatori di prima bozza", la cui utilità è strettamente condizionata dalla qualità della documentazione di input. Lo studio afferma che:

1. La Documentazione è il Collo di Bottiglia Primario: La fedeltà delle query di fenotipizzazione generate dagli LLM dipende più dalla standardizzazione e dalla struttura della documentazione di input che dalle capacità intrinseche dei modelli. Il linguaggio naturale strutturato è necessario e in gran parte sufficiente per prestazioni quasi ottimali, mentre i diagrammi visivi da soli sono insufficienti.
2. La Supervisione Esperta è Obbligatoria: A causa della diversità e del significato clinico degli errori identificati (inclusi allucinazioni e imprecisioni delle soglie), le query generate dagli LLM non sono ancora adatte per un deployment autonomo. La revisione obbligatoria da parte di esperti rimane essenziale, in particolare per i vincoli temporali e la precisione dei set di concetti.
3. Percorso verso la Scalabilità: La standardizzazione della documentazione dei fenotipi in formati orientati all'implementazione (come pseudocodice esplicito) offre una strada promettente per migliorare la fedeltà della traduzione senza richiedere ulteriori avanzamenti nell'architettura del modello.
4. Paradigma Collaborativo: I risultati suggeriscono un flusso di lavoro collaborativo in cui gli LLM accelerano la stesura iniziale degli algoritmi di fenotipizzazione, che vengono poi raffinati attraverso una supervisione umana strutturata, potenzialmente migliorando la portabilità e il riutilizzo delle coorti cliniche attraverso le reti di ricerca.

Gli autori riconoscono le limitazioni, inclusa la valutazione di soli cinque fenotipi e due modelli, l'affidamento alla valutazione esperta piuttosto che alla revisione di cartelle cliniche come standard di riferimento per l'accuratezza delle coorti, e la mancanza di ottimizzazione sistematica dei prompt. Si suggerisce che il lavoro futuro si concentri su benchmark longitudinali, pannelli di revisione più ampi e validazione rispetto a dataset standard di riferimento.