On Using Large Language Models to Enhance Clinically-Driven Missing Data Recovery Algorithms in Electronic Health Records

Sintesi Tecnica: Potenziamento del Recupero di Dati Mancanti Guidato dalla Clinica nelle EHR con gli LLM

Problema
Le cartelle cliniche elettroniche (EHR) sono fondamentali per i Sistemi Sanitari di Apprendimento (LHS) e l'operazionalizzazione dei fenotipi computabili, tuttavia soffrono di una significativa mancanza di dati ed errori. Nel contesto dell'Indice di Carico Allostatico (ALI)—un fenotipo che misura l'usura fisiologica ("wear and tear") attraverso i sistemi cardiovascolare, metabolico e infiammatorio—alcuni biomarcatori critici sono frequentemente mancanti nei dati estratti dalle EHR. Questa mancanza è spesso "non casuale" (not at random), dipendendo dalle decisioni cliniche (ad esempio, se un medico ordina un test specifico). Sebbene le revisioni esperte delle cartelle (verifica dei documenti sorgente) possano recuperare i valori mancanti ricercando diagnosi ausiliarie (ancore) nelle cartelle dei pazienti, questo approccio è dispendioso in termini di risorse, richiede molto tempo e manca di scalabilità, limitandone l'applicazione a piccoli sottocampioni.

Metodologia
Lo studio propone un'alternativa algoritmica e scalabile alla revisione manuale delle cartelle per il recupero delle componenti mancanti dell'ALI. La metodologia prevede tre fasi primarie:

1. Sviluppo dell'Algoritmo di Base: Gli autori hanno adattato una "tabella di marcia" (roadmap) precedentemente sviluppata da esperti clinici. Questa tabella mappa specifiche componenti dell'ALI (ad es., Emoglobina A1c, Proteina C-Reattiva) a termini di ricerca che possono essere confrontati con i codici della Classificazione Internazionale delle Malattie, decima revisione (ICD-10). L'algoritmo unisce i codici ICD-10 del paziente con questi termini di ricerca; se viene trovato un match, il biomarcatore mancante viene imputato come "non sano".
2. Generazione della Tabella di Marcia Potenziata da LLM: Per espandere i termini di ricerca oltre l'elenco originale degli esperti, gli autori hanno utilizzato modelli linguistici di grandi dimensioni (LLM), nello specifico Google Gemini-2.5-Flash, tramite il pacchetto ellmer in R. Hanno testato due strategie di prompting:
   • LLM (Baseline): L'LLM ha generato termini di ricerca basandosi esclusivamente sui nomi dei biomarcatori e sulle soglie di salute, senza contesto.
   • LLM (Context): All'LLM è stata fornita la tabella di marcia originale con gli esempi degli esperti e gli è stato chiesto di generare iterativamente un elenco esaustivo di termini aggiuntivi (20 iterazioni per componente).
3. Adjudicazione Clinica: Una tabella di marcia finale è stata creata facendo in modo che due clinici rivedessero e adjudicassero indipendentemente i termini di ricerca proposti dalla tabella di marcia LLM (Context). Questo passaggio mirava a filtrare i match clinicamente irrilevanti (ad es., "ipertensione polmonare" per un marcatore metabolico) e a prevenire le "allucinazioni", ottenendo la tabella di marcia "LLM (Context + Clinicians)".

Lo studio ha utilizzato una coorte di 1.000 adulti in un contesto di assistenza primaria ambulatoriale. Un sottogruppo di 100 pazienti è stato sottoposto a revisioni manuali esperte delle cartelle per servire come "gold standard" (fuso con i dati estratti dalle EHR) per validare gli approcci algoritmici.

Risultati Chiave

• Prestazioni di Recupero: Gli approcci algoritmici hanno recuperato con successo dati comparabili a, e in alcuni casi superiori a, le revisioni manuali delle cartelle.
  • La tabella di marcia LLM (Context) ha recuperato il volume più alto di componenti mancanti (55/413 punti mancanti, 13%), superando leggermente le revisioni esperte delle cartelle (45/413, 11%) e la tabella di marcia originale dei clinici (51/413, 12%).
  • La tabella di marcia LLM (Context + Clinicians) ha recuperato 45 punti mancanti (11%), eguagliando esattamente il conteggio delle revisioni esperte.
  • La tabella di marcia LLM (Baseline) ha performato scarsamente, recuperando solo 3 componenti mancanti (7%), dimostrando che il contesto è cruciale per la performance dell'LLM in questo dominio.
• Scalabilità: Mentre le revisioni esperte erano limitate a 100 pazienti (richiedendo circa 100 ore di sforzo umano), l'algoritmo è stato applicato all'intero campione di 1.000 pazienti. Ciò ha aumentato il numero mediano di componenti ALI non mancanti per paziente da 6 (EHR grezze) a 7 (recupero algoritmico) nell'intero gruppo.
• Recupero di Componenti Specifici: L'algoritmo è stato più efficace per la Proteina C-Reattiva (CRP), recuperando il 34% dei valori mancanti, e per l'Omocisteina (14%). Non ha recuperato l'Albumina Sierica (nessun termine di ricerca definito) o l'Indice di Massa Corporea (raramente mancante).
• Impatto Statistico: Quando applicato all'intero campione, i valori ALI recuperati algoritmicamente hanno mostrato una relazione lineare con i valori delle EHR grezze, ma si allineavano più strettamente ai valori "validati" derivati dalle revisioni delle cartelle. Nei modelli di regressione logistica che prevedono l'impegno sanitario (healthcare engagement), l' "analisi aumentata" (utilizzando il recupero algoritmico) ha prodotto rapporti di probabilità (odds ratios) e stime più vicini al modello basato sulla revisione delle cartelle rispetto alla "analisi ingenua" (dati EHR grezzi).

Significatività e Rivendicazioni
L'articolo sostiene che gli algoritmi guidati dalla clinica, quando potenziati dagli LLM e successivamente adjudicati dai clinici, offrono un metodo cost-effective e scalabile per ridurre la mancanza di dati nelle EHR. Gli autori affermano che questo approccio:

1. Imita l'Accuratezza degli Esperti: Raggiunge tassi di recupero simili alle revisioni manuali delle cartelle senza i costi associati di tempo e lavoro.
2. Abilita la Fenotipizzazione su Larga Scala: Permette l'applicazione di fenotipi computabili (come l'ALI) a campioni ampi (ad es., 1.000+ pazienti) dove la revisione manuale è impraticabile.
3. Migliora le Dimensioni della Qualità dei Dati: Il focus primario è sul miglioramento della completezza. Gli autori osservano che estendere questo framework per affrontare altre dimensioni della qualità dei dati, come la plausibilità o la correttezza, rappresenta una direzione futura promettente.
4. Mantiene la Privacy: Passando solo la struttura della tabella di marcia (termini di ricerca) all'LLM anziché i dati del paziente, il metodo evita preoccupazioni sulla privacy e vincoli normativi associati alla condivisione di Informazioni Sanitarie Protette (PHI).

Gli autori concludono che, sebbene gli LLM general-purpose siano pratici per questo compito, il lavoro futuro potrebbe beneficiare di un addestramento di modelli specifici per il dominio sulla terminologia medica per perfezionare ulteriormente la precisione del matching dei termini diagnostici.