Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Questa valutazione comparativa dimostra che, sebbene i modelli linguistici di grandi dimensioni generalisti finemente sintonizzati generalmente abbiano prestazioni inferiori rispetto ai modelli fondazionali clinici specializzati nella previsione del rischio di malattia da cartelle cliniche elettroniche strutturate, gli embedding generati da LLM accoppiati a classificatori leggeri possono raggiungere prestazioni superiori sia nelle metriche AUROC che AUPRC.

L'essenziale

Immagina di cercare di prevedere chi potrebbe ammalarsi in futuro esaminando la sua storia clinica. Da anni, medici e data scientist utilizzano "esperti" specializzati per farlo. Pensa a questi esperti come a Modelli Fondamentali Clinici (CFM). Sono come chef maestri che hanno passato tutta la vita cucinando solo con ingredienti strutturati (come codici di laboratorio, numeri di diagnosi e liste di farmaci). Sanno esattamente come mescolare questi ingredienti specifici per prevedere esiti come l'insufficienza cardiaca o il cancro al pancreas.

Recentemente è arrivato un nuovo tipo di intelligenza artificiale: i Modelli Linguistici su Larga Scala (LLM). Questi sono come geni generalisti. Hanno letto quasi tutto su internet: libri, notizie, codice e conversazioni. Sono incredibilmente bravi a comprendere il linguaggio e il contesto, ma non hanno passato tutta la vita a studiare cartelle cliniche in modo specifico.

La grande domanda che questo articolo pone è: Questi geni generalisti possono battere gli chef specializzati nella previsione del rischio di malattia utilizzando dati medici strutturati?

Ecco cosa hanno scoperto i ricercatori, spiegato in modo semplice:

1. La gara del "Fine-Tuning": Specializzato contro Generalista

I ricercatori hanno preso entrambi i tipi di modelli e ha dato loro un compito specifico: prevedere l'insufficienza cardiaca nei pazienti diabetici e il cancro al pancreas negli altri. Li hanno "affinati" (fine-tuned), il che è come dare ai modelli un corso intensivo sulle regole specifiche del gioco.

• Il Risultato: Su grandi dataset (migliaia di pazienti), gli chef specializzati (CFM) hanno ancora vinto, ma solo di un margine minuscolo, quasi invisibile.
  • Analogia: Immagina una gara tra una vettura di Formula 1 (CFM) e una vettura sportiva molto veloce (LLM). La F1 è arrivata prima, ma solo di una frazione di secondo.
  • Il Rovescio della Medaglia: La vettura F1 (CFM) era molto più economica e veloce da addestrare. La vettura sportiva (LLM) ha richiesto molto più carburante (potenza di calcolo) e tempo per essere pronta, eppure ha perso di poco.

2. Il trucco dell'"Embedding": La Migliore Sorpresa

I ricercatori hanno provato un terzo approccio. Invece di far apprendere agli LLM le regole del gioco (fine-tuning), hanno semplicemente chiesto agli LLM di leggere la storia del paziente e scrivere un riassunto (creando un "embedding"). Poi, hanno passato quel riassunto a un calcolatore molto semplice e basilare (un "classificatore leggero") per fare la previsione finale.

• Il Risultato: Questa combinazione ha vinto la gara a mani basse.
  • Analogia: Invece di addestrare il genio a diventare un medico, gli hanno chiesto di scrivere una biografia perfetta e concisa del paziente. Poi, hanno dato quella biografia a un brillante stagista con una semplice lista di controllo. Lo stagista, armato del riassunto perfetto del genio, ha fatto previsioni migliori rispetto agli chef specializzati o ai geni affinati.
  • Dettagli: Utilizzando un modello chiamato Qwen3 per scrivere il riassunto e un semplice calcolatore per leggerlo, hanno ottenuto i punteggi di accuratezza più alti (superiori al 90% in alcuni casi).

3. Lo Specialista "Piccolo"

Hanno anche testato un "Clinical LLM" (Me-LLaMA), che è un genio generalista che ha letto alcuni libri di medicina.

• Il Risultato: Questo modello ha performato esattamente quanto i modelli generalisti massicci, anche se era molto più piccolo. Ha dimostrato che non serve sempre il cervello più grande per fare il lavoro, se si ha la giusta formazione medica.

4. Il Trade-off

L'articolo evidenzia un importante compromesso:

• Modelli Specializzati (CFM): Veloci da addestrare, economici da eseguire e molto affidabili. Sono i "cavalli da lavoro" della clinica.
• Modelli Generalisti (LLM): Possono eguagliare o addirittura battere gli specialisti, ma sono costosi e lenti da addestrare. Tuttavia, se vengono utilizzati solo per "riassumere" i dati (il trucco dell'embedding) invece di essere completamente addestrati, diventano incredibilmente potenti ed efficienti.

La Conclusione

L'articolo conclude che i modelli di intelligenza artificiale generalisti possono sicuramente eguagliare i modelli medici specializzati nella previsione del rischio di malattia. In effetti, utilizzare un modello generalista solo per "riassumere" i dati per un semplice calcolatore è stato il metodo di maggior successo in assoluto.

Tuttavia, gli autori avvertono che, poiché i modelli generalisti sono così costosi da addestrare e le loro prestazioni possono essere un po' "instabili" (a volte ottimi, a volte no), non dovremmo ancora buttare via i modelli specializzati. Il futuro migliore potrebbe essere una collaborazione: utilizzare la capacità del generalista di comprendere e riassumere, combinata con l'efficienza del modello specializzato.

In sintesi: L'IA generalista è uno studente brillante che può superare l'esame di medicina, ma l'IA specializzata è il medico esperto che ci arriva più velocemente e a minor costo. La mossa più intelligente? Lasciare che lo studente scriva gli appunti e lasciare che un semplice strumento li valuti.

Sommario tecnico

1. Enunciato del Problema

Il settore sanitario si basa sempre più su modelli predittivi che utilizzano dati strutturati delle Cartelle Cliniche Elettroniche (EHR) per il supporto alle decisioni cliniche. Sono emerse due distinte classi di modelli di intelligenza artificiale:

• Modelli Fondamentali Clinici (CFM): Modelli specializzati (ad es. Med-BERT, CLMBR) pre-addestrati su enormi dataset strutturati di EHR eterogenei. Sono ottimizzati per la modellazione delle traiettorie dei pazienti e hanno dimostrato prestazioni superiori nella previsione delle malattie.
• Modelli Linguistici di Grande Formato Generalisti (LLM): Modelli (ad es. LLaMA, Mistral) pre-addestrati su dati testuali ampi e diversificati. Sebbene adattabili, non è ancora chiaro se possano eguagliare o superare i CFM specializzati quando applicati a dati EHR strutturati per la previsione del rischio di malattia, specialmente considerando i costi computazionali e le sfide nella rappresentazione dei dati.

Lo studio affronta il divario nelle confronti diretti, testa a testa, tra queste due classi di modelli su dati EHR e di richieste (claims) reali e multi-sito.

2. Metodologia

Dataset e Compiti

Lo studio ha valutato le prestazioni su due compiti di classificazione binaria:

1. Insufficienza Cardiaca Diabetica (DHF): Previsione del rischio di insufficienza cardiaca nei pazienti diabetici.
2. Carcinoma Pancreatico (PaCa): Previsione della diagnosi di cancro al pancreas.

Sono stati utilizzati quattro dataset per garantire robustezza e riproducibilità:

• DHF-EHR & PaCa-EHR: Dati EHR strutturati multi-sito provenienti da sistemi sanitari statunitensi.
• PaCa-Claims: Dati di richieste a livello di paziente.
• PaCa-EHRSHOT: Un dataset di riferimento open-source, a singola istituzione (3.810 pazienti).

I dati sono stati elaborati a tre livelli di granularità:

• D: Solo codici di diagnosi.
• DMP: Codici di Diagnosi, Medicinali e Procedure.
• ALL: Tutti i dati strutturati disponibili (inclusi dati demografici, parametri vitali, esami di laboratorio).

Modelli Valutati

Lo studio ha confrontato tre categorie di modelli:

1. Modelli Fondamentali Clinici (CFM):
   • Med-BERT (v2): Basato su encoder, pre-addestrato su oltre 50 milioni di traiettorie di pazienti (diagnosi, farmaci, procedure).
   • CLMBR: Basato su decoder-transformer, pre-addestrato su 2,57 milioni di pazienti.
2. LLM Generalisti e Clinici (Fine-Tuned):
   • Generalisti: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • LLM Clinico: Me-LLaMA (fine-tuned su testo clinico).
   • Tecnica: Tutti gli LLM sono stati sottoposti a fine-tuning utilizzando il Fine-Tuning Efficiente dei Parametri (PEFT/LoRA) e la quantizzazione.
3. Approccio di Incorporamento (Embedding) degli LLM (Senza Fine-Tuning):
   • Utilizzo degli LLM (DeepSeek, Qwen3, GPT-OSS, MedGemma, ecc.) puramente come encoder per generare incorporamenti (embeddings) delle traiettorie dei pazienti, seguiti da classificatori leggeri (Regressione Logistica, MLP).

Preprocessing e Input dei Dati

• CFM: I codici strutturati sono stati riformattati secondo le loro specifiche pipeline di pre-addestramento.
• LLM: I dati EHR strutturati sono stati serializzati in prompt testuali. Sono stati testati due formati: CPLLM e LLaMA2-EHR. Quest'ultimo (che incorpora le frequenze degli eventi) ha prodotto risultati migliori.
• Incorporamenti (Embeddings): Per l'approccio senza fine-tuning, sono stati utilizzati i primi 4.096 token della storia del paziente per generare gli incorporamenti.

Metriche di Valutazione

• AUROC: Area sotto la curva caratteristica operativa del ricevitore (metrica primaria).
• AUPRC: Area sotto la curva Precisione-Recall (critica per dataset sbilanciati).
• Efficienza: Tempo di fine-tuning e risorse computazionali.

3. Contributi Chiave

1. Primo Confronto su Grande Scala: Fornisce il primo benchmark testa a testa di LLM a pesi aperti contro CFM pre-addestrati su scala massiva (decine di milioni di pazienti) per la previsione del rischio di malattia.
2. Analisi della Strategia di Serializzazione: Ha valutato l'impatto della conversione dei dati EHR strutturati in testo, rilevando che il formato LLaMA2-EHR (con frequenza diagnostica) ha superato gli altri formati.
3. Nuovo Paradigma di Incorporamento: Ha dimostrato che l'uso degli LLM come encoder congelati per generare rappresentazioni dei pazienti, accoppiati a classificatori semplici, supera sia gli LLM sottoposti a fine-tuning sia i CFM sottoposti a fine-tuning in scenari specifici.
4. Framework di Riproducibilità: Ha rilasciato un codice completo (LLM2Predict) e un framework di valutazione per supportare futuri benchmark.

4. Risultati Chiave

Prestazioni del Fine-Tuning (Cohort Grandi >30k pazienti)

• CFM vs. LLM sottoposti a Fine-Tuning: Su grandi cohorti di EHR e richieste, i CFM sottoposti a fine-tuning (Med-BERT) hanno superato leggermente ma in modo statisticamente significativo gli LLM sottoposti a fine-tuning di meno dell'1% in AUROC.
  • Esempio (DHF-EHR): Med-BERT + Bi-GRU (85,39%) vs. LLaMA-3.1-70B (84,73%).
• LLM Clinici: Me-LLaMA ha performato in modo comparabile a LLM generalisti molto più grandi (ad es. LLaMA-3.1-70B), suggerendo che il pre-addestramento specifico di dominio è efficace anche con un numero inferiore di parametri.
• Efficienza: I CFM sono stati significativamente più veloci da sottoporre a fine-tuning (<1 ora) rispetto agli LLM (da 4 a 190 ore a seconda delle dimensioni del modello).

Cohort Open-Source (PaCa-EHRSHOT)

• AUROC: Gli LLM sottoposti a fine-tuning (LLaMA-3.1-70B) hanno raggiunto AUROC leggermente superiori rispetto ai CFM, ma la differenza non è stata statisticamente significativa (86,1% vs. 85,3%, p=0,27).
• AUPRC: I CFM hanno superato significativamente gli LLM in AUPRC, indicando una migliore gestione dello sbilanciamento delle classi.
  • Med-BERT v2: 55,9% AUPRC.
  • LLaMA-3.1-70B: 41,1% AUPRC.

L'Approccio "Incorporamento + Classificatore" (Migliore in Assoluto)

• Scoperta Sorprendente: Le prestazioni complessive migliori sono state ottenute senza sottoporre a fine-tuning gli LLM.
• Metodo: Utilizzo degli LLM (in particolare Qwen3 e GPT-OSS) per generare incorporamenti delle traiettorie dei pazienti, seguiti da una semplice Regressione Logistica o MLP.
• Prestazioni:
  • AUROC: Ha superato il 90% (Qwen3 8B Embedding + Testo: 90,8%).
  • AUPRC: Ha raggiunto il 66% (GPT-OSS 20B: 66,1%).
• Questo approccio ha superato sia i CFM sottoposti a fine-tuning sia gli LLM sottoposti a fine-tuning sul dataset EHRSHOT.

5. Significato e Conclusione

• Generalisti vs. Specializzati: Sebbene i CFM specializzati rimangano altamente competitivi ed efficienti per il fine-tuning su grandi dataset strutturati, gli LLM generalisti hanno il potenziale per eguagliarli o superarli, in particolare quando utilizzati come estrattori di caratteristiche (encoder) piuttosto che come modelli generativi.
• Compromesso Computazionale: Il fine-tuning degli LLM è computazionalmente costoso (40 volte più lungo rispetto ai CFM) e produce guadagni marginali sui CFM in termini di AUROC, spesso a scapito di un AUPRC inferiore.
• Strategia Ottimale: Lo studio suggerisce che per la previsione del rischio su EHR strutturati, la strategia più efficace ed efficiente potrebbe essere l'uso di moderni LLM per generare incorporamenti di alta qualità dei pazienti, che vengono poi immessi in classificatori leggeri. Questo evita i costi massicci del fine-tuning sfruttando al contempo la conoscenza pre-addestrata dell'LLM.
• Direzioni Future: Gli autori raccomandano di integrare gli incorporamenti generati dagli LLM nelle pipeline di addestramento dei CFM per combinare i punti di forza di entrambi gli approcci. Sottolineano inoltre la necessità di ulteriori ricerche su compiti multi-classe, dati non strutturati (note cliniche) e architetture ibride.

Limitazioni: Lo studio si è concentrato sulla classificazione binaria; i risultati potrebbero non generalizzarsi a compiti di regressione o multi-classe. Inoltre, la valutazione è stata limitata ai dati strutturati, lasciando inesplorata la prestazione su note cliniche non strutturate.