LLMs for Cardiovascular Risk Prediction from Structured Clinical Data

Sintesi Tecnica: LLM per la Predizione del Rischio Cardiovascolare da Dati Clinici Strutturati

Definizione del Problema
La coronaropatia (CAD) rimane una delle principali cause di mortalità globale, rendendo necessari sistemi predittivi affidabili per una diagnosi precoce. Sebbene i modelli tradizionali di apprendimento automatico (ML) operino efficacemente su dati clinici numerici strutturati (ad esempio, età, pressione sanguigna, colesterolo), essi spesso non riescono a sfruttare il ricco linguaggio non strutturato presente nelle cartelle cliniche elettroniche (EHR), nelle note dei medici e nei rapporti diagnostici. Ciò crea un divario tra i requisiti di input degli algoritmi ML standard e il formato narrativo della documentazione clinica reale. Questo lavoro affronta la sfida di colmare il divario tra dati strutturati e linguaggio naturale per migliorare la valutazione del rischio di CAD, esplorando al contempo la fattibilità dei Large Language Models (LLM) nei compiti di predizione clinica.

Metodologia
Gli autori propongono un framework ibrido che integra dati clinici strutturati, generazione di narrazioni sintetiche e classificazione basata sia su ML convenzionale che su LLM. La metodologia si articola in quattro fasi primarie:

1. Costruzione del Dataset e Ingegneria delle Caratteristiche:
   Il rapporto utilizza un dataset di CAD pubblicamente disponibile composto da 1.190 record di pazienti con 11 attributi clinici (inclusi età, sesso, tipo di dolore toracico, pressione sanguigna a riposo, colesterolo, glicemia a digiuno, risultati ECG, frequenza cardiaca massima, angina indotta dall'esercizio, depressione ST e pendenza ST). Le variabili codificate vengono mappate in categorie cliniche leggibili dall'uomo (ad esempio, convertendo gli indicatori binari del sesso in "maschio"/"femmina" e i risultati ECG in termini descrittivi) per creare stringhe di caratteristiche interpretabili.

2. Generazione di Narrazioni Cliniche Sintetiche:
   Utilizzando gli LLM (specificamente GPT e Gemini), le stringhe di caratteristiche strutturate vengono trasformate in due formati testuali distinti:

• Riassunti Strutturati: Coppie chiave-valore delle caratteristiche separate da virgole.
• Narrazioni a Testo Libero: Rapporti clinici dettagliati scritti nello stile delle note mediche, che descrivono la condizione del paziente in frasi complete.
  Il processo di generazione impiega impostazioni di temperatura specifiche (0 per l'output strutturato deterministico; 0.3 per un flusso narrativo variabile) per garantire l'accuratezza medica senza inventare dati.

3. Validazione della Narrazione e Controllo Qualità:
   Una rigorosa pipeline di validazione assicura la fedeltà dei dati sintetici. L'LLM funge da validatore di dati medici per identificare contraddizioni o valori mancanti nelle narrazioni generate. Successivamente, un processo di "estrazione inversa" istruisce l'LLM a estrarre i valori clinici dalle narrazioni a testo libero riportandoli in un formato strutturato. Viene calcolato un punteggio di coerenza confrontando questi valori estratti con i record originali di base (ground-truth). I campi categorici richiedono corrispondenze esatte, mentre i campi numerici consentono un margine di errore (<0,5) per tenere conto dell'arrotondamento testuale.

4. Modellazione Predittiva:

• ML Convenzionale: Quattro algoritmi (Regressione Logistica, Random Forest, Support Vector Machine e XGBoost) vengono addestrati sui dati strutturati originali. I dati sono suddivisi in 80/20 (stratificati), standardizzati e valutati utilizzando accuratezza, precisione, richiamo (recall), F1-score e ROC-AUC. La regolazione degli iperparametri viene eseguita sul miglior modello tramite GridSearchCV.
• Classificazione Basata su LLM: Le narrazioni testuali sintetiche vengono utilizzate per valutare gli LLM in condizioni di prompting zero-shot e few-shot (5, 10 e 15 esempi). I modelli ricevono l'istruzione di produrre etichette binarie di malattia (presenza/assenza di CAD) senza l'addestramento tradizionale dei pesi.

Contributi Chiave

• Framework Ibrido: La proposta di un sistema integrato che combina dati strutturati, LLM per la generazione di narrazioni e ML per la predizione.
• Pipeline di Narrazione Sintetica: Un metodo innovativo per convertire i record clinici tabulari in rapporti clinici in linguaggio naturale adatti alle attività di NLP.
• Meccanismo di Validazione: Lo sviluppo di un sistema di punteggio di coerenza tramite estrazione inversa, che ha raggiunto una fedeltà media del 94,61% su tutto il dataset, garantendo che le narrazioni sintetiche riflettano accuratamente i dati clinici originali.
• Valutazione Comparativa: Un confronto sistematico tra i modelli ML tradizionali e la classificazione basata su LLM sotto diverse strategie di prompting (zero-shot e few-shot).

Risultati

• Validazione: La pipeline di generazione narrativa ha raggiunto un punteggio di coerenza medio del 94,61%. Nello specifico, il 45,3% dei record ha ottenuto un punteggio perfetto del 100% e il 95,4% ha ottenuto un punteggio pari o superiore al 90%.
• Performance del Machine Learning: Tra i modelli convenzionali, Random Forest ha ottenuto la performance più elevata con un'accuratezza di test del 92,86% e un ROC-AUC del 97,07%. XGBoost è seguito da vicino (accuratezza del 92,44%), mentre la Regressione Logistica e SVM hanno mostrato risultati inferiori ma competitivi.
• Performance degli LLM: La classificazione basata su LLM (utilizzando GPT e Gemini) ha dimostrato capacità nell'interpretare il linguaggio naturale, ma ha prodotto un'accuratezza inferiore rispetto ai migliori modelli ML.
  • GPT: Ha raggiunto un'accuratezza del 66,7% in zero-shot, migliorando al 73,3% con il prompting a 15-shot.
  • Gemini: Ha raggiunto un'accuratezza del 60,0% in zero-shot, migliorando all'80,0% con il prompting a 15-shot.
  • Le performance sono generalmente migliorate con l'aumento degli esempi few-shot, sebbene non abbiano superato la baseline di Random Forest.

Significatività e Rivendicazioni
L'articolo sostiene che, sebbene i modelli ensemble tradizionali (specificamente Random Forest) superino attualmente gli LLM in termini di accuratezza predittiva pura sui dati strutturati, gli approcci basati su LLM offrono vantaggi distinti per l'implementazione clinica nel mondo reale. La significatività primaria risiede nella preservazione della privacy: gli LLM possono operare direttamente sulle descrizioni narrative dei pazienti, il che significa che i dati numerici sensibili (valori di laboratorio esatti, letture specifiche della pressione sanguigna, codici diagnostici) non devono essere esposti o condivisi esplicitamente in formati grezzi. Ciò consente la valutazione del rischio basata esclusivamente sul testo narrativo.

Gli autori concludono che la combinazione di dati clinici strutturati con narrazioni generate da LLM abilita nuove direzioni per i sistemi di predizione clinica ibridi. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sul test del framework su dataset più ampi e diversificati, sull'affinamento (fine-tuning) di modelli specifici del dominio (ad esempio, ClinicalBERT) e sull'integrazione di ulteriori modalità come i dati ECG o di imaging nei sistemi di supporto alle decisioni cliniche.