Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

Questo studio dimostra che l'uso di modelli linguistici di grandi dimensioni (LLM), in particolare le varianti "mini" avanzate, spesso supera i sistemi basati su regole nell'estrazione dei determinanti sociali della salute dai dati clinici non strutturati, con prestazioni ottimali ottenute attraverso un approccio di fusione tardiva che combina entrambi i metodi.

L'essenziale

Immagina che il cartella clinica elettronica di un paziente sia come un'enorme biblioteca piena di libri. La maggior parte dei dati che i computer sanno leggere facilmente (come l'età, la pressione sanguigna o i farmaci prescritti) sono scritti in etichette pre-stampate su scaffali ordinati. Questi sono i dati "strutturati".

Tuttavia, la parte più importante della storia di una persona – le sue difficoltà economiche, se ha una casa sicura, se ha amici che la supportano o se riesce a mangiare sano – è spesso nascosta nelle pagine scritte a mano (o digitate liberamente) dai medici nelle loro note. Queste sono le "note non strutturate". Sono come storie scritte in un linguaggio naturale, piene di sfumature, che i vecchi computer faticano a capire.

Questi fattori nascosti sono chiamati Determinanti Sociali della Salute (SDoH). Se riuscissimo a leggerli e a organizzarli, potremmo aiutare i medici a curare meglio i pazienti e a prevenire malattie prima che arrivino.

Ecco cosa hanno fatto gli autori di questo studio, spiegato come una storia di detective e tecnologia:

1. Il Problema: Trovare l'ago nel pagliaio

I ricercatori volevano estrarre queste informazioni dalle note dei pazienti dell'ospedale Mass General Brigham. Il problema è che ci sono milioni di note e i dettagli sociali sono sparsi ovunque, spesso nascosti in frasi come "il paziente sembra preoccupato per l'affitto" o "non ha cibo in casa".

2. I Due Detective: Il Vecchio Metodo vs. Il Nuovo Genio

Per risolvere il mistero, hanno messo alla prova due approcci diversi, come se fossero due detective:

• Il Detective "Regolamentato" (Sistema Basico su Regole - RBS):
  Questo è come un poliziotto molto rigido che ha una lista di parole chiave. Se vede la parola "affitto", "disoccupazione" o "cibo", fa un segno. È veloce e non sbaglia quasi mai quando trova qualcosa (alta precisione), ma è molto cieco: se il paziente dice "non riesco a pagare la bolletta" invece di "affitto", il detective potrebbe non capire. È come cercare solo le parole "mela" e ignorare "frutto rosso".

  • Risultato: Trova bene le cose ovvie, ma ne perde molte altre.

• Il Detective "Genio" (Modelli Linguistici Grandi - LLM/GPT):
  Questo è un nuovo tipo di detective, un'intelligenza artificiale avanzata (come GPT-5 o o4-mini). Non legge solo parole, ma capisce il significato. Se il paziente dice "ho appena perso il lavoro e non so come pagare le spese", il genio capisce che si tratta di "instabilità finanziaria" anche senza la parola esatta "disoccupazione".

  • Risultato: È molto bravo a capire il contesto, a leggere tra le righe e a non farsi ingannare dalle sfumature.

3. La Gara: Chi vince?

Hanno fatto gareggiare questi due detective su un campione di 171 pazienti.

• Il Detective Regolamentato era preciso ma mancava molte prove (bassa "recall").
• I Detective Genio (specialmente i modelli più recenti e "mini" come o4-mini) hanno vinto a mani basse. Hanno trovato quasi tutte le informazioni, capendo anche se una frase era un dubbio ("forse perderò il lavoro") o una certezza ("ho perso il lavoro").

L'analogia della cucina:
Immagina di voler trovare la ricetta perfetta.

• Il sistema a regole è come cercare solo la parola "farina" in un libro di cucina. Trovi la farina, ma potresti perdere la ricetta perché non c'era scritto "farina" ma "polvere bianca".
• L'IA è come un chef esperto che legge l'intera ricetta e capisce che "polvere bianca" significa farina, anche se non è scritto esplicitamente.

4. La Soluzione Magica: La Squadra Mista

La vera magia è arrivata quando hanno unito i due detective in una squadra.
Hanno creato un sistema ibrido:

1. Il Detective Regolamentato fa una prima scansione veloce per trovare le parole chiave.
2. Il Detective Genio legge le parti più difficili e capisce il contesto.
3. Poi, usano un metodo chiamato "Fusione Tardiva" (Late Fusion): prendono le risposte di entrambi e le uniscono. Se uno dei due dice "Sì, c'è un problema sociale", il sistema lo registra.

Il risultato: Questa squadra mista è stata la migliore in assoluto. Ha combinato la velocità e la precisione del vecchio metodo con l'intelligenza e la comprensione del nuovo metodo, ottenendo un punteggio quasi perfetto.

5. Perché è importante?

Prima di questo studio, i medici dovevano leggere manualmente migliaia di pagine o usare codici medici (come i codici ICD) che spesso non catturavano questi problemi sociali. I codici medici sono come etichette rigide: se un paziente non ha il codice esatto per "senza casa", il sistema non lo sa.

Questo nuovo metodo permette di:

• Risparmiare tempo e denaro: Non serve addestrare un computer per mesi con migliaia di esempi; basta "parlargli" nel modo giusto (prompting).
• Vedere il quadro completo: Capire che un paziente non guarisce non solo perché ha il diabete, ma perché non ha i soldi per comprare il cibo sano o vive in una casa umida.
• Prevenire: Aiutare i medici a intervenire prima che i problemi sociali diventino emergenze mediche.

In sintesi

Gli autori hanno dimostrato che non serve più costruire un muro di regole rigide per leggere le storie dei pazienti. Usando le nuove intelligenze artificiali (che sono come "lettori super-veloci" capaci di capire le emozioni e il contesto) e aiutandole con un filtro semplice, possiamo trasformare le note scritte a mano in dati utili per salvare vite, tutto questo in modo economico e veloce.

È come passare dal cercare le parole chiave in un libro a leggere davvero la storia, capendo chi sono i personaggi e cosa stanno vivendo.

Sommario tecnico

Estrazione dei Determinanti Sociali della Salute (SDoH) dai Referti Clinici Elettronici: Sviluppo e Confronto tra Metodi Basati su Regole e Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

I Determinanti Sociali della Salute (SDoH), come le condizioni economiche, l'insicurezza abitativa, il supporto sociale e l'accesso alle cure, sono fattori critici che influenzano gli esiti di salute e le disparità sanitarie. Tuttavia, queste informazioni sono spesso sottodocumentate nei dati strutturati delle Cartelle Cliniche Elettroniche (EHR). Di conseguenza, gli SDoH risiedono prevalentemente in note cliniche non strutturate. L'estrazione automatica di queste informazioni è essenziale per la ricerca sulla salute della popolazione e per il supporto alle decisioni cliniche, ma presenta sfide significative:

• I metodi basati su regole (Rule-Based Systems - RBS) sono interpretabili ma soffrono di bassa sensibilità a causa della rigidità delle regole manuali.
• I metodi di apprendimento supervisionato richiedono grandi quantità di dati annotati, costosi e laboriosi da generare.
• Esiste un divario nella valutazione dei modelli LLM più recenti (con capacità di ragionamento avanzate) e delle strategie di prompting, nonché nella loro integrazione con sistemi basati su regole.

2. Metodologia

Lo studio ha sviluppato e valutato un framework per l'estrazione degli SDoH da note cliniche non strutturate (sintesi di dimissione e note di progresso) provenienti dal registro RPDR del sistema sanitario Mass General Brigham (MGB).

• Dataset e Annotazione: È stato creato un corpus "gold-standard" annotato manualmente da 171 pazienti, contenente 226 segmenti di testo. Lo schema di classificazione include 7 domini principali (es. status finanziario, occupazione, alloggio, assicurazione sanitaria, sicurezza alimentare, risorse sociali, attività fisica) e 23 sottocategorie. Ogni menzione è stata annotata con attributi contestuali (temporalità, esperienza, status ipotetico, incertezza) per filtrare i casi positivi reali.
• Approcci Confrontati:
  1. Sistema Basato su Regole (RBS): Sviluppato utilizzando medspaCy. Include un lessico espanso (derivato da UMLS e ricerca semantica tramite embedding) e regole per l'estrazione di entità e la disambiguazione contestuale.
  2. Modelli LLM: Sono stati testati 7 modelli OpenAI GPT (GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini, o3) tramite Azure OpenAI Service. I modelli sono stati valutati in modalità zero-shot e few-shot (con 5 esempi) utilizzando diverse strategie di prompting (stile "rigido", "bilanciato", "liberale") e tipi di esempi (facili, difficili, sintetici).
  3. Ensemble (Fusione Tardiva): È stata implementata una strategia ibrida che combina le uscite del RBS e di un "comitato" di modelli GPT (utilizzando votazione a maggioranza, unione o intersezione) per migliorare le prestazioni complessive.

3. Risultati Chiave

• Prestazioni dei Modelli:
  • Il RBS ha ottenuto un'alta precisione nei domini (0.96) ma una recall significativamente inferiore (0.68), limitandosi a catturare solo le menzioni esplicite corrispondenti alle regole.
  • I modelli GPT hanno superato costantemente il RBS in termini di recall e punteggio F1.
  • Modelli Migliori:
    • A livello di dominio, i modelli GPT-5 e GPT-5-mini (in configurazione few-shot) hanno raggiunto il miglior punteggio F1 (0.89).
    • A livello di sottocategoria, il modello o4-mini ha ottenuto le prestazioni migliori (F1 = 0.88 in few-shot), dimostrando un'eccellente capacità di ragionamento con costi inferiori.
• Efficienza dei Costi: I modelli "mini" (es. o4-mini, GPT-5-mini) hanno offerto prestazioni competitive rispetto ai modelli flagship (GPT-5) con una riduzione dei costi di inferenza del 72-82% e una latenza significativamente inferiore.
• Risultati dell'Ensemble:
  • La fusione tardiva tra RBS e GPT ha migliorato le prestazioni a livello di dominio, raggiungendo un F1 di 0.92 con un equilibrio ottimale tra precisione (0.93) e recall (0.90). Il RBS ha contribuito a catturare menzioni che i soli LLM avevano perso.
  • A livello di sottocategoria, l'ensemble non ha mostrato miglioramenti significativi rispetto al miglior modello GPT singolo, suggerendo che la complessità delle sottocategorie richiede strategie di fusione più adattive.
• Confronto con Codici ICD: L'estrazione da testo clinico ha identificato molte più informazioni sugli SDoH rispetto ai codici ICD (V e Z), che risultano sottoutilizzati e catturano solo una frazione delle informazioni presenti nelle note.

4. Contributi Principali

1. Valutazione Comparativa Completa: Il primo studio a confrontare sistematicamente un RBS ottimizzato con una vasta gamma di modelli GPT di ultima generazione (inclusi i modelli "mini" e di ragionamento) per l'estrazione degli SDoH.
2. Schema di Classificazione Granulare: Sviluppo di un sistema di classificazione dettagliato con 7 domini e 23 sottocategorie, arricchito da attributi contestuali per gestire la complessità delle note cliniche.
3. Framework Cost-Efficient: Dimostrazione che l'uso di modelli LLM zero-shot o few-shot senza fine-tuning specifico, combinato con un pre-screening basato su regole, offre una soluzione scalabile ed economica rispetto alla creazione di dataset annotati massicci o all'uso di modelli open-weight che richiedono addestramento.
4. Analisi degli Errori: Identificazione delle limitazioni specifiche: il RBS fallisce nella comprensione semantica e nelle negazioni, mentre gli LLM possono avere difficoltà con l'interpretazione di evidenze implicite o con l'aderenza alle istruzioni di prompt.

5. Significato e Implicazioni

Questo studio fornisce un framework pratico ed economicamente sostenibile per estrarre dati cruciali sugli SDoH dalle note cliniche non strutturate.

• Ricerca e Politica: Permette di integrare dati sociali nei modelli predittivi di salute, migliorando la stratificazione del rischio e supportando politiche basate su evidenze.
• Efficienza Clinica: L'approccio ibrido (RBS + LLM) massimizza la copertura delle informazioni riducendo i costi computazionali, rendendo fattibile l'implementazione su larga scala nei sistemi sanitari.
• Futuro: Il lavoro apre la strada a ulteriori ricerche sull'uso di tecniche di sintesi testuale per creare profili completi degli SDoH dei pazienti e sulla validazione di questi strumenti in diversi contesti sanitari per garantire la generalizzabilità.

In sintesi, la ricerca dimostra che i moderni modelli linguistici, specialmente quelli con capacità di ragionamento avanzata, superano i sistemi tradizionali basati su regole nell'estrazione degli SDoH, e che la loro combinazione strategica offre la soluzione più robusta per la medicina di precisione e la salute pubblica.