💻 computer science

PhenoAgent: agentic LLM framework for phenotyping electronic health records via structured query decomposition and self-correction

PhenoAgent è un framework di LLM agentico e rispettoso della privacy che utilizza la decomposizione di query strutturate, l'autocorrezione e il consenso multi-modello per estrarre accuratamente fenotipi clinici da cartelle cliniche elettroniche in testo libero, superando significativamente i baseline tradizionali e eguagliando le prestazioni dei medici su dataset ospedalieri giapponesi.

Autori originali: Yuki Kashiwada, Rieko Sakurai, Yuta Yokokawa, Kenichiro Ando, Chinatsu Gocho, Chiaki Murata, Kosuke Tohda, Maki Tanioka, Shinya Sonobe, Tatsuya Harada, Jun Takayama

Pubblicato 2026-06-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuki Kashiwada, Rieko Sakurai, Yuta Yokokawa, Kenichiro Ando, Chinatsu Gocho, Chiaki Murata, Kosuke Tohda, Maki Tanioka, Shinya Sonobe, Tatsuya Harada, Jun Takayama

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un ospedale come una biblioteca enorme dove la storia di ogni paziente è scritta in un diario unico e disordinato (la Cartella Clinica Elettronica). La maggior parte di queste storie è scritta in paragrafi a flusso libero, non in elenchi ordinati. Se un medico vuole trovare tutti i pazienti che hanno avuto una specifica, complessa situazione — come ad esempio "un attacco cardiaco che ha richiesto una specifica macchina per il supporto vitale" — non può semplicemente cercare le parole "attacco cardiaco" e "macchina". Deve leggere migliaia di diari disordinati per trovare quelli in cui queste due cose sono accadute insieme, spesso descritte in modi diversi o nascoste nel mezzo di lunghe frasi.

PhenoAgent è un nuovo strumento intelligente progettato per agire come un bibliotecario super efficiente e attento alla privacy, capace di leggere questi diari disordinati e trovare esattamente i pazienti giusti senza mai lasciare l'edificio dell'ospedale.

Ecco come funziona, suddiviso in semplici passaggi:

1. La "Scomposizione della Ricetta" (Decomposizione della Query Strutturata)

Immagina di chiedere a uno chef di preparare un "Beef Stir-fry piccante con Tofu". Invece di urlare semplicemente l'ordine, PhenoAgent lo scompone prima in una lista della spesa rigorosa:

Deve avere: Manzo
Deve avere: Tofu
Deve avere: Salsa piccante
NON deve avere: Pollo

Nel documento, questo viene chiamato decomposizione della query strutturata. Il sistema prende una domanda medica complessa e la trasforma in una checklist chiara e strutturata (uno schema JSON) prima ancora di iniziare a leggere le cartelle cliniche dei pazienti. Questo impedisce al computer di confondersi a causa di un linguaggio disordinato.

2. Il "Ciclo di Autocorrezione" (Autocorrezione)

A volte, anche i computer intelligenti possono confondersi e scrivere le risposte in un formato errato (come scrivere un paragrafo invece di una checklist). PhenoAgent ha un "correttore ortografico" integrato per la logica.

Chiede a tre diversi "esperti" IA di leggere il diario del paziente e compilare la checklist.
Se un esperto commette un errore o scrive la risposta in un formato errato, il sistema dice: "Aspetta, questo non sembra corretto. Riprova".
L'esperto riprova (fino a due volte ancora) finché la risposta non si adatta perfettamente alla checklist. Questo è il ciclo di autocorrezione.

3. La "Giuria Unanime" (Votazione d'Insieme Unanime)

Questa è la regola di sicurezza più importante. PhenoAgent non interroga un solo modello IA; interroga tre diversi modelli IA (GPT-OSS-20B, DeepSeek-32B e Llama-3.1-Swahili-70B).

Pensa a queste tre IA come a una giuria.
Per decidere che un paziente corrisponde ai criteri, tutti e tre i giurati devono votare "Sì".
Se anche un solo giurato dice "No" o "Non sono sicuro", il paziente non viene selezionato.
Questo rende il sistema molto prudente. Potrebbe perdere alcuni pazienti (minore sensibilità), ma è estremamente improbabile che scelga qualcuno che non appartiene ai criteri (alta precisione). È meglio essere sicuri che troppo sicuri quando si tratta di dati medici.

Perché è speciale?

La maggior parte degli strumenti IA odierni vive nel "cloud" (su grandi server di proprietà di aziende tecnologiche). Gli ospedali spesso non possono inviare dati dei pazienti lì per via delle leggi sulla privacy.

Il vantaggio "Locale": PhenoAgent è progettato per funzionare interamente su un singolo computer all'interno dell'ospedale. Utilizza modelli a "pesi aperti" (come software gratuiti e open-source) in modo che l'ospedale mantenga tutti i dati all'interno delle proprie mura. Nessun dato lascia l'edificio.
Il vantaggio "Non Inglese": È stato testato specificamente su registri ospedalieri giapponesi, che sono notoriamente difficili per i computer perché mescolano diversi sistemi di scrittura e abbreviazioni.

I Risultati: Com'è andata?

I ricercatori hanno testato PhenoAgent su registri reali di pazienti provenienti da due diversi ospedali giapponesi.

Il Gold Standard: Hanno confrontato il lavoro di PhenoAgent con quello di due medici umani. Un paziente veniva conteggiato come "corrispondenza" solo se entrambi i medici concordavano sul fatto che rientrasse nei criteri.
Il Punteggio: PhenoAgent si è comportato quasi quanto l'accordo tra i due medici. Ha ottenuto un "macro-F1" di circa 71,6, che è molto vicino al punteggio di accordo umano di 71,4.
Battere i vecchi metodi: Ha superato di gran lunga i vecchi metodi (come la semplice ricerca per parole chiave o le ricerche standard nei database), migliorando l'accuratezza di 24 o 43 punti.

Il Problema (Limitazioni)

Il documento nota che, poiché PhenoAgent utilizza la regola della "Giuria Unanime", è molto rigoroso.

Se la condizione di un paziente è descritta in modo vago o indiretto nelle note, l'IA potrebbe dire "No" perché i tre giurati non sono riusciti a concordare.
Questo è un compromesso: il sistema dà priorità all'accuratezza (assicurarsi di non scegliere le persone sbagliate) rispetto al trovare ogni singola corrispondenza possibile. Questo è ottimo per la ricerca clinica in cui è necessaria una lista di pazienti molto pulita, ma potrebbe perdere alcuni casi rari.

Riassunto

PhenoAgent è un bibliotecario IA privacy-safe, che gira localmente, che scompone le domande mediche complesse in checklist, ricontrolla il proprio lavoro e richiede che tre diversi esperti IA concordino prima di selezionare un paziente. Ha dimostrato di poter trovare i pazienti giusti in disordinati registri ospedalieri giapponesi quasi quanto i medici umani, senza mai inviare dati sensibili su Internet.

Riepilogo Tecnico: PhenoAgent

Definizione del Problema

Le informazioni sul fenotipo clinico sono prevalentemente incorporate in dati elettronici delle cartelle cliniche (EHR) non strutturati e in testo libero, creando una barriera significativa per le query strutturate destinate alla selezione di coorti e al reclutamento per studi clinici. Sebbene la fenotipizzazione computazionale sia essenziale per l'uso secondario degli EHR (ad es., ricerca, miglioramento della qualità), i metodi esistenti presentano dei limiti:

Le query standard e il matching di parole chiave faticano con sinonimi, negazioni e complesse espressioni contestuali.
I metodi basati su regole o dizionari richiedono un'estesa cura manuale e mancano di flessibilità per fenotipi compositi ad hoc (ad es., "insufficienza cardiaca trattata con ECMO").
Gli approoli di machine learning spesso dipendono da un fine-tuning specifico per il compito e da dataset annotati, limitando l'implementazione clinica di routine.
I modelli linguistici generativi di grandi dimensioni (LLM) offrono promesse ma affrontano vincoli pratici negli ambienti clinici, specificamente riguardo alla privacy del paziente (che limita l'uso di API basate su cloud) e alla necessità di un deployment locale e preservante la privacy all'interno dei firewall ospedalieri.
I contesti non inglesi, in particolare il testo clinico giapponese, presentano sfide uniche a causa di sistemi di scrittura multipli, abbreviazioni specifiche delle istituzioni e fraseggi non segmentati, con meno risorse annotate disponibili rispetto all'inglese.

Metodologia: Framework PhenoAgent

Gli autori propongono PhenoAgent, un framework agentico basato su LLM, deployabile localmente e a tre stadi, progettato per recuperare fenotipi clinici compositi da EHR in lingua giapponese in testo libero senza fare affidamento su servizi cloud o annotazioni specifiche per il compito.

1. Decomposizione della Query Strutturata

Invece di elaborare direttamente una query in linguaggio naturale contro un record, PhenoAgent decompone prima una query clinica $Q$ in uno schema JSON strutturato $S_k$ . Questo schema elenca i concetti medici costituenti necessari per rispondere alla query e assegna un campo Booleano a ciascuno di essi. Questo passaggio vincola il compito di estrazione a valle e riduce l'ambiguità, permettendo al sistema di gestire combinazioni complesse di diagnosi, trattamento e comorbidità senza necessità di fine-tuning per ogni query.

2. Valutazione Semantica Auto-Correttiva

Il framework valuta ogni record clinico $C$ rispetto allo schema $S_k$ utilizzando LLM open-weight.

Processo: Il modello genera un oggetto JSON contenente valori binari e razionali in testo libero per ogni campo dello schema.
Validazione: Gli output sono validati rispetto al richiesto schema JSON. Se la validazione fallisce (ad es., JSON malformato), il sistema attiva un ciclo di auto-correzione, sollecitando nuovamente lo stesso modello con un promemoria del formato. Sono consentiti fino a due tentativi di riprova (tre tentativi totali).
Fallback: Se non si ottiene un output valido dopo i tentativi, i campi non risolti vengono impostati come negativi. Questo meccanismo, ispirato al framework Reflexion, risolve la maggior parte dei fallimenti di formato.

3. Voto d'Insieme Unanime

Per garantire la stabilità e ridurre le allucinazioni specifiche del modello, PhenoAgent impiega un ensemble di tre distinti LLM open-weight: GPT-OSS-20B, DeepSeek-32B e Llama-3.1-Swallow-70B.

Regola Decisionale: Un caso è classificato come positivo solo quando tutti e tre i modelli costituenti concordano all'unanimità che ogni campo richiesto nello schema sia positivo.
Razionale: Questa regola di voto conservativa privilegia la precisione rispetto alla sensibilità, filtrando le predizioni instabili e garantendo che vengano accettati solo i recuperi ad alta confidenza.

Dettagli di Implementazione

Deployment: L'intera pipeline viene eseguita localmente su una singola workstation (Apple M4 Max con 128GB di memoria unificata) utilizzando modelli quantizzati a 8 bit tramite il framework MLX. Non vengono effettuate chiamate API esterne.
Dataset: Valutato su due dataset indipendenti di pronto soccorso giapponese:
- TUH-DEM: 842 ricoveri presso l'Ospedale dell'Università di Tohoku (2022–2023).
- OUH-DEM: 196 ricoveri presso l'Ospedale dell'Università di Okayama (2023–2024).
Etichette di Riferimento: La verità di base (ground truth) è stata stabilita tramite concordanza tra due medici. Un record è stato etichettato come positivo solo se due medici d'emergenza accreditati indipendenti giudicavano che corrispondesse alla query.

Risultati Chiave

Metriche di Performance

PhenoAgent è stato confrontato con tre baseline di recupero delle informazioni (Ricerca per Parole Chiave, Ricerca Semantica con espansione ICD-10, BM25) e sei baseline a singolo LLM.

Punteggi Macro F1:
- TUH-DEM (Interno): PhenoAgent ha raggiunto un macro F1 di 71.6 (95% CI 66.5–75.7). Questo ha eguagliato l'F1 della concordanza tra medici di 71.4 ed ha superato la migliore baseline a singolo LLM (GPT-OSS-20B a 67.3) e le baseline di recupero delle informazioni (Ricerca Semantica a 47.9) di 24–34 punti.
- OUH-DEM (Esterno): PhenoAgent ha mantenuto un macro F1 di 71.1 (95% CI 68.6–73.8), dimostrando generalizzabilità tra diverse istituzioni con diverse pratiche di documentazione. Ha superato le baseline di recupero delle informazioni di 35–43 punti.
Accordo (Cohen's $\kappa$ ):
- PhenoAgent ha ottenuto valori di $\kappa$ di 0.69 (TUH-DEM) e 0.68 (OUH-DEM), significativamente più alti della ricerca per parole chiave ( $\approx$ 0.38–0.44) e delle baseline a singolo LLM (che variano da 0.31 a 0.61).
Trade-off Precisione-Sensibilità:
- PhenoAgent ha mantenuto un'alta precisione (70.5% in TUH-DEM, 78.8% in OUH-DEM) comparabile alla ricerca per parole chiave, ma ha ottenuto una sensibilità sostanzialmente più alta (76.5% vs 34.0% per la ricerca per parole chiave in TUH-DEM).
- La strategia di voto unanime ha prodotto un profilo di predizione conservativo, privilegiando i recuperi ad alta confidenza. Mentre i singoli LLM hanno ottenuto una sensibilità maggiore in alcuni casi di validazione esterna, la precisione di PhenoAgent è rimasta robusta.

Osservazioni Specifiche

Fenotipi Rari: Il framework ha performato bene su fenotipi rari (prevalenza <5%), sebbene le performance siano variate per condizioni clinicamente ambigue come la sepsi, dove l'evidenza è spesso implicita o inferita dalle traiettorie cliniche piuttosto che da termini espliciti.
Auto-correzione: Il ciclo di auto-correzione ha risolto l'84–99% dei fallimenti di formato JSON, contribuendo a un miglioramento di 1.3 punti nel macro F1 nel dataset TUH-DEM.
Selezione del Modello: L'ensemble di modelli general-purpose (selezionati tramite ricerca esaustiva) è risultato competitivo rispetto ai modelli medici specializzati (ad es., MedLLM-72B), suggerendo che il seguire le istruzioni e la generazione di output strutturati siano critici per questo compito.

Significato e Rivendicazioni

Gli autori affermano che PhenoAgent dimostra che i workflow di LLM agentici possono supportare il recupero flessibile e preservante la privacy dei fenotipi da EHR in testo libero in contesti clinici non inglesi.

I contributi chiave evidenziati includono:

Deployabilità Locale: Il framework opera interamente all'interno di ambienti gestiti dagli ospedali utilizzando modelli open-weight, affrontando le barriere critiche relative alla privacy del paziente, alla governance dei dati e alle restrizioni di rete.
Flessibilità senza Fine-Tuning: Utilizzando la decomposizione della query strutturata, il sistema gestisce fenotipi compositi (diagnosi + trattamento/comorbidità) senza richiedere fine-tuning per ogni query o un'estesa ingegneria delle ontologie.
Parità di Performance con gli Esperti: La performance del sistema si avvicina al livello di consistenza tra valutatori osservato tra medici, suggerendo che può servire come strumento affidabile per la selezione di coorti nella ricerca clinica.
Robustezza in Contesti Non Inglesi: Il successo dell'applicazione agli EHR giapponesi valida l'approccio per contesti in cui i dataset annotati e le risorse del linguaggio clinico sono limitati.

L'articolo conclude che, sebbene la regola del voto unanime crei un sistema orientato alla precisione adatto alla selezione di coorti di ricerca (dove i falsi positivi aumentano il carico di revisione manuale), il framework è modulare. Può adattarsi a diversi equilibri precisione-sensibilità (ad es., tramite il voto a maggioranza) e incorporare modelli locali più forti man mano che diventano disponibili, fungendo da ponte pratico tra gli avanzamenti dei modelli linguistici general-purpose e un'infrastruttura di ricerca clinica affidabile.