Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

Sintesi Tecnica: Possibile o Definito? Un Benchmark per Valutare la Preservazione dell'Incertezza Diagnostica nel Testo Clinico

Definizione del Problema
Sebbene i Large Language Models (LLM) siano sempre più impiegati in compiti di testo clinico come la sintesi e la revisione dei referti, la loro capacità di preservare correttamente l'incertezza diagnostica rimane poco esplorata. Nella pratica clinica, le espressioni di incertezza (ad esempio, "polmonite possibile" rispetto a "polmonite") non sono semplici formulazioni prudenti; esse comunicano la forza delle evidenze, indicano diagnosi alternative e guidano le decisioni riguardanti test di follow-up e trattamenti. Gli attuali metriche di valutazione per gli LLM clinici si concentrano principalmente su fluidità, coerenza e coerenza fattuale, fallendo spesso nel rilevare quando i modelli alterano il grado di incertezza. Questo articolo sostiene che l'alterazione di queste espressioni può cambiare interamente il significato clinico, portando potenzialmente a decisioni a valle dannose, eppure questo specifico modo di fallimento non è catturato dai protocolli di valutazione standard.

Metodologia
Lo studio affronta questa lacuna attraverso un approccio in due fasi: la costruzione di un benchmark specializzato e una valutazione a doppia modalità di tre LLM.

1. Costruzione del Benchmark:

   • Fonte dei Dati: Gli autori hanno costruito un dataset di 1.200 documenti clinici derivati da MIMIC-IV-Note (riassunti di dimissioni e referti radiologici) e TCGA-Reports (referti patologici).
   • Schema di Annotazione: È stato definito uno schema di incertezza a cinque livelli, che va da UL1 (Assente certo) a UL5 (Non-asserito), con livelli intermedi per Probabile presente, Possibile presente e Indeterminato/non risolto.
   • Granularità: A differenza della etichettatura a livello di documento, il benchmark utilizza annotazioni a livello di proposizione. Ogni documento è rappresentato come un insieme di 9.184 coppie cue-target, dove un "cue" è l'espressione di incertezza (ad esempio, "non si può escludere") e il "target" è il concetto clinico (ad esempio, "embolia polmonare").
   • Pipeline di Estrazione: Una pipeline basata su regole (utilizzando regex e strumenti di NER medico come medSpaCy e QuickUMLS) è stata impiegata per estrarre queste coppie al fine di evitare una valutazione circolare. La validazione umana su un sottoinsieme di 90 documenti ha prodotto un'accuratezza media dell'82% e un Cohen's $\kappa$ di 0,61.

2. Framework di Valutazione:
   Lo studio valuta tre LLM (gpt-oss-120b, gemini-2.5-flash e claude-haiku-4.5) utilizzando due domande di ricerca (RQ) complementari:

   • RQ1 (Valutazione Indiretta): Valuta la preservazione dell'incertezza durante i compiti di trasformazione del testo a valle: Sintesi per il Passaggio di Consegne Cliniche e Revisione per il Paziente. Questi sono stati testati sotto due condizioni di prompt: Baseline (istruzione standard) e Guarded (istruzioni esplicite per preservare l'incertezza ed evitare aggiunte di interpretazioni).
   • RQ2 (Valutazione Diretta): Testa la capacità esplicita del modello di identificare e classificare i cue di incertezza. Ciò ha comportato un setting a segnale singolo (classificazione di una singola coppia) e un setting a segnali multipli (classificazione e classificazione in ordine di importanza di gruppi di 2–5 coppie simultaneamente).

Contributi Chiave

• Creazione del Benchmark: Il documento introduce un benchmark riutilizzabile di 1.200 documenti e 9.184 coppie cue-target annotate che coprono sei tipi di testo clinico e cinque distinti livelli di incertezza.
• Valutazione Empirica: Fornisce una valutazione sistematica di tre LLM allo stato dell'arte, dimostrando che le metriche di fluidità standard non riescono a catturare la distorsione dell'incertezza.
• Identificazione dei Modi di Fallimento: Lo studio identifica un bias sistematico degli LLM verso la "asserzione di certezza", dove il linguaggio attenuato viene collassato in affermazioni definite, un pattern invisibile alla valutazione a livello di documento.

Risultati

• Valutazione Indiretta (RQ1):
  • Scarsa Preservazione: In condizioni di baseline, gli LLM hanno preservato il livello di incertezza originale meno del 50% delle volte (il Tasso di Ritenzione dell'Incertezza [URR] variava dal 33,64% al 45,55%).
  • Modo di Fallimento Dominante: L'errore principale è stato l'Asserzione di Certezza (CAR). Circa il 40% dei target mantenuti è stato riscritto come affermazioni definite (ad esempio, cambiando "possibile" in una dichiarazione definitiva), mentre gli spostamenti parziali e l'eccessiva attenuazione hanno rappresentato meno dell'8% degli errori.
  • Varianza del Task: I compiti di revisione per il paziente hanno prodotto una rimozione di contenuti più aggressiva e una minore preservazione dell'incertezza rispetto alla sintesi per i clinici.
  • Efficacia del Prompt: Sebbene il prompting "Guarded" abbia migliorato l'URR di 7–19 punti percentuali e ridotto l'asserzione di certezza, non ha eliminato la distorsione; la migliore configurazione ha raggiunto solo circa il 62,5% di URR.
• Valutazione Diretta (RQ2):
  • Classificazione vs. Ranking: Il modello (gemini-2.5-flash) ha ottenuto un'accuratezza di classificazione moderata (78,4% ULA) nei setting a segnale singolo. Tuttavia, l'accuratezza del ranking esatto è degradata significamente all'aumentare del numero di segnali (scendendo dall'86% a N=2 al 48% a N=5).
  • Problemi di Granularità: Il modello ha performato bene sulle distinzioni categoriche (ad esempio, assente certo) ma ha faticato con le distinzioni fine tra livelli adiacenti, in particolare tra "Probabile presente" e "Possibile presente".

Significatività e Rivendicazioni
Il documento sostiene che la preservazione dell'incertezza debba essere trattata come una dimensione di valutazione distinta dalla fluidità e dalla coerenza fattuale. Gli autori sostengono che il modo di fallimento dominante non è un rumore casuale, ma un bias sistematico verso la certezza, che pone un rischio significativo nei flussi di lavoro clinici dove le diagnosi provvisorie richiedono una gestione diversa rispetto a quelle confermate.

Lo studio conclude che, sebbene il prompting esplicito offra una mitigazione parziale, esso è insufficiente per un dispiegamento sicuro. I risultati evidenziano la necessità urgente di interventi più sofisticati, come il fine-tuning su benchmark consapevoli dell'incertezza o l'ottimizzazione delle preferenze, per garantire che gli LLM non distorcano involontariamente il significato clinico collassando l'incertezza in una falsa certezza. Gli autori sottolineano che il loro lavoro rivela un modo di fallimento non catturato dalle metriche standard, rendendo necessaria una svolta nel modo in cui i sistemi di NLP clinica vengono valutati e implementati.