The strength of clinical evidence is recoverable from language model representations but not from their stated grades

Sintesi Tecnica: La Recuperabilità della Forza dell'Evidenza Clinica dalle Rappresentazioni degli LLM

Definizione del Problema
I modelli linguistici di grandi dimensioni (LLM) sono sempre più impiegati per riassumere l'evidenza clinica, dove l'utilità di un'affermazione dipende non solo dalla sua verità, ma anche dalla forza dell'evidenza che la supporta (ad esempio, studi controllati randomizzati rispetto al parere di esperti). Tuttavia, è noto che gli LLM comunicano la fiducia in modo inefficiente; la loro certezza dichiarata è spesso debolmente calibrata e non riesce a seguire la correttezza. Una questione critica e ancora non testata rimane: i modelli clinici LLM registrano internamente la forza dell'evidenza per un'affermazione, distinta dalla sua verità fattuale, e se sì, esprimono tale registrazione quando interrogati? Inoltre, non è chiaro se qualsiasi segnale interno relativo alla forza dell'evidenza rappresenti una comprensione profonda del peso dell'evidenza o semplicemente indizi lessicali superficiali.

Metodologia
Lo studio ha impiegato un framework di valutazione completo coinvolgendo 45.134 affermazioni cliniche raccolte da sei fonti biomediche pubbliche (tra cui USPSTF, CPSTF, Trialstreamer, Evidence Inference, EBM-NLP e medical reversals). Di queste, 20.611 affermazioni sono state armonizzate in un grado di evidenza a quattro livelli (Alto, Moderato, Basso, Molto Basso) sotto tre framework di valutazione indipendenti. Un sottoinsieme è stato inoltre etichettato per verità fattuale (Vero, Falso, Incerto), con elementi di design specifici (ad esempio, affermazioni di "reversal" e griglie bilanciate) utilizzati per decorrelare il grado di evidenza dalla verità fattuale.

Gli autori hanno testato 22 LLM locali, open-weight e istruiti tramite istruzioni (instruction-tuned), con parametri variabili da 0,6 a 70 miliardi, spaziando tra famiglie di dominio generale, adattate al dominio medico e distillate per il ragionamento. La pipeline sperimentale prevedeva:

1. Estrazione dello Stato Nascosto: Estrazione dei vettori di attivazione dello stream residuo all'ultimo token di ogni affermazione dai modelli congelati.
2. Linear Probing: Addestramento di stimatori multinomiali logistici con regolarizzazione L2 per decodificare il grado di evidenza da questi stati nascosti.
3. Elicitazione della Verbalizzazione: Interrogazione dei modelli affinché dichiarassero esplicitamente il grado di evidenza (zero-shot e few-shot) per confrontare i gradi dichiarati con le rappresentazioni interne.
4. Analisi di Controllo:
   • Controlli Lessicali: Confronto tra la decodificabilità dello stato nascosto e classificatori bag-of-words TF-IDF e covariate superficiali (lunghezza, densità di hedge).
   • Generalizzazione: Test di trasferimento cross-topic e cross-framework (leave-one-framework-out).
   • Separabilità: Costruzione di una griglia grado-verità bilanciata per testare se il segnale del grado sia distinto dalla verità fattuale.
   • Steering (Guida): Tentativo di modulare l'output del modello aggiungendo il vettore di direzione del grado allo stream residuo.
   • Flagging (Segnalazione): Addestramento di un estimatore binario per rilevare affermazioni debolmente supportate.

Risultati Chiave

• Recuperabilità Interna vs. Output Dichiarato: Un estimatore lineare è riuscito a recuperare il grado di evidenza a quattro livelli dagli stati nascosti di ogni modello testato, raggiungendo un picco mediano di macro AUROC di 71,8 (significativamente sopra il caso). Al contrario, i gradi dichiarati dai modelli sono scesi ai livelli del caso (accuratezza mediana ~22%), creando un ampio divario sistematico (25–27 punti percentuali) tra ciò che è recuperabile internamente e ciò che viene espresso verbalmente.
• Scala del Modello e Specializzazione: Contrariamente all'ipotesi che i modelli più grandi o più specializzati possedessero strutture interne più pulite, la decodificabilità non è migliorata con la scala. Sul Qwen3 ladder, la decodificabilità è diminuita all'aumentare del numero di parametri. I modelli distillati per il ragionamento sono stati i peggiori, mentre l'adattamento al dominio medico non ha mostrato effetti significativi.
• Natura del Segnale: Si è scoperto che il segnale recuperabile era in gran parte lessicale. Un classificatore TF-IDF ha superato gli estimatori basati sullo stato nascosto (AUROC 78,9 vs. 71,8). L'aggiunta di feature nascoste ai classificatori lessicali non ha fornito alcun beneficio e, una volta parzializzate le punteggi lessicali, la correlazione del segnale nascosto con il vero grado è scesa vicino allo zero. Il segnale non si è generalizzato attraverso diversi argomenti clinici o framework di valutazione, suggerendo che rifletta il vocabolario specifico della fonte piuttosto che un concetto astratto di forza dell'evidenza.
• Separabilità dalla Verità: In una griglia bilanciata dove grado e verità erano statisticamente indipendenti per costruzione, le direzioni del grado e della verità nello spazio di rappresentazione erano quasi ortogonali. La direzione del grado non ha predetto la verità meglio del caso, confermando che il segnale interno è distinto dalla correttezza fattuale, sebbene siano fortemente confondenti nei corpora naturali.
• Steering e Flagging: Lo steering della generazione lungo la direzione del grado non ha alterato in modo affidabile la certezza dichiarata dal modello, indicando che il segnale non è una leva funzionale per il controllo dell'output. Tuttavia, un estimatore esterno ha potuto segnalare con successo le affermazioni debolmente supportate (AUROC 69,2) utilizzando gli stati nascosti, offrendo un meccanismo pratico per identificare prove di bassa qualità senza retrieval.

Significatività e Rivendicazioni
L'articolo sostiene che gli LLM clinici trasportano un segnale ordinato della forza dell'evidenza nelle loro rappresentazioni interne che non riescono a esprimere nei loro output. Questa dissociazione implica che i "gradi" forniti verbalmente da un modello non sono informativi riguardo al reale supporto per un'affermazione. Gli autori sostengono che, sebbene il segnale recuperabile sia in gran parte lessicale e non una rappresentazione profonda e portabile della forza dell'evidenza, la sua esistenza è critica per la sicurezza: l'informazione necessaria per pesare un'asserzione clinica è presente all'interno del modello ma assente dal suo output.

Di conseguenza, lo studio conclude che fare affidamento sulla certezza o sul grado dichiarato da un modello è insicuro. Inveve, la sicurezza nel deployment clinico richiede un controllo esterno — sia leggendo il segnale dalla rappresentazione, sia utilizzando un classificatore basato sul testo — per segnalare le affermazioni debolmente supportate. L'articolo avverte che i risultati di decodificabilità senza controlli lessicali e out-of-distribution possono sopravvalutare ciò che un modello realmente codifica, e che l'apparente identità tra grado di evidenza e verità nei dati naturali è un artefatto della distribuzione piuttosto che un codice interno condiviso.