🤖 AI

LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

Questo articolo dimostra che i Large Language Models mancano di una genuina consapevolezza epistemica sui dati tabulari clinici, poiché la loro fiducia verbalizzata è priva di informazione e la loro accuratezza correla inversamente con la difficoltà del compito, ma propone che l'analisi della divergenza dell'attribuzione tra modelli, combinata con il prompting few-shot e l'evidenza delle caratteristiche, possa efficacemente rilevare questi punti ciechi e migliorare significativamente sia l'accuratezza che la calibrazione senza necessità di riaddestramento.

Autori originali: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: L'"Interno Overconfident" (Troppo Sicuro di Sé)

Immaginate di assumere un brillante studente di medicina (l'LLM) che ha letto ogni libro di testo medico del mondo, ma che non ha mai lavorato in un ospedale. Avete anche un'infermiera esperta e basata sui dati (il modello XGBoost) che ha trascorso anni a monitorare i parametri vitali dei pazienti e sa esattamente quali numeri predicono una specifica malattia (l'insufficienza renale acuta).

I ricercatori si sono posti una domanda semplice: lo studente sa quando sta tirando a indovinare?

Hanno scoperto che lo studente è pericolosamente troppo sicuro di sé. Non importa quanto sia in errore, dice: "Sono sicuro al 90%!". Il documento chiama questo fenomeno "Epistemic Blind Spots" (Punti Ciechi Epistemici): lo studente non sa ciò che non sa.

L'Esperimento: Quattro Modi per Porre la Domanda

I ricercatori hanno testato lo studente di medicina (usando un modello chiamato Qwen 2.5) su 300 cartelle cliniche. Hanno provato quattro modi diversi per chiedere una diagnosi:

La Tabula Rasa (Zero-Shot): Fornire solo i dati del paziente e chiedere: "Ha un'insufficienza renale?".
- Risultato: Lo studente ha indovinato casualmente (accuratezza del 49%), ma ha comunque dichiarato di essere sicuro all'85%.
Il Foglietto Illustrativo (Zero-Shot + SHAP): Dare allo studente i dati più un elenco dei 5 numeri che l'infermiera ritiene più importanti.
- Risultato: Lo studente ha comunque indovinato male (accuratezza del 52%) e dichiarava ancora l'85% di sicurezza. Guardava i numeri giusti, ma non sapeva come usarli.
Gli Esempi (Few-Shot): Dare allo studente i dati più quattro esempi di pazienti passati con le loro diagnosi corrette.
- Risultato: Lo studente è migliorato molto (accuratezza del 68%) e ha dichiarato il 93% di sicurezza.
La Super Combinazione (Few-Shot + SHAP): Dare allo studente sia gli esempi, sia l'elenco dei numeri importanti dell'infermiera.
- Risultato: Lo studente è diventato molto bravo (accuratezza del 75%) e ha dichiarato il 93% di sicurezza.

Le Quattro Grandi Scoperte

1. Il "Termometro Rotto" (La Confidenza è Inutile)

La scoperta più scioccante è che il "punteggio di confidenza" dello studente è un termometro rotto.

L'Analogia: Immaginate un termometro che segna sempre "37°C" sia che siate sani, sia che abbiate una febbre a 40°C.
La Realtà: Che lo studente avesse ragione o torto, che la sfida fosse facile o difficile, dichiarava sempre di essere circa all'85% o al 93% sicuro. La sua confidenza era determinata interamente da come veniva posta la domanda, non da quanto fosse buona la risposta. Non dice nulla sulla correttezza della previsione.

2. L'Effetto "Inverso della Difficoltà" (Falliscono dove l'Esperto è Sicuro)

I ricercatori hanno notato un modello strano:

Quando l'Infermiera era sicura al 99% (perché i dati erano molto chiari e specifici), lo Studente era corretto solo al 65%.
Quando l'Infermiera era incerta (perché i dati erano confusi), lo Studente faceva quasi altrettanto bene dell'infermiera (circa il 74% di correttezza).
L'Analogia: Lo studente è bravo nella teoria medica generale, ma terribile nei modelli specifici e particolari dei dati di questo specifico ospedale. Lo studente brilla quando i dati sono vaghi e la conoscenza generale aiuta, ma fallisce quando i dati richiedono schemi specifici appresi sul campo.

3. La "Combinazione Magica" (1 + 1 = 3)

I ricercatori hanno scoperto che dare allo studente degli esempi (Few-Shot) e dare loro l'elenco dei numeri importanti dell'infermiera (SHAP) funzionava meglio insieme rispetto alla somma delle loro parti.

L'Analogia: Immaginate di cercare di imparare a guidare.
- Gli Esempi da soli sono come guardare un video di qualcuno che guida. Capite l'obiettivo, ma non sapete quali pedali premere.
- L'Elenco da solo è come qualcuno che indica i pedali e dice "Premi questo". Sapete cosa toccare, ma non il perché o il quando.
- Insieme, finalmente capite come funziona l'intera auto. I ricercatori hanno scoperto che combinare questi due metodi ha sistemato il ragionamento dello studente molto più di quanto farebbe la semplice somma dei due miglioramenti.

4. Il "Traduttore" (Correggere la Confidenza)

Poiché la confidenza dello studente è inutile, i ricercatori hanno costruito un piccolo "Traduttore" (un calibratore).

Come funziona: Questo Traduttore osserva la differenza tra ciò che lo Studente ritiene importante e ciò che l'Infermiera ritiene importante.
Il Risultato: Se lo Studente e l'Infermiera non sono d'accordo su ciò che conta, il Traduttore dice: "Ehi, questa previsione è rischiosa". Se sono d'accordo, dice: "Questo è probabilmente sicuro".
L'Impatto: Questo ha sostituito la falsa confidenza dello studente con un punteggio di affidabilità reale e specifico per il paziente. Non aveva bisogno di guardare dentro il cervello dello studente o eseguire il test due volte; confrontava semplicemente il ragionamento dei due modelli.

La Conclusione: Il Problema del "Cold Start" (Partenza a Freddo)

Il documento conclude che porre un LLM su dati strutturati (come fogli di calcolo di parametri vitali dei pazienti) è come un Cold Start.

Lo studente ha la conoscenza (conosce la medicina).
Ma manca di direzione (non sa quali numeri guardare).
E manca di autoconsapevolezza (non sa quando sta tirando a indovinare).

Il documento suggerisce che non abbiamo bisogno di sostituire l'infermiera esperta e basata sui dati (XGBoost). Invece, dovremmo usare l'infermiera per guidare lo studente (mostrandogli quali caratteristiche contano) e per calibrare lo studente (dicendoci quando il suo ragionamento sta prendendo una direzione errata). Questo crea un sistema in cui lo studente impara a essere realmente consapevole dei propri limiti.

Riepilogo Tecnico: Rilevare i Punti Ciechi Epistemici tramite la Divergenza di Attribuzione Cross-Modello

Definizione del Problema

Sebbene i Large Language Models (LLM) mostrino potenziale nel rispondere a quesiti medici e nella sintesi di note cliniche, la loro applicazione ai dati tabulari clinici strutturati (ad esempio, le cartelle cliniche elettroniche) rimane ampiamente inesplorata per quanto riguarda l'autoconsapevolezza epistemica. Ricerche precedenti hanno stabilito che i modelli basati su alberi (ad esempio, XGBoost) superano costantemente gli LLM nei compiti di predizione su dati tabulari, ma questo divario di prestazioni è stato trattato finora principalmente come una metrica aggregata monolitica (ad esempio, un valore inferiore di AUROC) senza esaminare la sottostante struttura epistemica.

Il problema centrale affrontato è se gli LLM possano riconoscere i limiti della propria conoscenza su compiti strutturati. Nello specifico, il documento indaga se gli LLM possano distinguere tra i casi in cui sono probabilmente corretti rispetto a quelli in cui sono errati, e se i loro segnali di fiducia verbalizzati siano indicatori affidabili della qualità della predizione in contesti clinici. Gli autori inquadrano questo come un problema di "cold start": gli LLM possiedono conoscenze mediche rilevanti ma mancano della direzione (attenzione alle feature) e dei meccanismi di auto-valutazione necessari per applicare tale conoscenza ai dati strutturati.

Metodologia

Dati e Task

Lo studio utilizza il database clinico MIMIC-IV per replicare un compito di predizione dell'Insufficienza Renale Acuta (AKI).

Dataset: Una coorte bilanciata di 10.000 incontri (5.000 per classe) derivata da circa 209.000 ammissioni.
Feature: 321 feature che includono parametri vitali, dati demografici, codici di diagnosi CCS e valori di laboratorio discretizzati.
Split: Split 80/20 train-test per XGBoost; un sottoinsieme del 15% (n=300) del set di test è stato utilizzato per la valutazione dell'LLM.
Baseline: Un classificatore XGBoost addestrato sulle 50 variabili più influenti, che ha raggiunto un AUROC di ~0,85 e un'accuratezza di ~0,823 sul sottoinsieme di valutazione.

Configurazione Sperimentale

Gli autori hanno valutato Qwen 2.5 7B Instruct (ospitato localmente) attraverso quattro condizioni di prompting:

Zero-Shot (ZS): Feature del paziente serializzate con un prompt di predizione.
ZS + SHAP: Prompt ZS aumentato con le prime 5 feature SHAP, i punteggi di importanza e gli impatti direzionali del modello XGBoost.
Few-Shot (FS): Prompt ZS con quattro esempi etichettati bilanciati per classe.
FS + SHAP: Combinazione di esempi few-shot e iniezione di feature SHAP.

Requisiti di Output: Per ogni caso, l'LLM doveva generare una predizione binaria, un punteggio di fiducia verbalizzato (0–1) e una lista ordinata delle prime 5 feature con le direzioni di rischio. Gli output sono stati imposti tramite JSON strutturato.

Metriche e Analisi

Attribution Disagreement Score (ADS): Quantifica l'allineamento tra le attribuzioni SHAP di XGBoost e le classifiche delle feature auto-riportate dall'LLM utilizzando la correlazione di rango di Kendall ( $\tau$ ). $ADS = 1 - \tau$ .
Calibrazione: Misurata tramite l'Expected Calibration Error (ECE) e l'AUROC per distinguere le predizioni corrette da quelle errate.
Cross-Model Calibrator: Un modello leggero (Regressione Logistica o XGBoost) addestrato per predire la probabilità di correttezza dell'LLM ( $P(\text{LLM correct})$ ) utilizzando feature cross-modello (ADS, sovrapposizione di Jaccard, accordo direzionale, differenze di fiducia, ecc.).

Risultati Chiave

1. La Fiducia Verbalizzata dell'LLM è Epistemicamente Vuota

Lo studio rileva che la fiducia verbalizzata dell'LLM è interamente determinata dal template del prompt, non dalla qualità della predizione.

Osservazione: I punteggi di fiducia sono rimasti quasi costanti (0,856 per lo Zero-Shot; 0,937 per il Few-Shot) indipendentemente dal fatto che l'accuratezza fosse del 49% o del 75,3%.
Implicazione: Sui dati tabulari clinici, la fiducia verbalizzata non fornisce alcuna informazione sulla correttezza. Essa segue il formato del prompt piuttosto che lo stato epistemico, rendendola inutile per il processo decisionale a valle.

2. L'Effetto Inverso della Difficoltà

Esiste una relazione controintuitiva tra la difficoltà dei dati e le prestazioni dell'LLM rispetto a XGBoost.

Osservazione: Quando XGBoost è altamente fiducioso (>0,85) e quasi sempre corretto (99% di accuratezza), l'accuratezza dell'LLM scende al 64,8%. Al contrario, quando XGBoost è moderatamente incerto (fiducia 0,70–0,85), l'LLM eguaglia le sue prestazioni (73,8% vs 73,1%).
Implicazione: I modelli presentano modalità di fallimento complementari. L'LLM fatica con i pattern distribuzionali specifici dei dati appresi da XGBoost, ma aggiunge un valore reale nella "zona di incertezza" di XGBoost, dove la conoscenza medica generale è sufficiente. Tuttavia, l'LLM non è in grado di identificare queste zone autonomamente.

3. Allineamento di Attribuzione Super-Additivo

Gli esempi few-shot e le evidenze delle feature derivate da SHAP agiscono come interventi ortogonali e super-additivi.

Osservazione:
- Few-Shot: Migliora la comprensione del compito (mappatura delle feature alle predizioni) ma cambia appena l'attenzione alle feature (la sovrapposizione di Jaccard aumenta solo leggermente).
- Iniezione SHAP: Reindirizza efficacemente l'attenzione alle feature (la sovrapposizione di Jaccard balza a 0,658) ma risulta in un "adozione superficiale" (l'LLM copia le attribuzioni verbalmente senza modificare significativamente le predizioni).
- Combinazione (FS + SHAP): L'effetto combinato sulla riduzione dell'ADS (riduzione di 1,158) supera la somma degli effetti individuali (0,796). Questa combinazione raggiunge il 75,3% di accuratezza e un ADS di 0,378.
Implicazione: Risolvere il "cold start" richiede sia dimostrazioni del compito (direzione) che evidenza strutturata del modello (orientamento).

4. Calibrazione Cross-Modello tramite Divergenza di Attribuzione

I segnali di divergenza di attribuzione possono alimentare un efficace sistema di calibrazione esterno.

Osservazione: Un calibratore cross-modello utilizzando feature di divergenza di attribuzione ha ridotto l'Expected Calibration Error (ECE) da 0,254 (LLM grezzo) a 0,080. Il calibratore ha raggiunto un'AUROC di 0,71 nel predire se l'LLM sarebbe stato corretto.
Implicazione: Stime di affidabilità specifiche per ogni paziente possono essere generate senza accedere agli interni dell'LLM o richiedere inferenze ripetute, sostituendo la fiducia costante e priva di informazione con un punteggio di affidabilità significativo.

Significato e Rivendicazioni

Il documento inquadra questi risultati come la caratterizzazione di un problema di cold start per gli LLM sui dati strutturati. L'LLM possiede una conoscenza medica latente ma manca del meccanismo per orientarsi all'interno dello spazio delle feature o per valutare la propria affidabilità.

Fondamento Diagnostico: Il lavoro stabilisce un quadro diagnostico per identificare i punti ciechi epistemici (attenzione disallineata, assenza di auto-valutazione) piuttosto che misurare semplicemente i gap di prestazione.
Utilità Pratica: Dimostra che i modelli strutturati esistenti (come XGBoost) possono servire un duplice ruolo nei flussi di lavoro clinici: fornendo direzione (tramite iniezione di attribuzione) e segnali di calibrazione (tramite divergenza cross-modello) agli LLM.
Autoconsapevolezza Epistemica: Gli autori sostengono che gli attuali LLM manchino di una vera autoconsapevolezza epistemica sui compiti strutturati. Il percorso proposto prevede l'uso di target di calibrazione cross-modello come segnali di ricompensa per il Reinforcement Learning (RL), potenzialmente insegnando agli LLM di interiorizzare l'incertezza calibrata in futuro.

Lo studio è modesto nella sua portata, valutando un singolo modello (Qwen 2.5 7B) su un singolo compito (AKI) con un campione limitato (n=300). Riconosce i limiti relativi alle attribuzioni di feature auto-riportate e alla natura preliminare del calibratore, posizionando questo lavoro come un passo fondamentale verso una ricerca più ampia sull'intelligenza epistemica per i dati strutturati.