💬 NLP

Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

Lo studio dimostra che l'entropia da sola è insufficiente per una previsione selettiva sicura nei modelli linguistici a causa di un fallimento dipendente dal modello, e propone un approccio ibrido che combina l'entropia con un segnale di verifica della correttezza per migliorare affidabilità e calibrazione su diversi benchmark.

Autori originali: Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

Pubblicato 2026-03-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Edward Phillips, Fredrik K. Gustafsson, Sean Wu, Anshul Thakur, David A. Clifton

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente personale super intelligente (un Modello Linguistico o LLM) che ti risponde a domande su tutto, dalla storia alla medicina. Questo assistente è bravissimo, ma ha un difetto: a volte inventa cose (le "allucinazioni") e le dice con una sicurezza disarmante, come se fossero fatti assoluti.

Il problema è: come fai a sapere quando puoi fidarti di lui e quando invece dovresti fermarlo?

Il vecchio metodo: "Ascolta il tono di voce" (Entropia)

Fino a poco tempo fa, gli sviluppatori pensavano che il modo migliore per capire se l'assistente stava mentendo fosse ascoltare il suo "tono di voce" interno.

L'analogia: Immagina di chiedere a un oratore: "Qual è la capitale della Francia?". Se risponde "Parigi" con un tono sicuro e veloce, sembra affidabile. Se invece esita, ripete le parole o sembra confuso ("Ehm... forse... Parigi?"), pensi che non sia sicuro.
La tecnica: In termini tecnici, questo si chiama Entropia. Se l'assistente è incerto, le sue risposte interne sono disordinate (alta entropia). Se è sicuro, sono ordinate (bassa entropia).
Il problema scoperto: Gli autori di questo studio hanno scoperto che questo metodo è ingannevole. A volte, l'assistente inventa una bugia così convincente e sicura che il suo "tono di voce" interno sembra perfetto (bassa entropia). È come un bugiardo patologico che non esita mai: il sistema lo considera affidabile, ma in realtà sta mentendo. Questo è il "regime della bugia sicura".

La nuova soluzione: "Chiedi a un revisore" (Sonda di Correttezza)

Per risolvere il problema del bugiardo sicuro, gli autori hanno proposto un approccio ibrido. Non si fidano solo del "tono di voce" (entropia), ma aggiungono un secondo controllo.

L'analogia: Immagina che l'assistente scriva una risposta. Invece di basarsi solo su quanto sembra sicuro, lo fai passare attraverso un revisore esperto (una "sonda di correttezza"). Questo revisore non guarda quanto l'assistente è sicuro, ma guarda se la risposta ha senso rispetto a ciò che sa.
La combinazione:
1. Entropia: "L'assistente sembra sicuro?"
2. Sonda: "La risposta è probabilmente vera?"
3. Decisione: Se l'assistente è sicuro ma la risposta sembra falsa (o viceversa), il sistema decide di non rispondere (si astiene).

Cosa hanno scoperto?

Hanno testato questa idea su diversi modelli (come Mistral, Llama, Qwen) e su domande di cultura generale e medicina. Ecco i risultati principali:

Nessun metodo è perfetto da solo: A volte l'entropia funziona meglio, a volte la sonda. Dipende dal "cervello" del modello che stai usando. È come dire che alcuni detective sono bravi a leggere le emozioni, altri a leggere le prove fisiche; serve un team.
La combinazione vince: Unire i due metodi (Entropia + Sonda) funziona quasi sempre meglio. È come avere un detective che controlla sia le emozioni che le prove: riduce gli errori e permette di fidarsi di più quando il sistema dice "rispondo".
Il pericolo delle "sicurezze false": Senza la sonda, i sistemi falliscono proprio quando dovrebbero essere più sicuri (nelle zone ad alto rischio, come in medicina). La combinazione permette di operare in modo sicuro anche quando si richiede un livello di errore bassissimo.

Perché è importante?

Prima, si valutava l'affidabilità di questi sistemi con metriche globali (come dire: "In media, questo detective sbaglia il 10% delle volte").
Gli autori dicono: "Non basta la media!".
Se usi un assistente medico, non ti interessa la media: ti interessa sapere che al 99% di sicurezza, quando dice "Sì", ha davvero ragione.

Hanno introdotto metriche nuove (come la "Calibrazione Obiettivo") che misurano se il sistema è onesto quando promette di essere sicuro. Hanno scoperto che i vecchi metodi spesso mentono su questo punto, mentre il nuovo metodo combinato è molto più affidabile.

In sintesi

Questo studio ci insegna che non possiamo fidarci ciecamente della sicurezza apparente di un'intelligenza artificiale.
Per creare sistemi sicuri (specialmente in ambiti critici come la medicina), dobbiamo usare un doppio controllo:

Controllare quanto il modello è "confuso" internamente.
Controllare se la sua risposta ha senso fattuale.

Solo unendo queste due forze possiamo costruire un assistente che sa quando non rispondere per evitare di farti danni, rendendolo davvero affidabile per il mondo reale.

1. Il Problema

I Large Language Models (LLM) sono soggetti a allucinazioni: producono risposte fluenti ma fattualmente errate, spesso con un alto grado di confidenza. Per mitigare i rischi in domini ad alto impatto (come la sanità), si utilizzano sistemi di previsione selettiva, che decidono di astenersi dal rispondere quando l'incertezza del modello è troppo elevata.

Il problema centrale identificato dagli autori è che le tecniche attuali di Quantificazione dell'Incertezza (UQ), in particolare quelle basate sull'entropia (che misurano la "sfocatura" della distribuzione di probabilità del modello), falliscono in modo critico in scenari di sicurezza rigorosa.
Nello specifico, gli autori individuano un modo di fallimento dipendente dal modello: il regime "confidently wrong" (sicuramente sbagliato). In questo scenario, il modello genera un'allucinazione con una distribuzione di output a bassa entropia (molto concentrata e quindi "sicura" secondo le metriche tradizionali), rendendo impossibile per i sistemi basati solo sull'entropia rilevare l'errore e astenersi dall'rispondere.

2. Metodologia

Gli autori propongono un approccio ibrido che combina segnali di incertezza basati sull'entropia con un segnale di correttezza appreso.

Setup di Previsione Selettiva:
- Dato un input $x$ , il sistema calcola un punteggio di rischio $r(x)$ .
- Se $r(x) \le \tau$ (soglia), il modello risponde; altrimenti, si astiene.
- La soglia $\tau$ viene calibrata su un set di validazione per garantire che il tasso di allucinazione tra le risposte accettate non superi un target di rischio $\alpha$ (es. 5% o 10%).
Segnali di Incertezza Utilizzati:
1. Metodi basati sull'entropia:
  - Sequence NLL: Media del log-verosimiglianza negativo (nessuna inferenza aggiuntiva).
  - Semantic Entropy (SE): Misura la dispersione semantica raggruppando $K$ campioni tramite implicazione reciproca (costoso computazionalmente).
  - Semantic Entropy Probe (SEP): Un probe lineare leggero che approssima la SE senza campionamento aggiuntivo.
2. Probe di Correttezza (PC Probe):
  - Un classificatore logistico addestrato sulle rappresentazioni del prompt per prevedere se la risposta è corretta (usando etichette di verità esterna).
  - Il rischio è derivato come $1 - p_{corretto}$ .
Fusione dei Segnali:
- Viene proposta una combinazione lineare (regressione logistica a due caratteristiche) che integra il segnale di entropia ( $u_{ent}$ ) e il segnale di correttezza ( $u_{pc}$ ).
- Questo punteggio combinato viene utilizzato per determinare la soglia di astensione.
Metriche di Valutazione:
- Oltre alle metriche globali di rilevamento (AUROC, AUPRC), il paper enfatizza metriche orientate al deployment:
  - E-AURC (Excess Area Under the Risk-Coverage Curve): Misura il compromesso rischio-copertura rispetto a un oracolo ideale.
  - TCE (Target Calibration Error): Misura quanto il rischio reale osservato si discosta dal rischio target $\alpha$ impostato dall'operatore. È cruciale per garantire che il sistema operi in sicurezza a soglie strette.

3. Contributi Chiave

Identificazione del fallimento "Confidently Wrong": Dimostrano che l'efficacia dei metodi basati sull'entropia è fortemente dipendente dall'architettura del modello. Alcuni modelli (es. Qwen) producono allucinazioni con entropia quasi nulla, ingannando i sistemi di sicurezza basati solo su tale metrica.
Validazione dell'approccio ibrido: Mostrano che combinare l'entropia con un probe di correttezza risolve il fallimento sopra citato, migliorando sia il rilevamento delle allucinazioni che le prestazioni nella previsione selettiva.
Cambiamento di paradigma nella valutazione: Sostengono che metriche globali come l'AUROC sono insufficienti per valutare la sicurezza operativa. Metriche come il TCE sono essenziali per verificare se un sistema può essere affidabilmente configurato per operare a un livello di rischio specifico (es. <15% di allucinazioni).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 4 famiglie di modelli (Mistral, Llama, Qwen, Gemma) e 3 benchmark (TriviaQA, BioASQ, MedicalQA).

Correlazione dei segnali: I segnali di entropia e di correttezza mostrano una correlazione moderata (Spearman $\rho \approx 0.5$ ), indicando che catturano aspetti complementari dell'incertezza.
Performance di Rilevamento: La combinazione (Entropia + PC Probe) supera costantemente i baselines basati solo sull'entropia in termini di AUROC e AUPRC su quasi tutte le configurazioni.
Performance di Previsione Selettiva (Deployment):
- I metodi basati solo sull'entropia spesso falliscono nell'entrare in regimi ad alta fiducia (basso rischio) con una copertura non banale. Le loro curve Rischio-Copertura mostrano un "pavimento di rischio" (risk floor) troppo alto.
- La combinazione con il PC Probe abbassa questo pavimento, permettendo al sistema di raggiungere target di rischio più stretti (es. $\alpha \le 0.15$ ) mantenendo una copertura significativa.
- Il TCE è significativamente ridotto per i metodi combinati, indicando una calibrazione molto più affidabile rispetto ai target impostati.
Eccezione: Su MedicalQA (il dataset più difficile), il miglioramento è meno marcato quando la precisione di base del modello è molto bassa, rendendo difficile anche l'addestramento del probe di correttezza.

5. Significato e Implicazioni

Questo lavoro è fondamentale per l'implementazione sicura degli LLM in scenari reali:

Sicurezza Operativa: Dimostra che non è sufficiente avere un buon rilevatore di allucinazioni in senso statistico (alto AUROC); è necessario che il sistema sia calibrato per rispettare vincoli di rischio specifici.
Efficienza: La soluzione proposta richiede solo una singola inferenza in avanti (forward pass) del modello per il segnale di entropia (se si usa NLL o SEP) e un probe leggero, senza costi computazionali proibitivi come il campionamento massiccio richiesto dalla Semantic Entropy pura.
Direzione Futura: Suggerisce che per la sicurezza degli LLM, le strategie di valutazione devono spostarsi dalle metriche di classificazione globale a metriche di controllo del rischio operativo (come TCE e AURC), e che l'uso combinato di segnali interni (entropia) e segnali appresi (correttezza) è la via obbligata per sistemi robusti.

In sintesi, il paper conclude che l'entropia da sola non è sufficiente per garantire la sicurezza negli LLM a causa di specifici fallimenti architetturali, e che l'integrazione con probe di correttezza supervisionata è necessaria per ottenere sistemi di previsione selettiva affidabili e calibrati.