LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy

Questo articolo propone l'Entropia Semantica Conformale Adattiva (ACSE), un metodo innovativo che quantifica l'incertezza dei LLM misurando adattivamente la dispersione semantica attraverso risposte diversificate e applicando una calibrazione conformale per fornire garanzie di errore libere dalla distribuzione e basate su campioni finiti, superando così le basi di riferimento lessicali e probabilistiche esistenti in applicazioni critiche per la sicurezza.

L'essenziale

Immagina di porre una domanda a un bibliotecario molto sicuro di sé e ben informato (l'IA). Il bibliotecario potrebbe rispondere con assoluta certezza, anche se ha completamente torto. Questo è il problema della "eccessiva sicurezza" che il documento affronta: i Modelli Linguistici di Grande Dimensione (LLM) spesso allucinarono (inventano cose) mentre sembrano sicuri al 100%.

Il documento introduce un nuovo sistema di sicurezza chiamato ACSE (Entropia Semantica Conformale Adattiva). Pensa all'ACSE come a un meccanismo di "Controllo di Realtà" che non si limita ad ascoltare cosa dice il bibliotecario, ma verifica se il bibliotecario è effettivamente sicuro del significato della sua risposta.

Ecco come funziona, scomposto in passaggi semplici:

1. Il Problema: La "Trappola dei Sinonimi"

I controlli di sicurezza attuali spesso esaminano le parole specifiche scelte dall'IA. Se l'IA dice "La capitale è Sydney" il 70% delle volte e "La capitale è Canberra" il 30% delle volte, un semplice contatore di parole potrebbe pensare: "Oh, è piuttosto sicura che sia Sydney!" e darle il via libera.

Ma ecco il punto critico: l'IA potrebbe essere sicura della risposta sbagliata (Sydney) mentre è incerta sulla risposta giusta (Canberra). Oppure, potrebbe fornire cinque risposte diverse che significano tutte la stessa cosa (ad esempio, "Sydney", "Syd", "La grande città portuale"). Un semplice contatore di parole si confonde con queste variazioni, pensando che l'IA sia incerta quando in realtà sta solo essendo chiacchierona.

2. La Soluzione: Il Metodo "Abbraccio di Gruppo" (Clustering Semantico)

L'ACSE cambia le regole del gioco chiedendo all'IA di rispondere alla stessa domanda dieci volte.

• Passaggio A: Prende quelle dieci risposte e le traduce in "mappe di significato" (embedding).
• Passaggio B: Raggruppa queste risposte in "quartieri" in base al loro significato, non alla loro ortografia.
  • Esempio: Se 9 risposte dicono "Sydney" e 1 dice "Canberra", formano due quartieri distinti.
  • Esempio: Se 5 risposte dicono "Sydney" e 5 dicono "La capitale è Sydney", vengono tutte abbracciate nello stesso quartiere perché significano la stessa cosa.

3. Il Rilevatore di "Fragilità" (Inflazione Adattiva)

Questo è l'ingrediente segreto del documento. Il fatto che l'IA sia d'accordo su una risposta (come "Sydney") non significa che quella risposta sia sicura.

• L'Analogia: Immagina un gruppo di persone che concordano tutti su una direzione. Se sono tutti in piedi in un cerchio stretto e solido, questo è un consenso forte. Ma se concordano tutti su una direzione stando in piedi su un pavimento traballante e che trema, questo è un consenso fragile.
• L'ACSE cerca questo "traballio". Verifica se il gruppo che concorda su "Sydney" è effettivamente instabile (forse le risposte sono leggermente diverse, o il gruppo è molto piccolo).
• Se il gruppo è "fragile", l'ACSE inflaziona il punteggio di incertezza. Dice essenzialmente: "Anche se siete tutti d'accordo, il vostro accordo è instabile, quindi tratterò questa situazione come ad alto rischio".

4. La "Rete di Sicurezza" (Calibrazione Conformale)

Infine, il sistema deve sapere esattamente quando dire "Non lo so" (astenersi) rispetto a quando dare una risposta.

• Gli autori utilizzano una "rete di sicurezza" statistica chiamata Predizione Conformale.
• Testano prima il sistema su un set di domande di pratica. Determinano una "linea di taglio".
• La Regola: Se il "punteggio di traballio" (incertezza) è sotto la linea, l'IA risponde. Se è sopra la linea, l'IA rimane in silenzio.
• La Garanzia: Non è un'ipotesi. La matematica garantisce che se imposti la rete di sicurezza per catturare il 90% degli errori, essa catturerà almeno il 90% degli errori, indipendentemente da cosa stia facendo l'IA. Promette che gli errori che vedrai saranno rari.

I Risultati: Perché è Importante

Il documento ha testato questo su vari modelli di IA e dataset (come domande di cultura generale).

• La Competizione: I vecchi metodi (come il conteggio delle probabilità delle parole) erano come una bussola traballante. Spesso assegnavano un'alta sicurezza a risposte sbagliate.
• Il Vincitore: L'ACSE ha agito come un navigatore intelligente. In un test di cultura generale, ha correttamente identificato le risposte sbagliate nell'88% dei casi (AUROC 0,88), mentre il metodo successivo migliore ne ha ottenuti solo l'80%.
• La Sicurezza: Ha fermato con successo l'IA dal dare risposte sbagliate in situazioni ad alto rischio molto più spesso dei metodi precedenti, senza essere così cauto da rifiutarsi di rispondere a nulla.

In Sintesi

L'ACSE è un sistema che chiede a un'IA di rispondere a una domanda più volte, raggruppa le risposte per significato piuttosto che per parole, verifica se il gruppo sta su terreno solido o su terreno instabile, e utilizza una rete di sicurezza matematicamente provata per decidere quando parlare e quando rimanere in silenzio. Garantisce che quando l'IA parla, non sia solo sicura, ma effettivamente affidabile.

Sommario tecnico

Riepilogo Tecnico: Entropia Semantica Conformale Adattiva (ACSE)

Enunciato del Problema
I Large Language Models (LLM) mostrano frequentemente un'eccessiva sicurezza, in particolare quando generano allucinazioni, il che comporta rischi significativi per il dispiegamento in domini critici per la sicurezza come l'assistenza sanitaria, il diritto e la ricerca scientifica. I metodi esistenti di quantificazione dell'incertezza (UQ) si basano principalmente su segnali a livello di token, come l'entropia del prossimo token o la verosimiglianza logaritmica della sequenza. Questi approcci non riescono a catturare la varianza semantica; spesso assegnano un'alta confidenza a output che sono lessicalmente diversi ma semanticamente incoerenti o errati. Inoltre, i recenti metodi a livello semantico come l'Entropia Semantica (SE) si basano su clustering rigido, che può produrre stime instabili ignorando le regioni semantiche sovrapposte. Altri approcci conformali, pur offrendo garanzie statistiche, spesso trattano l'incertezza come un segnale scalare, rendendoli vulnerabili a trappole di "consenso errato" in cui cluster lessicalmente coerenti ma fattualmente errati soddisfano le soglie di confidenza.

Metodologia
Il documento propone l'Entropia Semantica Conformale Adattiva (ACSE), un framework indipendente dal modello per stimare l'incertezza a livello di prompt misurando la dispersione semantica negli output degli LLM. La metodologia opera attraverso tre fasi principali:

1. Embedding Semantico e Clustering Soft:
   Per un dato prompt, il modello genera $n$ risposte diverse utilizzando il campionamento a nucleo. Queste risposte vengono inserite in uno spazio vettoriale semantico continuo utilizzando un sentence encoder. Invece di un clustering rigido, l'ACSE impiega il Clustering Agglomerativo Gerarchico (HAC) con distanza coseno per formare gruppi semantici, seguito da assegnazioni soft ai cluster. Ciò permette alle risposte di appartenere probabilisticamente a più cluster, preservando i segnali di ambiguità semantica. Un punteggio di incertezza di base, $u(x)$, è derivato dall'entropia normalizzata della distribuzione risultante dei cluster.

2. Inflazione Adattiva dell'Incertezza:
   Per affrontare la fragilità strutturale nei cluster (ad esempio, un supporto debole per i cluster dominanti o un'alta diversità interna), l'ACSE introduce un punteggio di incertezza aggiustato, $\hat{u}(x)$. Questo punteggio gonfia l'entropia semantica di base basandosi su cinque caratteristiche di robustezza a livello di prompt:

   • Entropia Semantica: Misura la multimodalità.
   • Distanza dal Centroide: Valuta il supporto geometrico per la risposta dominante.
   • Dispersione del Cluster Dominante: Quantifica la coerenza interna.
   • Dimensione del Cluster Dominante: Penalizza un consenso fragile sostenuto da pochi campioni.
   • Margine rispetto alla Soglia: Sopprime una confidenza ingiustificata in regimi a bassa incertezza.
     Queste caratteristiche sono aggregate in una "metrica di fragilità" $B(x)$, che scala un fattore di inflazione $\lambda(x)$. Il punteggio finale $\hat{u}(x)$ è una trasformazione limitata e monotona che aumenta l'incertezza quando le strutture dei cluster indicano rischi.

3. Calibrazione Conformale:
   I punteggi aggiustati vengono calibrati utilizzando la Predizione Conformale (CP) su un set di prompt tenuto da parte. Ciò stabilisce una regola decisionale con garanzie finite-campionarie e libere dalla distribuzione. Il sistema esegue due funzioni:

   • Decisione a Livello di Prompt: Determina se accettare una risposta o astenersi basandosi su una soglia di taglio, assicurando che il tasso di errore tra le risposte accettate rimanga al di sotto di una tolleranza specificata dall'utente $\alpha$.
   • Insiemi di Predizione a Livello di Risposta: Costruisce un insieme di risposte campionate che soddisfano la copertura conformale, supportando il processo decisionale dell'utente identificando output semanticamente rappresentativi e conformi.

Contributi Chiave

• Framework ACSE: Un metodo innovativo per stimare l'incertezza basata sull'entropia a livello semantico, superando i segnali a livello di token per catturare la dispersione nel significato.
• Meccanismo di Inflazione Adattiva: Un punteggio di incertezza aggiustato che sfrutta le caratteristiche di robustezza dei cluster per gonfiare adattivamente l'incertezza semantica, penalizzando esplicitamente le semantica ambigue delle risposte e mitigando le allucinazioni.
• Garanzie Conformali: Una fase di calibrazione post-hoc che apprende le soglie sia per l'astensione a livello di prompt che per gli insiemi di predizione a livello di risposta, fornendo garanzie formali sui tassi di errore.
• Validazione Empirica: Estesi esperimenti che dimostrano una discriminazione e una calibrazione superiori rispetto ai baseline all'avanguardia.

Risultati Sperimentali
Gli autori hanno valutato l'ACSE su cinque benchmark (TriviaQA, CoQA, Natural Questions, TruthfulQA e MMLU) utilizzando varie architetture LLM (Mistral-7B, LLaMA-2, Falcon, Qwen).

• Rilevamento delle Allucinazioni: L'ACSE ha costantemente superato i baseline nelle metriche di discriminazione. Sul dataset TriviaQA, l'ACSE ha raggiunto un AUROC di 0,88, superando significativamente il baseline Entropia dei Token (0,65) e la Politica di Astensione Conformale (CAP) (0,80).
• Metriche di Sicurezza: L'ACSE ha dimostrato tassi di falsi positivi (FPR) più bassi a soglie di richiamo elevate. Ad esempio, su Falcon-7B, l'ACSE ha ridotto l'FPR@95 da 0,48 (CAP) a 0,31, una diminuzione relativa del 35,4% nelle allucinazioni accettate.
• Garanzie Conformali: L'ACSE ha aderito rigorosamente ai livelli di copertura specificati dall'utente ($\alpha$) mantenendo tassi di accettazione più elevati rispetto ai metodi concorrenti. A $\alpha=0,10$, l'ACSE ha raggiunto un tasso di accettazione del 75,8% rispetto al 65,4% della CAP, con dimensioni medie degli insiemi di predizione inferiori (1,07 contro 1,32) e una stabilità di calibrazione superiore (SSCV).
• Quantificazione dell'Incertezza: L'analisi visiva ha confermato che l'ACSE separa efficacemente le risposte corrette dalle allucinazioni, assegnando un'alta incertezza alle allucinazioni anche quando i metodi baseline (come SE o Entropia dei Token) mostravano un'alta confidenza.

Significato
Il documento afferma che l'ACSE offre una soluzione robusta per il dispiegamento affidabile degli LLM in domini critici per la sicurezza affrontando le specifiche modalità di fallimento dei metodi UQ esistenti: l'incapacità di distinguere la variazione lessicale superficiale dall'ambiguità semantica genuina e la vulnerabilità alle trappole del consenso errato. Combinando l'analisi della dispersione semantica con l'inflazione adattiva e le garanzie conformali, l'ACSE fornisce un meccanismo statisticamente rigoroso per rilevare le allucinazioni e controllare i tassi di errore senza richiedere il riaddestramento del modello. Gli autori sostengono che, sebbene il campionamento e l'elaborazione successiva comportino un sovraccarico computazionale, questo costo è giustificato nelle applicazioni ad alto rischio in cui l'affidabilità del modello è fondamentale.