Geometry-Calibrated Conformal Abstention for Language Models

1. Enunciato del Problema

I Large Language Models (LLM) spesso non riescono a riconoscere i propri limiti di conoscenza. Di fronte a query al di fuori della loro distribuzione di addestramento o della loro base di conoscenze, tendono a generare risposte che sembrano plausibili ma sono fattualmente errate (allucinazioni) piuttosto che astenersi (dire "Non lo so").

• Limiti dell'Addestramento: Riaddestrare i modelli per premiare l'astensione è difficile a causa della scarsità di benchmark che penalizzano esplicitamente le congetture e premiano l'ignoranza. Inoltre, tali interventi possono portare a un overfitting o a un comportamento eccessivamente conservativo, dove i modelli si rifiutano di rispondere anche quando conoscono la risposta.
• Metodi Post-hoc Esistenti: La Predizione Conformale (CP) tradizionale offre garanzie finite-samples per l'incertezza, ma si basa su "punteggi di non-conformità". Nella generazione di testo aperto, definire una funzione di punteggio ground-truth è intrattabile perché le risposte corrette possono assumere infinite forme semanticamente equivalenti.
• Domanda Centrale: È possibile dotare gli LLM di un meccanismo post-hoc per astenersi in modo affidabile dal rispondere quando incerti, senza riaddestramento, fornendo al contempo garanzie teoriche sulla correttezza?

2. Metodologia: Astensione Conformale (CA)

Gli autori propongono l'Astensione Conformale (CA), un framework che combina la teoria della Predizione Conformale con una nuova strategia di calibrazione basata sulla geometria delle rappresentazioni.

A. Framework Teorico (Astensione Conformale)

La CA adatta la CP al setting della generazione linguistica concentrandosi sulla confidenza di previsione piuttosto che sui punteggi di non-conformità. Stabilisce due garanzie finite-samples:

1. Garanzia di Partecipazione: Limita la probabilità che il modello fornisca una risposta (non si astenga).
2. Garanzia di Correttezza Condizionale: Limita la probabilità che una risposta fornita sia corretta, dato che il modello ha scelto di partecipare.

Il framework utilizza un punteggio di incertezza $r(\hat{y}|x)$ (ad esempio, la perplessità). Impostando una soglia $\tau$ basata su un set di calibrazione, il modello si astiene se il punteggio supera $\tau$. Le dimostrazioni teoriche (Teorema 3.1, Lemma 3.2) dimostrano che se le coppie input-output sono scambiabili, la correttezza condizionale delle risposte mantenute è limitata inferiormente da un livello di confidenza specificato dall'utente.

B. Calibrazione tramite Geometria delle Rappresentazioni

Per garantire che il punteggio di incertezza rifletta fedelmente lo stato interno del modello (conoscenza vs. ignoranza), gli autori introducono una strategia di calibrazione basata sulla geometria delle rappresentazioni dei token attraverso i livelli del transformer. Ipotesizzano che quando un modello sfrutta la conoscenza interna, gli aggiornamenti del MLP (Multi-Layer Perceptron) inducano trasformazioni geometriche specifiche negli stati nascosti.

Estraggono tre segnali geometrici dalla traiettoria dell'embedding dell'ultimo token della query:

1. Prossimità ($\omega$): Misura il contributo dell'aggiornamento del MLP. Calcola la distanza tra gli embedding pre-MLP e post-MLP. Una piccola distanza (alta prossimità) indica che il MLP ha attivamente plasmato la rappresentazione.
2. Rotazione dell'Embedding ($\theta$): Misura l'angolo di rotazione indotto dall'aggiornamento del MLP. Grandi rotazioni suggeriscono un significativo spostamento nella direzione di previsione, spesso associato al recupero di conoscenze specifiche.
3. Allineamento ($\phi$): Misura l'angolo tra l'embedding del token e la direzione anisotropa dominante dei dati in-distribution. Un alto allineamento suggerisce che il modello sta operando all'interno della sua distribuzione appresa; una deviazione suggerisce estrapolazione (incertezza).

Ipotesi Convalidate:

• H1: Le previsioni corrette sono associate a un forte contributo di conoscenza (alto $\omega$) che induce una rotazione significativa (alto $\theta$).
• H2: Le previsioni corrette rimangono allineate con il cono anisotropo in-distribution (basso $\phi$), mentre quelle errate deviano.

C. Pipeline di Calibrazione

1. Estrazione delle Caratteristiche: Per ogni token, il modello calcola un vettore di caratteristiche $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ che cattura i segnali geometrici attraverso tutti i livelli.
2. Calcolo della Distanza: Il sistema calcola la distanza di Mahalanobis di queste caratteristiche dalle distribuzioni delle previsioni corrette e errate.
3. Addestramento del Calibratore: Viene addestrato un modello XGBoost per mappare queste caratteristiche geometriche (combinate con la perplessità grezza) in un punteggio di incertezza raffinato.
4. Decisione: Il punteggio finale di incertezza determina se astenersi in base alla soglia conformale.

3. Contributi Chiave

1. Framework di Astensione Conformale: Un metodo post-hoc che fornisce garanzie rigorose finite-samples sia per i tassi di partecipazione che per la correttezza condizionale nella generazione aperta, aggirando l'intrattabilità dei punteggi di non-conformità.
2. Calibrazione Basata sulla Geometria: Un approccio innovativo alla quantificazione dell'incertezza che sfrutta le dinamiche geometriche interne dei livelli del transformer (contributi MLP, rotazioni e anisotropia) per allineare meglio la confidenza con la correttezza effettiva.
3. Garanzie Teoriche: Dimostrazioni che mostrano come lo scambio sia preservato sotto le trasformazioni deterministiche utilizzate per derivare i punteggi di incertezza, garantendo la validità dei limiti conformali.
4. Valutazione Completa: Esperimenti estesi su sei dataset diversificati (NQ, TruthfulQA, GSM8K, ecc.) e su molteplici dimensioni di modelli (Gemma-3, LLaMA-3).

4. Risultati Sperimentali

• Prestazioni: Il metodo proposto supera significativamente baselines solide (inclusi Perplessità, Entropia Semantica, metodi basati sull'attenzione e confidenza verbalizzata) su tutti i dataset.
• Correttezza Condizionale: Sotto l'astensione conformale, il metodo raggiunge una correttezza condizionale media del 75,0%. Ciò significa che quando il modello decide di rispondere, è corretto il 75% delle volte, un miglioramento significativo rispetto alle baselines che spesso oscillano intorno al 50-60%.
• Robustezza: Il metodo mantiene alte prestazioni attraverso diversi tassi di partecipazione (dal 10% al 90% delle query risposte).
• Studi di Ablazione: Permutare i segnali geometrici ($\omega, \theta, \phi$) causa cali di prestazioni comparabili, indicando che tutti e tre i segnali sono cruciali e complementari.
• Calibrazione delle Baselines: Gli autori mostrano che applicare semplicemente il loro calibratore alle baselines esistenti spesso degrada le prestazioni (a causa dell'overfitting su segnali a bassa dimensionalità), mentre le loro caratteristiche geometriche ad alta dimensionalità beneficiano significativamente della calibrazione.

5. Significato

Questo lavoro affronta un divario critico di affidabilità nel deployment degli LLM. Consentendo ai modelli di astenersi selettivamente con garanzie teoriche, la CA riduce il rischio di allucinazioni in domini ad alto rischio (sanità, diritto, scienza) senza richiedere un costoso riaddestramento. L'introduzione della geometria delle rappresentazioni come proxy per il "coinvolgimento della conoscenza" offre un nuovo paradigma per la quantificazione dell'incertezza, andando oltre le probabilità superficiali per arrivare ai meccanismi interni di come i modelli elaborano le informazioni. Ciò rende il sistema più affidabile e azionabile per applicazioni reali in cui ammettere l'ignoranza è preferibile alla fornitura di informazioni false.