Sintesi Tecnica: Verificare quando si è incerti: Oltre la coerenza interna nella rilevazione delle allucinazioni in Black Box

Definizione del Problema

I Large Language Models (LLM) producono frequentemente allucinazioni — contenuti plausibili ma fattualmente errati — il che ne mina l'affidabilità nelle applicazioni sensibili. Rilevare queste allucinazioni in scenari black-box (dove sono accessibili solo gli output del modello, non gli stati interni o i logit) è una sfida critica. Gli approcci esistenti si basano principalmente sulla coerenza interna (self-consistency): l'intuizione secondo cui un modello che genera una risposta corretta produrrà risposte mutuamente implicanti quando campionato stocasticamente, mentre le allucinazioni risultano in output inconsistenti. Tuttavia, rimane poco chiaro se i metodi di coerenza interna abbiano raggiunto il loro limite prestazionale dato l'informazione limitata disponibile negli scenari black-box, e come migliorare la rilevazione senza incorrere in costi computazionali proibitivi.

Metodologia

1. Analisi del limite della coerenza interna

Gli autori formalizzano prima i metodi di coerenza interna esistenti (ad es., Entropia Semantica, Distanza Media a Coppie, metriche basate sugli autovalori) come funzioni $f$ applicate a una matrice di auto-implicazione $P^{self}$. Per determinare il limite di performance teorico di questo paradigma, addestrano Reti Neurali Convoluzionali su Grafi (GCN) per approssimare la funzione ottimale $f$ che mappa $P^{self}$ all'etichetta di allucinazione della verità di base (ground-truth).

• Risultato: I risultati empirici su molteplici LLM (Llama-2, Llama-3, Mixtral) e dataset (SQuAD, TriviaQA) mostrano che i metodi esistenti operano già quasi altrettanto bene di questo oracle supervisionato. Ciò suggerisce che ulteriori guadagni all'interno del solo paradigma della coerenza interna siano limitati.

2. Introduzione della Coerenza tra Modelli (Cross-Model Consistency)

Per superare il limite della coerenza interna, l'articolo propone di incorporare un modello verificatore ($M_v$) per controllare la coerenza tra il modello target ($M_t$) e il verificatore.

• Meccanismo: Viene costruita una matrice di cross-implicazione $P^{cross}$ confrontando i campioni di $M_t$ e $M_v$.
• Intuizione Teorica: Anche se il verificatore è più debole del modello target, l'accordo o il disaccordo tra i due fornisce informazioni che la sola coerenza interna non può catturare.
• Combinazione Lineare: Gli autori dimostrano che una semplice media ponderata delle metriche di coerenza interna e di coerenza incrociata, $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$, può raggiungere una performance molto vicina al limite teorico derivato dall'oracle GCN.

3. Algoritmo di Rilevazione a Due Stadi Sensibile al Budget

Riconoscendo che interrogare un verificatore per ogni domanda introduce un carico computazionale significativo (specialmente se il verificatore è un modello di grandi dimensioni), gli autori propongono un algoritmo adattivo a due stadi:

1. Stadio 1 (Coerenza Interna): Calcola il punteggio di coerenza interna ($s_{self}$).
   • Se $s_{self}$ è inferiore a una soglia inferiore $t_1$, classifica come Nessuna Allucinazione.
   • Se $s_{self}$ è superiore a una soglia superiore $t^*$, classifica come Allucinazione.
   • Se $s_{self}$ cade in un'area intermedia di "incertezza" ($t_1 < s_{self} < t^*$), procedi allo Stadio 2.
2. Stadio 2 (Coerenza Incrociata): Per il sottoinsieme ambiguo, campiona le risposte dal verificatore, calcola il punteggio di coerenza incrociata ($s_{cross}$) e applica una soglia $t_2$ per effettuare la classificazione finale.

Interpretazione Geometrica: Gli autori interpretano questo processo nello spazio degli Embedding di Media Kernel (Kernel Mean Embeddings). La coerenza interna corrisponde alla norma dell'embedding medio del modello target ($\|\mu_t\|$), mentre la coerenza incrociata corrisponde al prodotto scalare tra gli embedding del target e del verificatore ($\langle \mu_t, \mu_v \rangle$). Il processo a due stadi filtra efficacemente i campioni in base alla norma di $\mu_t$ e utilizza il verificatore per definire un iperpiano separatore per la regione incerta.

Selezione delle Soglie: Le soglie $t_1$ e $t_2$ sono selezionate utilizzando un set di validazione per massimizzare la probabilità di rilevazione per un dato tasso di falsi allarmi. L'articolo fornisce un teorema (Teorema 5.1) che garantisce che questa procedura di selezione si generalizzi bene ai dati di test.

Risultati Chiave

• Limite di Performance: I metodi di coerenza interna esistenti sono vicini al limite di performance per la rilevazione black-box senza un verificatore.
• Efficacia del Verificatore: L'introduzione di un verificatore migliora significativamente la performance del limite approssimato (misurata tramite AUROC e AURAC), anche quando il verificatore è più piccolo o più debole del modello target.
• Trade-off Costo-Performance: L'algoritmo a due stadi proposto raggiunge un'elevata performance di rilevazione con un costo computazionale minimo.
  • Gli esperimenti mostrano che le curve di performance sono convesse, il che significa che una piccola frazione di chiamate al verificatore fornisce la maggior parte del guadagno di performance.
  • Nello specifico, il metodo può ridurre i costi computazionali del 13,5%–28% mantenendo il 95% del guadagno di performance massimo rispetto all'interrogazione del verificatore per tutte le domande.
• Robustezza: L'approccio funziona bene attraverso diverse combinazioni target-verificatore (20 coppie testate) e dataset (SQuAD, TriviaQA, Natural Questions). Le soglie apprese su un set di domande si trasferiscono efficacemente a domande differenti.

Significato e Rivendicazioni

L'articolo sostiene di offrire una soluzione pratica al compromesso tra accuratezza della rilevazione delle allucinazioni e budget computazionale in contesti black-box.

• Oltre la Coerenza Interna: Stabilisce che, sebbene la coerenza interna sia vicina al suo limite, la coerenza tra modelli (cross-model consistency) è il passo successivo necessario ed efficace.
• Efficienza: Il contributo principale è il meccanismo a due stadi consapevole del budget, che passa dinamicamente dalla coerenza interna alla coerenza incrociata. Ciò consente ai sistemi di mantenere un'alta affidabilità senza il costo proibitivo di eseguire un secondo modello di grandi dimensioni per ogni query.
• Fondamento Teorico: Fornendo un'interpretazione geometrica tramite gli embedding di media kernel, il lavoro offre intuizioni teoriche più profonde sul perché la rilevazione basata sulla coerenza funzioni e su come l'incertezza possa essere formalmente caratterizzata.
• Ambito: Gli autori si concentrano esplicitamente sui benchmark di Risposta a Domande (QA) come un ambiente controllato per studiare i segnali di coerenza, notando che l'estensione alla generazione di testi lunghi rimane impegnativa a causa dell'ambiguità dell'equivalenza semantica nel testo aperto.

Il lavoro conclude che, sebbene sia attualmente richiesto un set di validazione per regolare le soglie, il framework proposto è agnostico rispetto al compito per quanto riguarda la distribuzione delle relazioni di implicazione e potrebbe potenzialmente essere adattato ad altri contesti di generazione in cui l'equivalenza semantica può essere valutata.