Sintesi Tecnica: FLaG – Raggruppamento Latente Fine-Grained per il Rilevamento delle Allucinazioni

1. Formulazione del Problema

I Large Language Models (LLM) producono frequentemente allucinazioni — output che sono fluidi ma fattualmente errati. La sfida centrale affrontata in questo lavoro è che le allucinazioni non derivano da un singolo modo di fallimento omogeneo. Al contrario, esse emergono da meccanismi diversificati che si manifestano come pattern eterogenei nei segnali a livello di rappresentazione, nelle tracce di probabilità a livello di token e nella dinamica di generazione.

I metodi di rilevamento esistenti si affidano spesso a un singolo punteggio di incertezza globale o a un classificatore monolitico addestrato su una visione unificata dell'evidenza. Gli autori sostengono che tali approcci presuppongono implicitamente una nozione omogenea di allucinazione, portando a prestazioni fragili di fronte a shift dei dataset o a regimi di generazione variabili. Il paper postula che un rilevamento affidabile richieda di trattare l'allucinazione non semplicemente come un problema di classificazione, ma come un problema di aggregazione di evidenze sotto incertezza del meccanismo latente. L'obiettivo è apprendere un punteggio di affidabilità che aggreghi fonti di evidenza eterogenee rimanendo invariante rispetto alle soglie decisionali e alle metriche di valutazione.

2. Metodologia: Framework FLaG

Il framework proposto FLaG (Fine-Grained Latent Grouping) è una testa leggera per modelli congelati che non richiede modifiche al sottostante LLM. Esso opera attraverso tre fasi primarie:

2.1 Rappresentazione dell'Evidenza Multi-Vista

FLaG estrae evidenze complementari da due fonti distinte riguardo a un prompt $q$ e un output generato $a$:

1. Segnali di Geometria Latente ($\psi(x)$): La sequenza concatenata $q \oplus a$ viene reinserita nel LLM congelato. Il framework calcola gli stati nascosti medi per il prompt ($\bar{h}_q$) e l'output ($\bar{h}_a$), insieme alla deriva residua ($\bar{h}_a - \bar{h}_q$) e allo stato nascosto dell'ultimo token ($h_{end}$). Ciò cattura la deriva semantica e l'informazione sulle coordinate assolute.
2. Segnali di Traccia Probabilistica ($\phi(x)$): Un insieme di funzionali di traccia viene estratto dalle log-probabilità a livello di token, inclusi media, minimo e deviazione standard delle log-probabilità, entropia predittiva, margine dei logit e un funzionale di frequenza della coda che conta gli outlier a bassa probabilità.

Questi due tipi di evidenza vengono proiettati in uno spazio latente condiviso e fusi tramite un Multi-Layer Perceptron (MLP) per formare una rappresentazione unificata $r(x)$.

2.2 Ragionamento Consapevole dei Gruppi (Group-Aware)

Invece di mappare $r(x)$ direttamente in un punteggio, FLaG introduce $K$ gruppi di evidenza latente, ciascuno dei quali rappresenta un meccanismo specifico di allucinazione.

• Allocazione basata su Prototipi: Ogni gruppo $g$ è definito da un vettore prototipo apprendibile $c_g$. Un meccanismo di routing basato sull'energia calcola la compatibilità $\alpha_g(x)$ tra l'evidenza $r(x)$ e il prototipo $c_g$.
• Routing Soft: La distribuzione di routing $\pi_g(x)$ è calcolata utilizzando una forma di Boltzmann con un parametro di temperatura $\tau$, permettendo alle istanze di essere associate morbidamente a più gruppi. Questa distribuzione agisce come una posterior approssimata dell'appartenenza di un'istanza a un meccanismo specifico.
• Scoring Condizionale al Gruppo: Ogni gruppo $g$ ha una funzione di scoring lineare associata $s_g(x) = w_g^T r(x) + b_g$. Diversi gruppi sono addestrati per enfatizzare diverse dimensioni dell'evidenza, riflettendo distinti modi di fallimento.

2.3 Aggregazione dell'Evidenza Log-Marginale

Il punteggio finale di veridicità $s(x)$ è ottenuto aggregando i segnali condizionati al gruppo attraverso una regola di aggregazione log-marginale:
$$s(x) = \log \sum_{g=1}^{K} \pi_g(x) e^{s_g(x)}$$
Questa formulazione marginalizza efficacemente su meccanismi latenti concorrenti invece di impegnarsi in una singola spiegazione. La previsione binaria finale viene effettuata tramite il superamento di una soglia di $s(x)$ (ad esempio, $G(x) = \mathbb{I}[s(x) \geq 0]$).

2.4 Obiettivo di Apprendimento

Il framework supporta l'apprendimento supervisionato, debolmente supervisionato e semi-supervisionato:

• Obiettivo Supervisionato: Una perdita di ranking basata sul margine incoraggia le istanze veritiere a ricevere punteggi più alti rispetto a quelle allucinate all'interno di coppie etichettate.
• Obiettivo Semi-Supervisionato: Per i dati non etichettati, il modello identifica le istanze ad alta confidenza per ogni gruppo e impone un ordine relativo coerente all'interno di tali gruppi. Questo affina la struttura dei gruppi latenti senza richiedere pseudo-etichette esplicite.

3. Analisi Teorica

Il paper fornisce una giustificazione teorica che collega FLaG al test di ipotesi ottimale.

• Statistica Bayes-Ottimale: Sotto un modello di miscela di meccanismi (mixture-of-mechanisms) dove i dati sono generati da una miscela di distribuzioni condizionate al gruppo, gli autori dimostrano che il rapporto di verosimiglianza (LLR) Bayes-ottimale per il rilevamento della veridicità assume necessariamente una forma log-marginale sulle evidenze condizionate al meccanismo.
• Approssimazione: Si dimostra che FLaG è un'approssimazione trattabile e apprendibile di tale statistica ottimale. La distribuzione di routing $\pi_g(x)$ approssima la posterior intrattabile, e i punteggi di gruppo $s_g(x)$ approssimano i rapporti di verosimiglianza logaritmica per gruppo.
• Limite di Errore: Gli autori dimostrano che all'aumentare del numero di gruppi latenti $K$, l'errore di approssimazione rispetto alla statistica Bayes-ottimale decade polinomialmente ($O(K^{-1/d})$), fornendo un limite di errore controllabile.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro benchmark (TruthfulQA, TriviaQA, CoQA, TyDiQA-GP) utilizzando due backbone LLM (LLaMA-3-8B-Instruct e Qwen2.5-7B-Instruct).

• Performance: FLaG raggiunge prestazioni State-of-the-Art (SOTA), superando 17 baseline (inclusi metodi training-free come Semantic Entropy e metodi basati su training come SAPLMA e HaloScope). Sotto piena supervisione, FLaG ha migliorato l'AUROC del 3.03% e del 3.60% rispetto alle migliori baseline sui due backbone.
• Robustezza Semi-Supervisionata: Anche con solo il 20% di dati etichettati, FLaG ha superato la maggior parte dei competitor pienamente supervisionati, dimostrando efficacia sotto supervisione limitata.
• Trasferibilità: Il modello ha mostito una forte trasferibilità cross-dataset e cross-model. I detector addestrati su un dataset o un backbone di modello mantenevano alti punteggi AUROC quando applicati a target non visti, suggerendo che i segnali appresi catturino fallimenti di generazione intrinseci piuttosto che artefatti specifici del dataset.
• Robustezza: Le performance sono rimaste stabili attraverso diverse complessità delle istanze (lunghezza) e temperature di campionamento, indicando resilienza al rumore e a diversi regimi di generazione.
• Interpretabilità: L'analisi dei gruppi latenti ha rivelato che essi partizionano naturalmente le allucinazioni in categorie semanticamente coerenti (ad esempio, fabbricazione di fatti, contraddizione logica, mismatch di entità) senza supervisione esplicita delle categorie.

5. Contributi Chiave

1. Formulazione: Il paper riformula il rilevamento delle allucinazioni come un problema di aggregazione di evidenza consapevole dei meccanismi, unificando i segnali a livello di rappresentazione e a livello di token sotto un framework che tiene conto di eterogenei modi di fallimento latenti.
2. Framework (FLaG): Propone una testa di rilevamento leggera per modelli congelati che utilizza il routing soft verso i gruppi latenti e un'aggregazione log-marginale principiata per ottenere un ranking insensibile alla soglia.
3. Teoria e Apprendimento: Fornisce una connessione teorica con la statistica log-marginale Bayes-ottimale con un limite di errore controllabile e introduce un obiettivo basato sul ranking che si estende naturalmente agli scenari semi-supervisionati.

6. Significato e Limitazioni

Significato: Il lavoro sostiene che la performance superiore di FLaG derivi dal modellare esplicitamente l'eterogeneità dei meccanismi di allucinazione. Marginalizzando su molteplici spiegazioni latenti invece di far collassare l'evidenza in un singolo classificatore, il framework ottiene robustezza attraverso dataset, modelli e livelli di supervisione.

Limitazioni:

• Vincolo Black-Box: FLaG si affida a telemetrie interne di generazione (stati nascosti e statistiche a livello di token). Non è applicabile in contesti strettamente black-box dove è osservabile solo l'output testuale finale.
• Ambito Teorico: La connessione teorica all'aggregazione Bayes-ottimale è stabilita sotto una visione di miscela di meccanismi. Gli autori notano che estendere questa analisi a contesti con shift di distribuzione più forti o dipendenze più strutturate tra le viste dell'evidenza rimane una direzione aperta.