Riepilogo Tecnico: BALTO – Ottimizzazione della Politica a Livello di Token Bilanciata per la Mitigazione delle Allucinazioni

1. Definizione del Problema

I Large Language Models (LLM) affrontano sfide significative in contesti ad alta intensità di conoscenza a causa delle allucinazioni di fedeltà (faithfulness hallucinations) — ovvero la generazione di contenuti che mancano di supporto fattuale o contraddicono l'evidenza fornita. Sebbene l'Apprendimento per Rinforzo (RL) offra una via promettente per la mitigazione, gli approcci attuali soffrono di un disallineamento di granularità.

La maggior parte dei metodi RL esistenti impiega ricompense a livello di risposta, assegnando un singolo punteggio scalare all'intero output. Questa supervisione a grana grossa non riesce a distinguere tra segmenti allucinati e contenuti fedeli all'interno della stessa risposta. Di conseguenza, un errore localizzato (ad esempio, una data o un'entità errata) può innescare una penalità negativa uniforme su tutti i token, sopprimendo erroneamente le informazioni corrette e inducendo comportamenti di "reward hacking", dove i modelli generano risposte più brevi e eccessivamente conservative per evitare le penalità.

I recenti approcci a grana fine (ad esempio, ricompense a livello di claim o di token) affrontano la rilevazione, ma spesso non riescono a risolvere il problema dell'assegnazione del credito (credit assignment). Le ricompense sbilanciate a livello di token possono introdurre bias verso la verbosità o la lunghezza, mentre i metodi legati agli advantage globali a livello di risposta ereditano comunque il rumore dal segnale globale. Il problema centrale è la mancanza di un meccanismo che penalizzi precisamente i token allucinati compensando al contempo i token fedeli all'interno della stessa risposta, garantendo che il modello ridistribuisca la massa di probabilità verso la veridicità piuttosto che limitarsi a sopprimere la generazione.

2. Metodologia: Framework BALTO

Gli autori propongono BALTO (Balanced Token-Level Policy Optimization), un framework di apprendimento per rinforzo progettato per localizzare le allucinazioni e assegnare un credito bilanciato a livello di token. Il framework opera in due fasi primarie:

A. Rilevazione Fine-Grained dei Token di Allucinazione

BALTO utilizza un valutatore di fedeltà basato su LLM per elaborare le risposte campionate:

1. Estrazione dei Claim: Il sistema estrae i claim fattuali verificabili (ad esempio, entità, numeri, date, relazioni) dalla risposta.
2. Verifica: Ogni claim viene verificato rispetto al contesto di riferimento (documenti recuperati). I claim sono partizionati in set Fedeli ($C^+$) e Allucinati ($C^-$).
3. Proiezione dei Token:
   • I token nei claim fedeli sono etichettati come Fedeli ($F$).
   • Per i claim allucinati, il sistema tenta di localizzare il sottoinsieme minimo di token errati ($e_{i,m}$) responsabili dell'errore (ad esempio, solo il numero errato "11.4%" invece dell'intera frase). Se l'isolamento non è possibile, l'intero span del claim viene penalizzato. Questi token sono etichettati come Allucinati ($H$).
   • I token al di fuori dei claim verificabili o i token fedeli all'interno di un claim allucinato (dove l'errore non può essere isolato) sono etichettati come Neutrali ($N$).

B. Assegnazione del Credito Bilanciata a Livello di Token

A differenza del GRPO standard che trasmette un singolo advantage a tutti i token, BALTO assegna specifici advantage ($A^{bal}_{i,t}$) basati sulle etichette dei token:

• Token Allucinati ($H$): Ricevono un advantage negativo di -1.
• Token Fedeli ($F$): Ricevono un advantage compensativo positivo di $N^-_i / N^+_i$, dove $N^-$ e $N^+$ sono i conteggi dei token allucinati e fedeli, rispettivamente.
• Token Neutrali ($N$): Ricevono un advantage di 0.

Meccanismo Chiave: Questo design garantisce una proprietà zero-sum intra-risposta: $\sum A^{bal}_{i,t} = 0$. Il segnale negativo totale derivante dalle allucinazioni è esattamente bilanciato dal segnale positivo del contenuto fedele. Ciò incoraggia la politica a ridistribuire la massa di probabilità dal contenuto allucinato al contenuto fedele, piuttosto che sopprimere l'intera risposta.

C. Obiettivo di Ottimizzazione

BALTO ottimizza la politica utilizzando un obiettivo troncato (clipped objective) simile al GRPO, ma ristretto ai token fattuali ($H \cup F$). La funzione obiettivo massimizza l'expected balanced advantage, normalizzando gli aggiornamenti rispetto al numero di token fattuali ($Z_i = \max(1, |H| + |F|)$).

3. Analisi Teorica

Il paper fornisce prove teoriche che dimostrano la superiorità di BALTO rispetto al GRPO a livello di risposta:

• Riduzione della Varianza (Teorema 1): Il GRPO a livello di risposta induce una varianza del gradiente che scala linearmente con la lunghezza totale della risposta ($O(T)$). Al contrario, BALTO restringe la varianza in modo che scali solo con il numero di token allucinati ($O(N^-)$). Poiché le allucinazioni sono sparse, ciò riduce significativamente il rumore del gradiente e stabilizza l'addestramento.
• Efficienza di Ottimizzazione (Teorema 2):
  • Cold Start ($p \to 0$): Il GRPO a livello di risposta soffre di "starvation del gradiente" poiché il coefficiente di normalizzazione svanisce quando le risposte fedeli sono rare. BALTO mantiene segnali locali forti e limitati ($O(1)$), garantendo un'esplorazione efficiente nelle prime fasi.
  • Convergenza ($p \to 1$): Il GRPO a livello di risposta innesca penalità divergenti illimitate ($A^- \to -\infty$) per errori rari, destabilizzando la convergenza nelle fasi finali. BALTO mantiene advantage strettamente limitati ($[-1, 1]$), garantendo una convergenza stabile e fluida.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark: ConFiQA (QA controfattuale), RAGTruth (corpus di allucinazioni RAG) e FinLLM-Eval (QA nel dominio finanziario). I modelli utilizzati includevano Qwen3-8B e Qwen3-4B.

Risultati Chiave:

• Fedeltà (Faithfulness): BALTO ha ottenuto i punteggi di fedeltà più elevati in tutti i sei scenari modello-benchmark, superando i baseline a livello di risposta (GRPOB, GRPOD) e i baseline a livello di token (FSPO).
• Q-Score: BALTO ha costantemente ottenuto il Q-Score più alto (definito come Fedeltà $\times$ Informatività), dimostrando un compromesso superiore tra correttezza e ritenzione delle informazioni.
  • Rispetto al più forte baseline di post-training, BALTO ha migliorato il Q-Score in media di 2.7 punti (fino a 4.9) e la Fedeltà di 3.1 punti (fino a 6.7).
• Dinamiche di Addestramento:
  • Norme del Gradiente: BALTO ha mostrato norme del gradiente un ordine di grandezza più piccole e concentrate rispetto ai metodi a livello di risposta, confermando la riduzione della varianza.
  • Aggiornamenti dei Parametri: BALTO ha raggiunto un'alta fedeltà con significativamente meno aggiornamenti dei parametri (~12% rispetto a ~17% per GRPOB), indicando un apprendimento più efficiente focalizzato sui parametri rilevanti.
• Studi di Ablazione: Rimuovere l'advantage compensativo positivo per i token fedeli (impostando $PA=0$) ha causato cali sostanziali sia nella fedeltà che nell'informatività, validando la necessità del meccanismo di credito bilanciato.

5. Significato e Rivendicazioni

Il paper sostiene che BALTO affronti una lacuna critica nella mitigazione delle allucinazioni: la necessità di un assegnazione del credito bilanciata e fine-grained.

• Precisione: Localizzando gli errori su specifici token e bilanciando il segnale di ricompensa, BALTO evita la penalità "tutto o niente" del RL a livello di risposta, preservando l'informatività della risposta.
• Stabilità: Le prove teoriche ed empiriche suggeriscono che l'assegnazione bilanciata a livello di token porti a traiettorie di addestramento più stabili e una maggiore efficienza di ottimizzazione, particolarmente nelle fasi iniziali dell'addestramento e durante la convergenza.
• Compromesso (Trade-off): I risultati dimostrano che è possibile ridurre significativamente le allucinazioni senza collassare in una generazione eccessivamente conservativa o verbosa, raggiungendo un compromesso tra fedeltà e informatività più forte rispetto ai precedenti approcci di post-training.

Gli autori segnalano alcune limitazioni, principalmente il fatto che il metodo si affida a un valutatore esterno basato su LLM per l'estrazione e la verifica dei claim, il che significa che le sue prestazioni sono vincolate dall'accuratezza del valutatore stesso. Inoltre, il framework è progettato per contesti basati sul recupero (retrieval-grounded) in cui sono disponibili documenti di riferimento.