Technische Samenvatting: BALTO – Balanced Token-Level Policy Optimization voor Hallucinatie-mitigatie

1. Probleemstelling

Large Language Models (LLM's) worden in kennisintensieve omgevingen geconfronteerd met aanzienlijke uitdagingen door getrouwheidshallucinaties (faithfulness hallucinations)—het genereren van inhoud die geen feitelijke ondersteuning heeft of de verstrekte bewijslast tegenspreekt. Hoewel Reinforcement Learning (RL) een veelbelovende weg biedt voor mitigatie, lijden huidige benaderingen aan een granulariteitsmismatch.

De meeste bestaande RL-methoden maken gebruik van respons-niveau beloningen, waarbij een enkele scalaire score aan een volledige output wordt toegekend. Deze grofmazige supervisie slaagt er niet in om te differentiëren tussen gehallucineerde segmenten en getrouwe inhoud binnen dezelfde respons. Als gevolg hiervan kan een gelokaliseerde fout (bijv. een onjuiste datum of entiteit) een uniforme negatieve straf veroorzaken voor alle tokens, wat terecht correcte informatie onderdrukt en "reward hacking"-gedragingen induceert waarbij modellen kortere, overmatig conservatieve antwoorden genereren om straffen te vermijden.

Recente fijnmazige benaderingen (bijv. claim-niveau of token-niveau beloningen) pakken detectie aan, maar slagen er vaak niet in het credit assignment-probleem op te lossen. Ongebalanceerde token-niveau beloningen kunnen biases introduceren naar verbositeit of lengte, terwijl methoden die gekoppeld zijn aan globale respons-niveau voordelen nog steeds ruis ervaren van het globale signaal. Het kernprobleem is het gebrek aan een mechanisme dat gehallucineerde tokens precies straft terwijl het getrouwe tokens binnen dezelfde respons compenseert, om er zeker van te zijn dat het model de waarschijnlijkheidsmassa herverdeelt naar waarheid in plaats van simpelweg de generatie te onderdrukken.

2. Methodologie: BALTO-framework

De auteurs stellen BALTO (Balanced Token-Level Policy Optimization) voor, een reinforcement learning-framework ontworpen om hallucinaties te lokaliseren en gebalanceerde credit toe te wijzen op token-niveau. Het framework werkt in twee primaire stadia:

A. Fijnmazige detectie van hallucinatie-tokens

BALTO maakt gebruik van een LLM-gebaseerde getrouwheids-evaluator om gesamplede responsen te verwerken:

1. Claim Extractie: Het systeem extraheert controleerbare feitelijke claims (bijv. entiteiten, getallen, datums, relaties) uit de respons.
2. Verificatie: Elke claim wordt geverifieerd tegen de referentiecontext (geëxtraheerde documenten). Claims worden gepartitioneerd in Getrouwe ($C^+$) en Gehallucineerde ($C^-$) sets.
3. Token Projectie:
   • Tokens in getrouwe claims worden gelabeld als Getrouw ($F$).
   • Voor gehallucineerde claims probeert het systeem de minimale foutieve token-subset ($e_{i,m}$) te lokaliseren die verantwoordelijk is voor de fout (bijv. alleen het onjuiste getal "11,4%" in plaats van de hele zin). Als isolatie onmogelijk is, wordt de gehele claim-span gestraft. Deze tokens worden gelabeld als Gehallucineerd ($H$).
   • Tokens buiten controleerbare claims of getrouwe tokens binnen een gehallucineerde claim (waar isolatie van de fout niet mogelijk is) worden gelabeld als Neutraal ($N$).

B. Gebalanceerde Token-Level Credit Assignment

In tegen tegenstelling tot standaard GRPO, dat een enkel voordeel naar alle tokens broadcast, wijst BALTO specifieke voordelen ($A^{bal}_{i,t}$) toe op basis van token-labels:

• Gehallucineerde tokens ($H$): Ontvangen een negatief voordeel van -1.
• Getrouwe tokens ($F$): Ontvangen een positief compenserend voordeel van $N^-_i / N^+_i$, waarbij $N^-$ en $N^+$ respectievelijk de aantallen gehallucineerde en getrouwe tokens zijn.
• Neutrale tokens ($N$): Ontvangen een voordeel van 0.

Kernmechanisme: Dit ontwerp garandeert een intra-respons zero-sum eigenschap: $\sum A^{bal}_{i,t} = 0$. Het totale negatieve signaal van hallucinaties wordt exact gebalanceerd door het positieve signaal van getrouwe inhoud. Dit moedigt de policy aan om de waarschijnlijkheidsmassa te herverdelen van gehallucineerde inhoud naar getrouwe inhoud, in plaats van de gehele respons te onderdrukken.

C. Optimalisatie-doelstelling

BALTO optimaliseert de policy met behulp van een afgeknipte (clipped) doelstelling die vergelijkbaar is met GRPO, maar beperkt is tot feitelijke tokens ($H \cup F$). De doelstelling maximaliseert het verwachte gebalanceerde voordeel en normaliseert updates door het aantal feitelijke tokens ($Z_i = \max(1, |H| + |F|)$).

3. Theoretische Analyse

Het artikel biedt theoretische bewijzen die de superioriteit van BALTO ten opzichte van respons-niveau GRPO aantonen:

• Variatiereductie (Theorema 1): Respons-niveau GRPO induceert gradiëntvariantie die lineair schaalt met de totale responslengte ($O(T)$). In tegenstelling hiertoe beperkt BALTO de variantie zodat deze alleen schaalt met het aantal gehallucineerde tokens ($O(N^-)$). Omdat hallucinaties schaars zijn, vermindert dit de gradiëntruis aanzienlijk en stabiliseert het de training.
• Optimalisatie-efficiëntie (Theorema 2):
  • Cold Start ($p \to 0$): Respons-niveau GRPO lijdt onder "gradient starvation" omdat de normalisatiecoëfficiënt verdwijnt wanneer getrouwe responsen zeldzaam zijn. BALTO behoudt sterke, begrensde lokale signalen ($O(1)$), wat zorgt voor efficiënte exploratie in de vroege fase.
  • Convergentie ($p \to 1$): Respons-niveau GRPO triggert ongekende divergerende straffen ($A^- \to -\infty$) voor zeldzame fouten, wat de convergentie in de latere fase destabiliseert. BALTO behoudt strikt begrensde voordelen ($[-1, 1]$), wat zorgt voor een stabiele en gracieuze convergentie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie benchmarks: ConFiQA (counterfactual QA), RAGTruth (RAG-hallucinatie corpus), en FinLLM-Eval (financiële domein QA). De gebruikte modellen waren onder meer Qwen3-8B en Qwen3-4B.

Belangrijkste bevindingen:

• Getrouwheid: BALTO behaalde de hoogste scores voor getrouwheid over alle zes de model-benchmark instellingen, waarmee het respons-niveau baselines (GRPOB, GRPOD) en token-niveau baselines (FSPO) versloeg.
• Q-Score: BALTO behaalde consequent de hoogste Q-Score (gedefinieerd als Getrouwheid $\times$ Informativiteit), wat een superieure afweging tussen correctheid en informatiebehoud aantoont.
  • Vergeleken met de sterkste post-training baseline verbeterde BALTO de Q-Score gemiddeld met 2,7 punten (tot 4,9) en de Getrouwheid met 3,1 punten (tot 6,7).
• Trainingsdynamiek:
  • Gradiëntnormen: BALTO vertoonde gradiëntnormen die een orde van grootte kleiner en geconcentreerder waren dan die van respons-niveau methoden, wat de verminderde variantie bevestigt.
  • Parameterupdates: BALTO bereikte een hoge getrouwheid met aanzienlijk minder parameterupdates (~12% vs. ~17% voor GRPOB), wat duidt op een efficiëntere leerfocus op relevante parameters.
• Ablatie-studies: Het verwijderen van het positieve compenserende voordeel voor getrouwe tokens (instellen van $PA=0$) resulteerde in substantiële dalingen in zowel getrouwheid als informativiteit, wat de noodzaak van het gebalanceerde credit-mechanisme valideert.

5. Betekenis en Claims

Het artikel stelt dat BALTO een kritieke kloof in de mitigatie van hallucinaties aanpakt: de behoefte aan gebalanceerde, fijnmazige credit assignment.

• Precisie: Door fouten te lokaliseren tot specifieke tokens en het beloningssignaal te balanceren, vermijdt BALTO de "alles-of-niets" straf van respons-niveau RL, waardoor de informativiteit van de respons behouden blijft.
• Stabiliteit: Het theoretische en empirische bewijs suggereert dat gebalanceerde token-niveau toewijzing leidt tot stabielere trainingspaden en hogere optimalisatie-efficiëntie, met name in de beginfase van de training en tijdens convergentie.
• Afweging: De resultaten demonstreren dat het mogelijk is om hallucinaties aanzienlijk te verminderen zonder te vervallen in overmatig conservatieve of verbale generatie, waardoor een sterkere afweging tussen getrouwheid en informativiteit wordt bereikt dan eerdere post-training benaderingen.

De auteurs merken beperkingen op, primair dat de methode afhankelijk is van een externe LLM-gebaseerde evaluator voor claim-extractie en verificatie, wat betekent dat de prestaties begrensd worden door de nauwkeurigheid van de evaluator. Daarnaast is het framework ontworpen voor retrieval-gegronde settings waarbij referentiedocumenten beschikbaar zijn.