Technische Samenvatting: GEAR (Grounding Evidence-Aware Reward)

Probleem: Repetitief kopiëren bij redeneren met lange context

Het artikel identificeert een kritieke foutmodus in Large Language Models (LLM's) die zijn uitgerust met stapsgewijze redeneerfunctionaliteiten wanneer deze worden toegepast op taken met een lange context: repetitief kopiëren. Hoewel deze modellen uitblinken in complexe redeneringen, observeren de auteurs dat naarmate de contextlengte toeneemt, modellen de neiging hebben om grote passages uit de inputprompt willekeurig te kopiëren in hun redeneersporen, in plaats van het probleem productief op te lossen.

Door middel van systematische empirische analyse over zeven frontier LLM's (waaronder de Qwen-, Claude- en DeepSeek-series) op de GSM-Infinite benchmark, tonen de auteurs aan dat:

1. Prevalentie: Repetitief kopiëren is wijdverbreid en intensiveert met de contextlengte (bijv. de 3-gram overlap-ratio stijgt van ~20% bij 8k tokens naar ~70% bij 64k tokens).
2. Prestatievermindering: Hoge kopiëerpercentages correleren sterk met lagere taakaccuratesse en aanzienlijk opgeblazen redeneerlengtes. Modellen die hun tokenbudget besteden aan transcriptie in plaats van redeneren, produceren langere, minder nuttige sporen.
3. Oorzaak: De kern van het probleem is onvoldoende bewijs-grounding (evidence grounding). Het probleem is niet het kopiëren an sich, maar het gebrek aan selectiviteit. Correct beantwoordde monsters vertonen een hoge overlap met relevante "sleutelbewijs"-segmenten (key evidence) en een lage overlap met "distractor-context". Onjuiste monsters kopiëren daarentegen willekeurig uit zowel relevante als irrelevante informatie, waardoor ze er niet in slagen relevante informatie te onderscheiden van irrelevante ruis.

Methodologie: GEAR en Geautomatiseerde Dataconstructie

Om de onvoldoende grounding aan te pakken, stellen de auteurs GEAR (Grounding Evidence-Aware Reward) voor, een reward-shaping methode voor Reinforcement Learning (RL) die standaard accuratesse-signalen aanvult met twee complementaire componenten:

1. Reward Design

De GEAR reward functie $R(x, y)$ wordt gedefinieerd als:
$$R(x, y) = R_{acc} + \alpha \cdot \text{Overlap}_n(y \| x_{key}) - \beta \cdot \text{Overlap}_n(y \| x_{dist})$$
Waarbij:

• $R_{acc}$: Binaire accuratesse reward.
• $\text{Overlap}_n(y \| x_{key})$: Grounding Reward. Stimuleert overlap tussen het redeneerspoor $y$ en geannoteerde sleutelbewijs-segmenten $x_{key}$.
• $\text{Overlap}_n(y \| x_{dist})$: Distractor Penalty. Bestraft overlap tussen het spoor en irrelevante distractor-context $x_{dist}$.
• $\alpha, \beta$: Niet-negatieve coëfficiënten (geoptimaliseerd als $\alpha=0.1, \beta=0.3$).
• $n$: n-gram grootte (gesteld op 3 tijdens de training om dichte gradiëntsignalen te bieden).

Cruciaal is dat de auteurs ontdekken dat het gebruik van enkel de grounding reward (zonder de distractor penalty) schadelijk is, omdat het de nadruk legt op het kopiëren uit alle delen van de input, inclus kind ook de distractoren. Beide componenten zijn noodzakelijk om het model te leren selectief om te gaan met bewijs terwijl het ruis negeert.

2. Geautomatiseerde Pipeline voor Bewijs-geannoteerde Data

Om GEAR toe te passen op natuurlijke taaldata waar ground-truth bewijssegmenten niet van nature beschikbaar zijn, ontwikkelen de auteurs een driestaps geautomatiseerde pipeline:

1. Documentanalyse: Een LLM analyseert een document om informatieve kenmerken en geschikte vraagtypen te identificeren.
2. Evidence-Constrained QA Generatie: Het document wordt opgedeeld in segmenten (chunks). Een willekeurige subset (1–3 chunks) wordt gesampled als de "constraint context" (sleutelbewijs). Een LLM genereert een vraag die alleen beantwoord kan worden vanuit deze subset, samen met exacte citaten van het bewijs en een antwoord.
3. Antwoordverificatie: De vraag wordt opnieuw beantwoord met alleen de constraint context. Paren worden alleen behouden als het opnieuw afgeleide antwoord overeenkomt met de referentie, wat garandeert dat de vraag ondubbelzinnig geworteld is in het aangewezen bewijs.

Deze pipeline maakt de constructie van trainingsdata mogelijk uit willekeurige document-corpora (bijv. RedPajama-v2), ter aanvulling op synthetische benchmarks zoals GSM-Infinite en PhantomWiki.

3. Trainingsopstelling

De auteurs trainen drie Qwen3.5 modellen (9B, 27B, en 35B-A3B) met behulp van Group Sequence Policy Optimization (GSPO) op een mix van 3.200 long-context samples (synthetisch en natuurlijke taal). De modellen worden getraind voor één epoch met contexten variërend van 16k tot 32k tokens.

Belangrijkste Resultaten

De auteurs valideren GEAR over vijf held-out benchmarks (Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR) bij contextlengtes van 32k en 128k tokens.

• Prestatiewinst: GEAR presteert consequent beter dan standaard RL met enkel accuratesse-rewards.
  • Bij 32k context: Gemiddelde verbeteringen van +1,5 tot +2,8 punten.
  • Bij 128k context: Gemiddelde verbeteringen van +2,1 tot +4,6 punten.
  • Opvallend genoeg zijn de winsten groter bij 128k (4x de lengte van de trainingsdistributie), wat suggereert dat het geleerde grounding-gedrag robuust generaliseert naar ongeziene contextschalen.
• Ablatie van Reward Componenten:
  • Alleen Grounding (+Rground): Presteert slechter dan de accuratesse-only baseline (daling tot 8,3 punten bij 128k). Het verhoogt het kopiëren en de denk-lengte zonder de accuratesse te verbeteren.
  • Alleen Distractor Penalty: Levert eveneens suboptimale resultaten op, omdat het alle kopiëren onderdrukt zonder het model richting relevant bewijs te leiden.
  • Volledige GEAR: Alleen de combinatie van beide termen levert consistente verbeteringen op, wat de noodzaak bevestigt om onderscheid te maken tussen relevante en irrelevante context.
• Efficiëntie: GEAR vermindert zowel de rate van repetitief kopiëren (overlap) als de denk-lengte. Op de Ruler benchmark verminderde GEAR bijvoorbeeld de overlap van 36,9% (Base) naar 27,0% en de denk-lengte van 4.290 naar 2.066 tokens, vergeleken met de GSPO-baseline.

Betekenis en Claims

Het artikel claimt dat naarmate de evaluatie van lange context verschuift van eenvoudige retrieval naar complexe redenering, nauwkeurige grounding in relevant bewijs een onmisbare capaciteit blijft. De auteurs stellen dat de dominante vorm van "overthinking" in long-context settings niet bestaat uit zinloze uitwerking, maar uit direct, willekeurig kopiëren uit de prompt.

Door de introductie van GEAR toont dit werk aan dat:

1. Repetitief kopiëren een specifieke, adresseerbare foutmodus is die verbonden is aan onvoldoende bewijs-grounding.
2. Reward shaping die expliciet de overlap met distractoren bestraft terwijl het engagement met sleutelbewijs beloont, dit gedrag effectief kan mitigeren.
3. Geautomatiseerde pipelines deze voordelen kunnen uitbreiden van synthetische benchmarks naar natuurlijke taaldata, wat schaalbare training voor long-context redeneren mogelijk maakt zonder handmatige annotatie.

De bevindingen suggereren dat zelfs voor geavanceerde redeneermodellen het vermogen om selectief aandacht te schenken aan en redeneringen te funderen in specifieke bewijssegmenten een kritieke bottleneck is die huidige RL-methoden, wanneer zij uitsluitend op accuratesse worden geoptimaliseerd, niet oplossen.