🤖 AI

Evidence-State Rewards for Long-Context Reasoning

Het artikel introduceert Maven, een reinforcement learning-framework dat langdurig contextueel redeneren verbetert door actieniveau-beloningen toe te wijzen aan overgangen in de bewijsstatus — zoals het toevoegen, koppelen of verwijderen van informatie — waardoor het traditionele methoden die alleen op uitkomsten gericht zijn op meerdere benchmarks overtreft.

Oorspronkelijke auteurs: Ya Gao, Pekka Marttinen

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ya Gao, Pekka Marttinen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een complexe puzzel probeert op te lossen, maar in plaats van een paar aanwijzingen op een bureau, krijg je een bibliotheek met duizenden boeken, kranten en aantekeningen. Je doel is om de specifieke feiten te vinden die nodig zijn om de zaak op te lossen.

Dit is de uitdaging waar MAVEN zich mee bezighoudt voor Kunstmatige Intelligentie (AI).

Het Probleem: Verdwalen in de Bibliotheek

Huidige AI-modellen worden steeds beter in het lezen van enorme hoeveelheden tekst (lange contexten), maar ze hebben vaak moeite met het redeneren door die tekst heen.

De Oude Manier: Stel je een detective voor die één aanwijzing vindt die er veelbelovend uitziet, deze grijpt, en direct de oplossing opschrijft. Als die eerste aanwijzing een rode haring (een dwaalspoor) was, zit de detective vast met het verkeerde antwoord.
De Beperking: Eerdere trainingsmethoden voor AI waren als een docent die alleen het eindantwoord beoordeelde. Als de detective het juiste antwoord gaf, kreeg hij een "A", zelfs als hij de helft van de aanwijzingen negeerde of geluk had. Als hij het fout had, kreeg hij een "F", maar de docent legde niet uit waarom hij de verkeerde aanwijzing koos of de juiste aanwijzing miste.

De Oplossing: MAVEN (De Slimme Detective)

De auteurs stellen MAVEN voor (Marginal-Value Evidence Navigation). In plaats van alleen het eindantwoord te beoordelen, leert MAVEN de AI om een "Evidence Memory" (bewijsmemory) te beheren—een mentaal kladblok waar het actief aanwijzingen kan verzamelen, verbinden en weggooien terwijl het nadenkt.

Zie MAVEN als een detective die getraind is om:

Een aanwijzing toe te voegen aan zijn bord.
Twee aanwijzingen aan elkaar te koppelen om te zien hoe ze in elkaar passen.
Een aanwijzing weg te gooien als hij beseft dat deze misleidend is.
Pas te antwoorden wanneer het bord leeg is.

Hoe MAVEN de AI Leert (De Beloningen)

De magie van MAVEN zit in de manier waarop de AI wordt beloond voor hoe het zijn kladblok gebruikt, niet alleen voor het uiteindelijke resultaat. Het gebruikt een "frozen verifier" (een slimme, vooraf getrainde AI-rechter) om de staat van het bewijs bij elke stap te controleren.

Dit zijn de drie soorten "punten" die de AI verdient:

De "Add" Beloning (Goud vinden):
- Analogie: Je vindt een nieuwe aanwijzing. Hielp het je om op dit moment dichter bij de waarheid te komen? Of, zelfs als het niet direct hielp, was het absoluut noodzakelijk om de puzzel later op te lossen?
- MAVEN's Truc: Het geeft punten voor aanwijzingen die direct helpen, maar het geeft ook "achteraf-punten" voor aanwijzingen die essentieel waren voor de uiteindelijke oplossing, zelfs als ze er eerst nutteloos uitzagen.
De "Drop" Beloning (Het bord opruimen):
- Analogie: Je beseft dat een aanwijzing die je eerder hebt opgepakt eigenlijk een dwaalspoor is. In plaats van koppig vast te houden aan de aanwijzing, gooi je hem weg.
- MAVEN's Truc: Als het verwijderen van een aanwijzing het antwoord duidelijker maakt, krijgt de AI een beloning. Dit leert het model om fouten toe te geven en het redeneren te corrigeren, in plaats van vast te houden aan een foutief pad.
De "Link" Beloning (De punten verbinden):
- Analogie: Je hebt twee aanwijzingen die alleen niet logisch zijn, maar wanneer je ze naast elkaar legt, onthullen ze het hele verhaal.
- MAVEN's Truc: Het beloont de AI voor het expliciet uitleggen hoe twee stukken bewijs samenwerken. Dit voorkomt dat de AI willekeurige feiten verzamelt; het dwingt het model om ze te synthetiseren.

De Resultaten: Een Betere Detective

De onderzoekers hebben MAVEN getest op diverse AI-modellen (zoals Llama en Qwen) met behulp van moeilijke leesvaardigheidstests.

Betere Nauwkeurigheid: MAVEN-getrainde modellen losten meer problemen correct op dan modellen die alleen getraind zijn op het eindantwoord of modellen die alleen getraind zijn om "relevante" tekst te vinden.
Minder Rommel: De MAVEN-modellen hielden minder "distractors" (afleiders/valse aanwijzingen) in hun geheugen. Ze waren beter in het beseffen wanneer een aanwijzing onjuist was en deze weg te gooien.
Completer: Ze verzamelden meer van de noodzakelijke bewijslast die vereist was om de puzzel op te lossen, in plaats van te gokken op basis van gedeeltelijke informatie.

De Kernboodschap

MAVEN verandert het spel van "Vind het juiste antwoord" naar "Leer hoe je het juiste antwoord opbouwt." Het behandelt redeneren over lange contexten niet als een eenmalige zoektocht, maar als een dynamisch proces van het navigeren door een staat van bewijs—het voortdurend toevoegen, verbinden en weggooien van informatie totdat het beeld duidelijk is.

De conclusie van het artikel is dat voor AI werkelijk te kunnen redeneren over lange teksten, het moet leren hoe het zijn eigen bewijsvoering beheert en herziet, in plaats van alleen een statische lijst van feiten te extraheren.

Technische Samenvatting: MAVEN - Evidence-State Beloningen voor Long-Context Redeneren

1. Probleemstelling

Geavanceerde Large Language Models (LLM's) ondersteunen steeds vaker lange contextvensters, maar het vermogen om lange inputs te accepteren garandeert niet effectief redeneren over deze context. Modellen lijden vaak aan "lost in the middle"-fenomenen, voortijdige afhankelijkheid van gedeeltelijke bewijslast en een onvermogen om informatie te synthetiseren die verspreid is over verre delen van de context.

Bestaande Reinforcement Learning (RL) benaderingen voor long-context redeneren vertrouwen doorgaans op outcome-only beloningen (het verifiëren van het uiteindelijke antwoord) of statische bewijs-identificatiebeloningen (het belonen van de selectie van gouden tekstfragmenten). De auteurs stellen dat deze methoden ontoereikend zijn omdat ze bewijs behandelen als geïsoleerde fragmenten of een uiteindelijke verzameling extracties. Ze falen in het vastleggen van de dynamische, toestand-afhankelijke aard van long-context redeneren, waarbij:

Een segment pas waardevol kan worden nadat een ander segment is gevonden.
Een plausibel document verworpen moet worden zodra latere bewijslast het als een afleider (distractor) onthult.
Individueel onvoldoende stukjes gezamenlijk een redeneergat kunnen overbruggen.

Huidige beloningen stimuleren een voortijdige toezegging aan lokaal plausibele bewijspaden in plaats van het iteratieve proces van het bouwen, herzien en synthetiseren van een evoluerende bewijs-toestand (evidence state).

2. Methodologie: MAVEN

De auteurs stellen MAVEN (Marginal-Value Evidence Navigation) voor, een reinforcement learning-framework dat long-context redeneren behandelt als stateful evidence-memory navigatie. In plaats van geïsoleerde extractie te belonen, definieert MAVEN een antwoord-geconditioneerde bewijs-toestandswaarde en wijst het beloningen toe aan specifieke actie-niveau transities.

2.1 Framework en Acties

Het beleidsmodel $\pi_\theta$ interageert met een bewerkbare bewijs-geheugen $E_k$ voordat het een definitief antwoord genereert. Het model genereert een traject van hoog-niveau acties:

Add (<add>): Voegt een geciteerd of gerefereerd bewijsfragment toe aan het geheugen.
Drop (<drop>): Verwijdert een irrelevant, redundant of misleidend bewijsfragment.
Link (<link>): Legt uit hoe twee bewijsfragmenten gezamenlijk het antwoord ondersteunen (synthese).
Answer (<answer>): Produceert het uiteindelijke antwoord.

2.2 Waardefunctie

MAVEN maakt gebruik van een bevroren verifier-model $p_\psi$ om een bewijs-toestandswaarde $V_\psi(Q, E)$ te berekenen. Deze waarde meet de relatieve reductie in de negative log-likelihood (NLL) van het gouden antwoord $a^*$ gegeven de vraag $Q$ en het huidige bewijsgeheugen $E$ , vergeleken met het hebben van geen bewijs:
$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$
Een positieve waarde geeft aan dat het bewijs het juiste antwoord voorspelbaarder maakt.

2.3 Actie-niveau Beloningen

MAVEN wijst procesbeloningen toe aan specifieke actie-spans binnen het GRPO (Group Relative Policy Optimization) framework:

Add Reward ( $\rho_{add}$ ): Combineert online Conditional Answer Information Gain (CAIG) en hindsight credit.
- CAIG: Beloont directe verbetering in de bewijs-toestand bij het toevoegen van een nieuw item.
- Hindsight Credit: Als een item deel uitmaakt van de uiteindelijke behouden bewijsset $E_F$ , ontvangt het credit gebaseerd op hoeveel de uiteindelijke waarde zou dalen als dat item zou worden verwijderd (een Shapley-achtige benadering). Dit zorgt ervoor dat vroege, noodzakelijke bewijslast in multi-hop redeneren niet ondergewaardeerd wordt.
Drop Reward ( $\rho_{drop}$ ): Beloont het verwijderen van bewijs als dit de antwoord-geconditioneerde bewijs-toestand verbetert (bijv. het verwijderen van een afleider). Het straft het verwijderen van nuttig bewijs af.
Link Reward ( $\rho_{link}$ ): Beloont de expliciete synthese van complementair bewijs. Het gebruikt een pairwise synergy score om te meten of twee stukken samen waardevoller zijn dan afzonderlijk.
Answer Reward ( $\rho_{ans}$ ): Een binaire beloning gebaseerd op substring-matching met de grondwaarheid om taaksucces te garanderen.

2.4 Trainingsprocedure

Training vindt plaats in twee stadia:

Cold-Start SFT: Supervised fine-tuning op geldige actie-trajecten om het model de bewerkbare geheugeninterface en de actie-grammatica te leren.
RL Training: Het model wordt geoptimaliseerd met behulp van GRPO met de hierboven gedefinieerde actie-lokale beloningen, waarbij het objectief de proces-niveau credit assignment behoudt. Hierdoor kan een traject met een slechte "add" gevolgd door een corrigerende "drop" respectievelijk een passende negatieve en positieve advantage ontvangen.

3. Belangrijkste Bijdragen

Identificatie van Beperkingen: De auteurs identificeren dat bestaande long-context RL-beloningen vaak statische bewijsextractie superviseren in plaats van bewijs-toestandstransities, wat leidt tot voortijdige verankering op onjuiste paden.
MAVEN Framework: Stelt een bewerkbaar bewijs-geheugen framework voor dat een antwoord-geconditioneerde bewijs-toestandswaarde definieert. Het traint LLM's om te toevoegen, linken, verwijderen en antwoorden via stateful, actie-lokale procesbeloningen.
Empirische Validatie: Demonstreert consistente winst over verschillende modelfamilies (Llama, Qwen) en benchmarks, wat diagnostisch bewijs levert dat MAVEN de bewijs-voldoendeheid (coverage van gouden bewijs) verbetert en de retentie van afleiders (het behouden van misleidend bewijs) vermindert.

4. Experimentele Resultaten

De auteurs evalueerden MAVEN op Llama-3.1-8B, Qwen2.5-14B, en Qwen3-30B-A3B over LongBench v2, LongReason, en RULER.

Prestaties: MAVEN presteerde consequent beter dan alle baselines, inclus�s outcome-only RL en outcome-plus-evidence-identification baselines. Op LongBench v2 verbeterde MAVEN de sterkste baseline met +3.5 tot +4.0 punten over verschillende modelgroottes.
Long-Context Specificaties: De winst was bijzonder uitgesproken in long-context splits (bijv. 128K context), wat suggereert dat de methode cruciaal is wanneer antwoorden afhankelijk zijn van gedistribueerde informatie.
Diagnostische Metrieken:
- Bewijs-voldoendeheid (Evidence Sufficiency): MAVEN bereikte >85% voldoendeheid, aanzienlijk hoger dan de baselines.
- Retentie van Afleiders (Distractor Retention): MAVEN verminderde het percentage behouden bewijs dat overeenkwam met afleiders aanzienlijk, wat het vermogen van het model aantoont om zijn geheugen te herzien.
Ablatie-studies:
- Het verwijderen van de drop reward leidde tot de hoogste retentie van afleiders.
- Het verwijderen van de link reward verlaagde de bewijs-voldoendeheid.
- Het verwijderen van de add reward veroorzaakte de grootste daling in de algemene score.
- Een variant waarbij beloningen alleen werden berekend vanuit de uiteindelijke bewijsset (negerend van tussenliggende stappen) presteerde aanzienlijk slechter, wat de noodzaak van actie-lokale procesbeloningen bevestigt.
Generalisatie: Evaluatie op MMLU-Pro toonde aan dat MAVEN-training de algemene short-context redeneercapaciteiten niet heeft verslechterd.

5. Betekenis en Claims

Het paper claimt dat effectieve long-context RL vereist dat men bewijs-toestandstransities optimaliseert in plaats van enkel bewijsextractie te optimaliseren. Door redeneren te behandelen als een navigatieproces door een bewerkbaar geheugen, stelt MAVEN modellen in staat om:

Te herstellen van het toevoegen van misleidend bewijs (via drop rewards).
Complementaire informatie te synthetiseren (via link rewards).
Het belang van vroeg bewijs te herkennen, zelfs wanneer de directe waarde laag is (via hindsight credit).

De auteurs positioneren MAVEN als complementair aan retrieval, agentic workflows en architecturale context-extensies, specifiek gericht op de bottleneck van het leren om de bewijs-toestand op te bouwen en te herzien die voor redeneren wordt gebruikt.

Erkende Beperkingen:

MAVEN vertrouwt op gouden antwoorden tijdens training om verifier-gebaseerde waarden te berekenen, wat de directe toepasbaarheid op taken met verifieerbare antwoorden beperkt.
De interface gaat ervan uit dat bewijs gerepresenteerd kan worden als begrensde tekstfragmenten.
Diagnostische annotaties werden geconstrueerd voor gecontroleerde analyse; bredere menselijke evaluatie van de kwaliteit van bewijs blijft toekomstig werk.