Technische Samenvatting: Voorbij Reward Engineering: Een Data Recept voor Long-Context Reinforcement Learning

Probleemstelling

Hoewel Reinforcement Learning (RL) effectief is gebleken voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), richten bestaande inspanningen zich voornamelijk op taken met een korte context. Het uitbreiden van deze winst naar long-context reasoning (redeneren met lange contexten) blijft onderbelicht. Huidige benaderingen leunen vaak op complexe reward engineering, waarbij resultaatgerichte beloningen worden aangevuld met hulpbronnen (zoals scores voor bewijsvoering of tussenliggende redeneerstappen) om modellen over langere inputs te leiden. Deze methoden kampen echter met uitdagingen: alleen resultaatgerichte beloningen bieden spraakzame signalen voor het lokaliseren van bewijs in lange contexten, wat leidt tot een plateau in de recall en shortcut-redeneren. Bovendien is hoogwaardige, diverse trainingsdata voor long-context RL schaars; bestaande synthetische datasets zijn vaak beperkt in taakdekking of closed-source.

Methodologie

De auteurs stellen een data-centrisch perspectief voor, met de hypothese dat long-context reasoning kan worden gedecomposed in een kleine set complementaire kernvaardigheden die gezamenlijk moeten worden geoefend. In plaats van complexe reward engineering, laten zij zien dat een eenvoudige maar effectieve data recipe (data-recept), gecombineerd met een minimale outcome-based RL-opzet, volstaat om de prestaties aanzienlijk te verbeteren.

1. Het Data Recept

De trainingsmix richt zich op drie complementaire taakfamilies, met in totaal ~14.000 voorbeelden geconstrueerd over acht datasets:

• Retrieval (Opvragen): Richt zich op het lokaliseren van relevante bewijslast uit lange inputs waar informatie verspreid of semantisch indirect is.
  • FuzzyNeedle: Verwijdert lexicale shortcuts door "needles" (doelinformatie) te parafraseren met behulp van Wikidata IS-A relaties, waardoor modellen gedwongen worden instance-of relaties op te lossen in plaats van enkel op keyword matching te vertrouwen.
  • MultiNeedle: Vereist het onderscheiden van vele bijna identieke needles en het ophalen van een specifieke needle op basis van de volgorde van voorkomen.
• Multi-evidence Synthesis (Synthese van meerdere bewijsstukken): Vereist het integreren van informatie die verspreid is over verschillende delen van de input om een antwoord af te leiden dat geen enkel afzonderlijk stuk informatie alleen kan bieden.
  • CrossEntity: Genereert vragen die aggregatie vereisen van afgeleide attributen van meerdere entiteiten (bijv. het berekenen van de "winnende leeftijd" uit geboorte- en kampioenschapjaren).
  • WebSearch: Simuleert search-agent taken waarbij modellen multi-hop relatieketens moeten volgen terwijl ze gouden bewijs onderscheiden van topisch vergelijkbare distractors.
  • MultiQuery: Embedt meerdere queries in een document; het missen van ook maar één stuk bewijs leidt tot een onjuist antwoord, wat de nadruk legt op volledige dekking.
  • KeyChain: Verbergt vragen achter ketens van UUID-pointers, waardoor modellen ketens moeten volgen om de werkelijke query te herstellen.
  • LongDocQA: Breidt bestaande datasets (HotpotQA, MuSiQue, Qasper) uit met volledige documenten of irrelevante padding om de contextlengte te vergroten.
• Reasoning (Redeneren): Richt zich op het uitvoeren van complexe meerstaps probleemoplossing (bijv. wiskunde) over lange inputs om diepe denkvaardigheden te behouden.
  • LongMath: Past moeilijke short-context wiskundeproblemen aan naar narratieve scenario's waarbij variabelen en condities verdeeld zijn over ten minste vijf verhaalfragmenten die verspreid zijn door een irrelevante lange tekst.

Data Curatie: De auteurs passen een tweestaps-pipeline toe: het weggooien van samples die de 64K tokens overschrijden en het filteren op "gemiddelde moeilijkheid" door alleen samples te behouden waarbij een basismodel (Qwen3-30B-A3B) sommige, maar niet alle rollouts correct uitvoert.

2. Reinforcement Learning Setup

De auteurs maken gebruik van Group Relative Policy Optimization (GRPO) met een minimaal reward-ontwerp:

• Reward: Primair een woordniveau recall-beloning ($r = |\hat{y} \cap y^*| / |y^*|$) tussen het uiteindelijke antwoord van het model en het label. Voor complexe taken (CrossEntity, LongMath) wordt een LLM-as-judge (DeepSeek-V3.2) gebruikt om de correctheid te verifiëren.
• Stabilisatie: Om de heterogene reward-distributies van de acht datasets te hanteren, gebruiken de auteurs task-balanced sampling (vaste ratio's per dataset in batches) en task-level advantage normalization (het schalen van advantages door de standaarddeviatie per dataset).
• Geen Process Rewards: In tegenstelling tot eerder werk, gebruikt deze benadering geen hulpbronnen voor tussenliggende redeneestappen of bewijsvoering, maar vertrouwt het uitsluitend op de outcome reward.

Belangrijkste Bijdragen

1. Data-Centrisch Paradigma: Het artikel daagt de heersende focus op reward engineering uit, door aan te tonen dat een diverse data recipe alleen al voldoende is om significante verbeteringen in long-context reasoning te drijven.
2. Verenigde Taak-Taxonomie: De auteurs definiëren en cureren een trainingsmix die drie complementaire vaardigheden dekt (Retrieval, Multi-evidence Synthesis, Reasoning), en beargumenteren dat alle drie noodzakelijk zijn voor optimale prestaties.
3. Open Datasets: De auteurs construeren en publiceren acht datasets met in totaal ~14K voorbeelden om toekomstig onderzoek te faciliteren.
4. Transfereerbaarheid: De studie toont aan dat verbeteringen in long-context reasoning overdraagbaar zijn naar agentic taken, wat suggereert dat het versterken van kernredeneervaardigheden de long-horizon agent-capaciteiten ten goede komt.

Experimentele Resultaten

De methode werd geëvalueerd op drie modellen (Qwen3-4B, Qwen3-8B, en Qwen3-30B-A3B) over zeven long-context benchmarks.

• Prestatiewinst: De data recipe leverde consistente gemiddelde verbeteringen op van respectievelijk +7,2, +3,2 en +6,4 punten over de drie modellen.
• Vergelijking: De aanpak presteerde beter dan twee eerdere long-context RL-trainingssets (DocQA-RL-1.6K en KeyChain-15K) over alle modellen en benchmarks.
• Generalisatie: Ondanks dat de training plaatsvond op inputs begrensd tot 64K tokens, werden de winsten overgedragen naar aanzienlijk langere contexten (tot 512K+ tokens), wat aangeeft dat de modellen lengte-generieke redeneervaardigheden hebben geleerd in plaats van te overfitten op de trainingsdistributie.
• Ablatie-studies:
  • Het verwijderen van een enkele taakcategorie of een paarvormige combinatie resulteerde in lagere prestaties dan de volledige mix, wat de complementariteit van de drie taakfamilies bevestigt.
  • Het verwijderen van task-balancing technieken veroorzaakte een matige prestatiedaling, wat het belang benadrukt van het mitigeren van inter-taak competitie.
  • Het toevoegen van een "process reward" (LLM-as-judge score voor de coherentie van de redenering) verbeterde de prestaties niet ten opzichte van de outcome-only setup, wat suggereert dat de diverse data zelf al informatieve signalen biedt.
• Agentic Transfer: Het voortzetten van de RL-training op een agent-getunede model (AgentCPM-Explore) met deze data recipe verbeterde GAIA met +4,8 punten en BrowseComp met +7,0 punten, wat de overdraagbaarheid van long-context vaardigheden naar autonome agents aantoont.

Betekenis en Claims

Het artikel claimt dat diverse trainingsdata de primaire bottleneck is voor long-context RL, en niet het reward-ontwerp. Door een gebalanceerde mix te construeren van retrieval, synthesis en reasoning taken, bereiken de auteurs state-of-the-art resultaten zonder complexe reward engineering. Het werk suggereert dat het versterken van kernvaardigheden in lange contexten een effectieve weg is naar het verbeteren van agentic capabilities, aangezien agents tijdens toolgebruik van nature enorme contexten accumuleren. De auteurs merken bescheiden de beperkingen op, waaronder het gebruik van synthetische data die mogelijk niet volledig overeenkomt met real-world distributies, en de huidige beperking tot modellen tot 30B parameters en 64K contextlengte.