Learning to Reason in Structured In-context Environments with Reinforcement Learning

Titel: Leren redeneren in gestructureerde in-context omgevingen met versterkende leer (RL)

Auteurs: Peng Yu, Zeyuan Zhao, Shao Zhang, Luoyi Fu, Xinbing Wang, Ying Wen (Shanghai Jiao Tong University)
Publicatie: ICLR 2026

---

1. Het Probleem

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in redeneervermogen door middel van versterkende leer (Reinforcement Learning - RL) via omgevingsverkenning. Echter, de huidige RL-finetuning-methoden stuiten op een fundamenteel probleem: de kwaliteit en aard van het trainingsomgeving bepalen direct welke vaardigheden het model kan leren.

Bestaande omgevingen voldoen niet aan de drie ideale kenmerken voor LLM-redenering:

1. Schaalbaarheid: Wiskundige en coderingsomgevingen vereisen vaak dure, handmatige annotatie door experts, wat schaalbaarheid beperkt.
2. Generaliseerbaar redeneren: Spelgebaseerde omgevingen hebben duidelijke regels, maar de geleerde vaardigheden zijn vaak te gespecialiseerd en generaliseren slecht naar andere domeinen.
3. Verifieerbaarheid: De omgeving moet objectieve regels hebben om de juistheid van antwoorden te verifiëren.

Er is dus behoefte aan een omgeving die automatisch schaalbaar is, complexe redeneerpatronen leert die breed toepasbaar zijn, en strikt verifieerbaar is.

2. Methodologie: Het SIE Framework

De auteurs stellen het Structured In-context Environment (SIE) framework voor. Dit framework bouwt trainingsomgevingen automatisch op uit grote hoeveelheden gestructureerde data (zoals kennisgrafieken) en gebruikt deze als "soft constraints" in de prompt van het LLM.

A. Constructie van SIE (Automatische Pipeline)

Het framework gebruikt Multi-hop Knowledge Graph Question Answering (KGQA) als basis. De pipeline bestaat uit vier stappen:

1. Seed Subgraph Retrieval: Voor een gegeven vraag en antwoord worden "seed nodes" (entiteiten) geselecteerd. Er wordt een bidirectionele zoektocht uitgevoerd (van vraag en antwoord naar elkaar toe) om een initiële subgraaf te vinden die potentiële redeneerpaden bevat. Dit verkleint de zoekruimte efficiënt.
2. Supporting Subgraph Extraction: Uit de seed-subgraaf worden alle geldige redeneerpaden geëxtraheerd die de vraag verbinden met het antwoord. Dit vormt de "waarheid" of ondersteunende kennis ($G_{support}$).
3. Distractor Subgraph Filtering: De resterende triples (die niet tot het juiste antwoord leiden) vormen afleiders. Om de contextlengte te beheersen en de moeilijkheid te optimaliseren, worden deze gefilterd op semantische relevantie ten opzichte van de vraag (met behulp van een cross-encoder model).
4. Constructie van Partial SIEs: De uiteindelijke omgeving wordt samengesteld door een willekeurige mix van ondersteunende triples en afleiders. De auteurs creëren een reeks "partiale" omgevingen door het percentage ondersteunende informatie te variëren (van 100% tot 0%). Dit simuleert scenario's met onvolledige informatie.

B. RL Post-training binnen SIE

Het LLM wordt getraind om te redeneren binnen deze contextuele omgeving.

• Formulering: De taak wordt gemodelleerd als een impliciete Markov Decision Process (MDP). De staat is de momenteel verkende subgraaf, en de actie is het selecteren van entiteiten voor verdere verkenning.
• Algoritme: De auteurs gebruiken GRPO (Group Relative Policy Optimization). Dit algoritme vereist geen apart critic-model en gebruikt groepsrelatieve scoring om de voordeel (advantage) te berekenen.
• Reward Mechanisme:
  • Answer Reward: Een score van 1.0 bij exacte overeenkomst met het ground-truth antwoord, anders 0.0.
  • Format Reward: Een extra beloning voor het volgen van het juiste denk- en antwoordformaat (gebruik van <thought> en <answer> tags).
  • Dit zorgt voor een strikte, regelgebaseerde verifieerbaarheid.

3. Belangrijkste Bijdragen

1. Het SIE Framework: Een formalisering van gestructureerde in-context omgevingen die schaalbaarheid, generalisatie en verifieerbaarheid combineert.
2. Automatische Constructie: Een pipeline die partial SIEs van verschillende moeilijkheidsgraden bouwt op basis van de Freebase Knowledge Graph, zonder menselijke annotatie.
3. Inzicht in Onvolledige Informatie: Een analyse van hoe modellen leren redeneren wanneer de omgeving onvolledig is (bijv. SIE-0%, waar geen ondersteunende feiten worden gegeven). Het blijkt dat modellen dan leren om hun interne parametrische kennis te combineren met de beschikbare (vaak afleidend) context.

4. Resultaten

De experimenten werden uitgevoerd op diverse open-source modellen (Qwen2.5, Llama3.1, Qwen3) en getest op in-domein (KGQA) en out-of-domein (wiskunde, logica) taken.

• Verbetering in Gestructureerd Redeneren (RQ1 & RQ2):
  • RL-finetuning binnen SIE presteert aanzienlijk beter dan RL zonder context (+30% tot +65% verbetering op datasets zoals WebQSP, CWQ en GrailQA).
  • SIE-RL is veel efficiënter dan Supervised Fine-Tuning (SFT) op gestructureerde data (SRD). Waar SFT gemiddeld ~11% verbetering gaf, gaf RL in SIE ~53% verbetering.
• Generalisatie naar Out-of-Domein Taken (RQ3):
  • Modellen getraind in SIE tonen sterke generalisatie naar wiskundige (GSM8K, MATH500) en logische redenering (Knights and Knaves puzzles).
  • Er werd een gemiddelde verbetering van ~20% op wiskundige taken en ~11% op logische taken waargenomen ten opzichte van Chain-of-Thought prompting.
• Robuustheid bij Onvolledige Informatie (RQ4):
  • Zelfs in de meest uitdagende setting (SIE-0%, waarbij alle ondersteunende feiten ontbreken), behaalde het model nog steeds significante verbeteringen (bijv. +55% op WebQSP).
  • Case Study: In een scenario zonder ondersteunende feiten, leerde het model na RL-finetuning om te erkennen dat de context onvolledig was en gebruikte het zijn eigen interne kennis om het juiste antwoord af te leiden, in plaats van te hallucineren op basis van de beperkte input.

5. Betekenis en Conclusie

Dit paper toont aan dat de omgeving een even cruciale rol speelt als het algoritme bij het verbeteren van het redeneervermogen van LLMs.

• Paradigmaverschuiving: Het framework beweegt LLMs van oppervlakkige contextretrieval naar diepere, compositieve redenering. Door te trainen in omgevingen met variabele informatie, leren modellen niet alleen feiten op te halen, maar ook om informatie te synthetiseren en te redeneren zelfs als de externe bronnen onvolledig zijn.
• Schaalbaarheid: Omdat de omgevingen automatisch worden gegenereerd uit gestructureerde data (zoals kennisgrafieken), is de methode oneindig schaalbaar en kostenefficiënt.
• Toekomst: De bevindingen suggereren dat het trainen van agents in gestructureerde, verifieerbare omgevingen een krachtige route is om robuuste, generaliseerbare redeneervaardigheden te ontwikkelen die verder gaan dan de specifieke trainingsdata.

Kortom, SIE biedt een oplossing voor de "trilemma" van schaalbaarheid, generalisatie en verifieerbaarheid in RL voor LLMs, en bewijst dat versterkende leer in dergelijke omgevingen superieur is aan traditionele methoden zoals SFT of prompt engineering.