💬 NLP

Context-Aware RL for Agentic and Multimodal LLMs

Het artikel stelt ContextRL voor, een contextbewuste reinforcement learning-methode die het langetermijnredeneren en de multimodale prestaties van LLM's verbetert door modellen te trainen om de juiste context te selecteren uit zeer gelijkaardige paren via een indirecte hulpdoelstelling, in plaats van uitsluitend te vertrouwen op supervisie van het uiteindelijke antwoord.

Oorspronkelijke auteurs: Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peiyang Xu, Bangzheng Li, Sijia Liu, Karthik R. Narasimhan, Pramod Viswanath, Prateek Mittal, Xingyu Fu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een enorme stapel bewijsstukken (de "context") en een specifieke vraag die je moet beantwoorden. Het probleem is dat de meeste moderne AI-detectives erg goed zijn in het raden van het antwoord, maar vaak falen in het aanwijzen van de exacte pagina in de stapel bestanden die bewijst dat ze gelijk hebben. Ze kunnen het antwoord goed hebben door geluk of door een patroon te onthouden, maar ze kunnen je niet de "smoking gun" in het bewijs laten zien.

Dit artikel, getiteld "Context-Aware RL for Agentic and Multimodal LLMs," introduceert een nieuwe trainingsmethode genaamd CONTEXT-RL om dit op te lossen. Het leert AI-modellen niet alleen wat ze moeten antwoorden, maar ook waar ze in het bewijsmateriaal moeten kijken om dat antwoord te rechtvaardigen.

Hier is een eenvoudige uitleg van hoe het werkt, met behulp van alledaagse analogieën:

1. Het Probleen: De "Gokkende" Detective

De auteurs merkten op dat zelfs zeer intelligente AI-modellen vaak last hebben van "context onbewustheid" (context unawareness).

In Codering: Stel je voor dat een AI een computerprogramma probeert te repareren. Het ziet een lange lijst instructies (de context). Het besluit een variabele genaamd i te verwijderen. Maar als het goed naar de context had gekeken, zou het zien dat i later in de code wordt gebruikt. Omdat het zijn beslissing niet heeft gebaseerd op de specifieke regel code, breekt het programma.
In Afbeeldingen: Stel je voor dat een AI naar een grafiek kijkt. Het moet een specifiek getal aflezen. Het kan "2" raden omdat dat een veelvoorkomend getal is, terwijl de grafiek duidelijk een "3" laat zien. Het heeft het kleine visuele detail dat recht voor de neus van de AI lag, gemist.

De auteurs testten dit door modellen een vraag, een antwoord en twee zeer vergelijkbare verhalen (contexten) te tonen. Eén verhaal ondersteunt het antwoord, en de andere is een "nepverhaal" dat er bijna hetzelfde uitziet, maar het antwoord niet ondersteunt. Verrassend genoeg konden veel slimme open-source modellen het verschil niet zien en kozen ze bijna net zo vaak het verkeerde verhaal als wanneer ze willekeurig zouden gokken.

2. De Oplossing: Het "Vind de Verschillen"-spel

Om dit op te lossen, creëerden de auteurs een nieuw trainingsspel genaamd CONTEXT-RL.

In plaats van de AI alleen te vertellen: "Je hebt het antwoord goed, hier is een beloning," voegden ze een tweede, strengere regel toe: "Je moet ook de juiste bewijsstukken aanwijzen."

De Opzet: De AI krijgt een vraag en een antwoord. Daarna krijgt het twee bijna identieke "werelden" (contexten) te zien.
- Wereld A: Bevat de specifieke aanwijzing die bewijst dat het antwoord correct is.
- Wereld B: Ziet er bijna hetzelfde uit, maar de aanwijzing ontbreekt of is veranderd, waardoor het antwoord onjuist is.
Het Doel: De AI krijgt een bonusbeloning, niet alleen voor het oplossen van het probleem, maar ook voor het correct identificeren van Wereld A als de wereld die het antwoord ondersteunt.

Het is als een leraar die een wiskundeprobleem aan een leerling geeft. Een normale leraar zegt: "Goed gedaan, je hebt 5." De CONTEXT-RL-leraar zegt: "Goed gedaan, maar laat me ook de exacte regel in het tekstboek zien waar je de formule hebt gevonden. Als je er niet naar kunt wijzen, heb je het niet echt begrepen."

3. Hoe ze de Trainingsdata hebben Gebouwd

Om dit spel te leren, moesten ze duizenden "Vind de Verschillen"-puzzels maken:

Voor Codering-agents: Ze namen echte programmeertaken en vonden paren van codegeschiedenissen die bijna identiek waren, behalve één minuscuul, cruciaal verschil in de code. Ze maskeerden de werkelijke codeveranderingen zodat de AI niet kon valsspelen door alleen de uiteindelijke oplossing te lezen; de AI moest het proces begrijpen.
Voor Afbeeldingen: Ze gebruikten AI-tools om foto's te bewerken. Bijvoorbeeld, ze namen een foto van een grafiek en veranderden één getal heel lichtjes, zodat het antwoord op een vraag versprong van "Ja" naar "Nee". Ze zorgden ervoor dat de rest van de afbeelding er exact hetzelfde uitzag, waardoor de AI gedwongen werd naar dat specifieke detail te kijken.

4. De Resultaten: Waarom het Er toe Doet

De auteurs testten deze methode op twee soorten taken:

Long-Horizon Coding: Agents die code moeten schrijven over vele stappen heen.
Multimodale Redenering: Agents die afbeeldingen moeten bekijken en vragen moeten beantwoorden.

De bevindingen waren duidelijk:

Betere Prestaties: Modellen die getraind zijn met CONTEXT-RL behaalden aanzienlijk hogere scores op moeilijke benchmarks dan modellen die getraind zijn met standaardmethoden.
Het Geheime Ingrediënt: De auteurs bewezen dat de verbetering niet alleen voortkwam uit het hebben van meer data. Ze probeerden dezelfde "Vind de Verschillen"-data aan modellen te voeren met standaard trainingsmethoden, en dat werkte niet (of maakte het zelfs erger). De magie zat in de specifieke manier waarop ze het model trainden om de juiste context te selecteren.

De Kernboodschap

Beschouw standaard AI-training als het leren van een student om het definitieve antwoord te memoriseren. CONTEXT-RL leert de student om een detective te zijn die weet hoe hij bewijs moet vinden in een rommelige kamer. Het wil niet alleen het juiste antwoord; het eist dat het antwoord geworteld is in de specifieke details die worden verstrekt, wat de AI betrouwbaarder maakt en minder snel fouten laat maken wanneer de context complex of subtiel is.

Technische Samenvatting: Context-bewuste RL voor Agentische en Multimodale LLM's

Probleemstelling

Grote taalmodellen (LLM's), met name die die opereren in agentische (tool-gebruikende) en multimodale (visie-taal) omgevingen, falen frequent wanneer taken een kleine maar beslissende bewijsstuk binnen een lange of complexe context vereisen. Deze foutmodus, getiteld context-onwetendheid (context unawareness), treedt op wanneer een model een lokaal plausibel antwoord produceert dat niet is gegrond in de specifieke bewijsvoering die is verstrekt (bijv. het wijzigen van een variabele die elders in een code-traject is gedefinieerd, of het verkeerd lezen van een specifieke waarde in een dichte grafiek).

Hoewel moderne modellen vaak hoge scores behalen op standaard benchmarks, introduceren de auteurs een contrastieve context-probe om een significante kloof in contextuele gronding aan te tonen. In deze probe krijgt een model een query, een kandidaat-antwoord en twee zeer gelijkaardige contexten (één die het antwoord ondersteunt, en één die een ander antwoord ondersteunt). Het model moet de juiste context selecteren. De resultaten laten zien dat terwijl propriëtaire modellen (bijv. GPT-5.4, Claude Opus 4.7) betrouwbaar presteren, sterke open-source modellen (bijv. Qwen3-VL, Qwen3.5) vaak presteren nabij het niveau van willekeurige gokken, ondanks competitieve prestaties op standaard benchmarks. Dit suggereert dat standaard benchmark-metrieken fouten in grondingsbeslissingen bij schaarse contextuele bewijslast maskeren.

Methodologie: CONTEXTRL

De auteurs stellen CONTEXTRL voor, een post-training framework dat standaard Reinforcement Learning (RL) aanvult met een expliciete, hulpvormige context-selectie doelstelling. In tegenstelling tot standaard RL, dat alleen optimaliseert voor de correctheid van de uiteindelijke output (outcome rewards), traint CONTEXTRL het model om te identificeren welke context een gegeven antwoord ondersteunt.

1. Constructie van Contrastieve Data

De methode vertrouwt op het construeren van contrastieve contextparen $(C^+, C^-)$ geassocieerd met een query $Q$ en een ankerantwoord $A$ :

Agentische Setting (Coding): Trajecten dienen als context. De auteurs hebben 1.000 hoogwaardige paren gewonnen uit 66.000 SWE-smith trajecten. Paren worden geconstrueerd door te filteren op trajecten uit hetzelfde repository, commit, bestand en doelfunctie, waarbij ze alleen verschillen in een klein, beslissend code-gebied. Edit-commando's worden gemaskeerd om lekkage te voorkomen.
Multimodale Setting (Visie): Afbeeldingen dienen als context. De auteurs hebben 7.000 paren geconstrueerd met twee strategieën:
- Generatieve Bewerking: Voor natuurlijke afbeeldingen wordt een gelokaliseerde bewerking toegepast om het antwoord te veranderen terwijl de globale scène-structuur behouden blijft.
- Gelijkenis-gebaseerde Retrieval: Voor gestructureerde afbeeldingen (grafieken, diagrammen) worden zeer gelijkaardige afbeeldingen die andere antwoorden ondersteunen, opgehaald met behulp van embedding-modellen.
- Rigoureuze verificatie (met behulp van GPT-5.4 en handmatige inspectie) zorgt ervoor dat paren vrij zijn van oppervlakkige shortcut-aanwijzingen of artefacten.

2. Trainingsdoelstelling

CONTEXTRL combineert de standaard Group Relative Policy Optimization (GRPO) doelstelling met een Context-Awareness Loss ( $L_{CA}$ ).

Standaard GRPO ( $L_{GRPO}$ ): Optimaliseert voor correcte taakuitkomsten (bijv. het passeren van testgevallen in coding, exacte match in VQA).
Context-Awareness Loss ( $L_{CA}$ ): Voor een contrastief instance $(Q, A, C^+, C^-)$ wordt het model gepresenteerd met de query, het antwoord en beide contexten als opties. De loss moedigt het model aan om een hogere logit toe te kennen aan de token die overeenkomt met de ondersteunende context ( $C^+$ ) ten opzichte van de verwarrende context ( $C^-$ ).
Gezamenlijke Optimalisatie: De totale loss is $L(\theta) = E[L_{GRPO}] + \lambda E[L_{CA}]$ , waarbij $\lambda$ de balans bepaalt tussen taakprestaties en contextbewustzijn. De $L_{CA}$ wordt geïmplementeerd als een margin-gebaseerde loss met clipping om te voorkomen dat grote gradiënten de training domineren.

Belangrijkste Bijdragen

Diagnostische Probe: De introductie van een gecontroleerde contrastieve context-probe die een ~40-punts gat in contextuele gronding blootlegt tussen propriëtaire en open-source modellen, wat aantoont dat standaard benchmarks mogelijk geen context-bewustzijnsfouten vastleggen.
CONTEXTRL Framework: Een lichtgewicht, modaliteits-agnostische RL post-training methode die een context-selectie signaal toevoegt aan outcome-gebaseerde RL. Het vereist geen architecturale wijzigingen of grootschalige menselijke annotatie.
Data Constructie Pipelines: Nieuwe pipelines voor het genereren van hoogwaardige contrastieve data in zowel agentische (traject-filtering) als multimodale (generatieve bewerking en retrieval) domeinen, met rigoureuze artefact-verwerping.
Ontkoppeling van Data vs. Doelstelling: Een kritische ablatie-studie die aantoont dat de prestatiewinsten voortkomen uit de trainingsdoelstelling (context selectie) in plaats van de loutere aanwezigheid van contrastieve data. Standaard data-augmentatie baselines (SFT of outcome-gebaseerde RL op dezelfde data) slagen er niet in de prestaties te verbeteren of veroorzaken catastrofale policy-instorting.

Experimentele Resultaten

De methode is geëvalueerd over 17 benchmarks in twee domeinen:

Long-Horizon Agentic Coding

Benchmarks: SWE-Bench Verified/Lite (In-Distribution), LiveCodeBench v6, LongBench v2, en Needle-in-a-Haystack (Out-of-Distribution).
Resultaten: CONTEXTRL behaalde gemiddelde winsten van +2,2% ten opzichte van standaard GRPO over vijf benchmarks. Opvallend genoeg toonde het sterke generalisatie naar OOD-taken waar standaard RL vaak achteruitging. Bijvoorbeeld, op de Needle-in-a-Haystack taak presteerde standaard GRPO slechter dan het basismodel, terwijl CONTEXTRL er juist op verbeterde.
Schaal-efficiëntie: Wanneer getraind op Klear-AgentForge-8B, presteerde CONTEXTRL beter dan de veel grotere Qwen3-32B en de code-gespecialiseerde Qwen3-Coder-30B op SWE-Bench.

Multimodaal Redeneren

Benchmarks: 12 diverse benchmarks die wiskundig redeneren, algemeen begrip, fijnmazige perceptie, wetenschappelijk redeneren en real-world scène-begrip dekken.
Resultaten: CONTEXTRL behaalde gemiddelde winsten van +1,8% over standaard GRPO over alle 12 benchmarks op zowel Qwen2.5-VL-7B als Qwen3-VL-8B. De verbeteringen waren consistent over alle subcategorieën (perceptie-zwaar, redenering-zwaar en gemengd), wat aangeeft dat verbeterde visuele gronding doorwerkt naar hogere niveaus van redeneren.

Ablatie: Data-augmentatie vs. Doelstelling

De auteurs vergeleken CONTEXTRL met twee baselines met gebruik van dezelfde contrastieve data:

DA-SFT (Supervised Fine-Tuning): Het leren selecteren van de context via SFT veroorzaakte catastrofale policy-instorting in de agentische setting (resolve rates daalden naar 0% of <2%) en verwaarloosbare winsten in de multimodale setting. Dit suggereert dat SFT op korte selectietaken de long-horizon interactie-policy verstoort.
DA-RL (Outcome-gebaseerde RL): Het behandelen van context-selectie als een binaire belonings-taak leverde weinig tot geen verbetering op tegen de standaard RL baseline.
Conclusie: De winsten zijn specifiek voor de context-selectie doelstelling die geïntegreerd is binnen de on-policy GRPO loop, die dichte, begrensde gradiënten biedt zonder de primaire taak-policy te verstoren.

Betekenis en Claims

Het artikel claimt dat fouten in long-horizon redeneren en visueel begrip vaak voortkomen uit een gemeenschappelijke beperking: modellen gronden hun voorspellingen niet betrouwbaar in de beschikbare bewijslast. CONTEXTRL adresseert dit door "welk antwoord te produceren" te ontkoppelen van "welke context dit ondersteunt".

De auteurs positioneren context-selectie als een eenvoudige, lichtgewicht en modaliteits-agnostische mechanisme om contextuele gronding te verbeteren. Het werk benadrukt dat de methode van het integreren van het signaal de sleutelfactor is; de contrastieve data alleen is onvoldoende en kan zelfs nadelig zijn als ze met standaard augmentatietechnieken wordt gebruikt. De resultaten suggereren dat een enkele hulpvormige doelstelling de betrouwbaarheid van agentische en multimodale systemen aanzienlijk kan verbeteren zonder dat daar massale schaal of architecturale herziening voor nodig is.