💬 NLP

Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL

Dit artikel introduceert ORBIT, een multi-task meta-reinforcement learning-framework dat de in-context online leervermogens van grote taalmodellen aanzienlijk verbetert, waardoor kleinere open-source modellen de prestaties van geavanceerde propriëtaire modellen zoals GPT-5.2 op ongeziene interactieve omgevingen kunnen evenaren.

Oorspronkelijke auteurs: Xiaofeng Lin, Sirou Zhu, Yilei Chen, Mingyu Chen, Hejian Sang, Ioannis Paschalidis, Zhipeng Wang, Aldo Pacchiano, Xuezhou Zhang

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaofeng Lin, Sirou Zhu, Yilei Chen, Mingyu Chen, Hejian Sang, Ioannis Paschalidis, Zhipeng Wang, Aldo Pacchiano, Xuezhou Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Amnesische" Genie

Stel je voor dat je een briljante student hebt die elk boek in de bibliotheek heeft gelezen. Ze zijn een genie in het beantwoorden van vragen op basis van wat ze al hebben gelezen. Echter, als je ze in een compleet nieuw computerspel zet of in een doolhof dat ze nog nooit hebben gezien, hebben ze moeite.

Als ze een fout maken in de eerste ronde, "leren" ze er niet echt iets van voor de volgende ronde. Ze behandelen elke nieuwe poging alsof het hun allereerste keer is, waarbij ze de lessen van de vorige pogingen vergeten. Dit is de huidige staat van veel Large Language Models (LLMs). Ze zijn geweldig in statische taken (zoals het schrijven van een essay), maar slecht in online leren—het ontdekken van dingen terwijl ze bezig zijn door te interageren met de wereld, fouten te maken en hun strategie in realtime aan te passen.

De Oplossing: ORBIT (De "Oefening Begint Meester" Coach)

De auteurs hebben een nieuwe trainingsmethode ontwikkeld genaamd ORBIT. Zie ORBIT niet als een leraar die de student de antwoorden geeft, maar als een coach die de student dwingt om hetzelfde spel keer op keer te spelen, maar met een twist: De student mag een schriftje bijhouden van hun vorige pogingen.

In deze training:

De Opzet: De AI speelt een spel (zoals een doolhof of een puzzel) meerdere keren.
De Regel: Na de eerste mislukte poging krijgt de AI geen "reset" waarbij alles wordt vergeten. In plaats daarvan ziet de AI de volledige geschiedenis van de eerste poging (waar het vastliep, wat het probeerde) geschreven in zijn "context window" (zijn kortetermijngeheugen).
Het Doel: De AI wordt niet alleen beloond voor het winnen in de eerste keer. Het wordt beloond voor het leren hoe het moet leren. Het krijgt punten voor het gebruik van het schriftje om een betere strategie te bedenken voor de tweede en derde poging.

De Analogie: Leren Spelen als "Mastermind"

Stel je een spel voor genaamd Mastermind, waarbij je een geheime code van gekleurde pennetjes moet raden.

Zonder ORBIT: Je raadt een code. Het is fout. Je probeert het opnieuw, maar je raadt exact dezelfde code omdat je niet echt hebt verwerkt waarom de eerste poging mislukte. Je zit vast in een lus.
Met ORBIT: Je raadt een code. Het is fout. Voordat je de volgende gok doet, kijk je in je "schriftje" (de geschiedenis van het spel). Je zegt tegen jezelf: "Oké, in mijn eerste poging zette ik Rood op de eerste plek en dat was fout. In mijn tweede poging probeerde ik Blauw en dat was ook fout. Dus ik weet dat de eerste pen niet Rood of Blauw is. Ik moet Groen proberen."

ORBIT traint de AI om precies dit soort reflectie automatisch te doen, zonder dat een mens hoeft te zeggen: "denk na over je fouten."

Hoe Ze Het Testten

De onderzoekers namen een relatief klein, open-source AI-model (genaamd Qwen3-14B) en trainden dit met de ORBIT-methode op een paar eenvoudige spellen (zoals Minesweeper en Blackjack).

Daarna lieten ze het los op volledig nieuwe spellen die het nog nooit had gezien (zoals een complex doolhof en Mastermind).

Het Resultaat: De getrainde AI gokte niet gewoon willekeurig. In de eerste poging kan het falen. Maar in de tweede en derde poging gebruikte het de geschiedenis van zijn fouten om het doolhof te navigeren of de code te kraken veel beter.
De Vergelijking: Het presteerde zo goed dat het de capaciteiten evenaarde van een enorme, top-tier commerciële AI (GPT-5.2) en versloeg standaard trainingsmethoden die meestal alleen de AI leren één specifiek probleem op te lossen zonder te leren van eerdere fouten.

De "Scaling" Verrassing

De onderzoekers ontdekten ook iets interessants over de grootte. Ze testten kleinere en grotere versies van de AI.

Kleine AI: Goed in het direct oplossen van de puzzel.
Grote AI: Verrassend genoeg was de grotere AI bereid om de eerste poging te "verspillen" om informatie te verzamelen (exploratie). Het zou een paar dingen proberen om te zien wat er gebeurt, dit opschrijven, en die kennis vervolgens gebruiken om de puzzel in de tweede en derde poging te kraken.
De Les: Grotere modellen die op deze manier getraind worden, worden zelfs nog beter in deze "leren-terwijl-je-gaat"-strategie.

Wat Dit Betekent (Strikt Gebaseerd op het Paper)

Het paper beweert dat:

Training werkt: Je kunt een AI leren om te leren van zijn eigen interacties zonder het brein (de gewichten) te veranderen tijdens de eigenlijke taak. Het leert volledig door zijn geheugen van eerdere pogingen.
Het is algemeen: Deze vaardigheid wordt overgedragen naar nieuwe, onbekende omgevingen. De AI heeft niet alleen het doolhof uit het hoofd geleerd; het heeft de vaardigheid geleerd om te verkennen en zich aan te passen.
Eenvoud wint: Ze hadden geen complexe externe geheugenbanken of door mensen geschreven prompts nodig om de AI te vertellen dat hij moet "reflecteren". De trainingsmethode zelf was voldoende om de AI er natuurlijk voor te laten zorgen zijn eerdere fouten samen te vatten en betere zetten te plannen.

Kortom, ORBIT verandert een statische, "boekgeleerde" AI in een "straat-slimme" agent die nieuwe regels en omgevingen kan ontdekken door middel van trial-and-error en door te onthouden wat er eerder is gebeurd.

Technische Samenvatting: Schalen van de In-Context Online Leercapaciteit van LLM's via Cross-Episode Meta-RL

Probleemstelling

Hoewel Large Language Models (LLM's) uitblinken in statische voorspelling en instructie-opvolging wanneer alle taakrelevante informatie vooraf wordt verstrekt, hebben ze moeite met online besluitvormingstaken. In real-world scenario's opereren agenten vaak in gedeeltelijk observeerbare omgevingen waar cruciale informatie moet worden verkregen door interactie, feedback vertraagd is, en effectief gedrag vereist een balans tussen informatieverzameling (exploratie) en exploitatie over tijd.

Bestaande LLM's vertonen doorgaans een "statisch na levering"-eigenschap: ze verbeteren zelden op een taak door voortgezette interactie zonder gewicht-updates. Hoewel In-Context Learning (ICL) adaptatie mogelijk maakt via het contextvenster, falen vooraanstaande modellen er vaak in om betrouwbaar gebruik te maken van interactiegeschiedenis om effectieve online besluitvorming uit te voeren in sequentiële, gedeeltelijk observeerbare settings. Huidige benaderingen vertrouwen vaak op statische input-output voorspelling of vereisen uitgebreide post-training op specifieke domeinen, waarbij ze er niet in slagen te generaliseren naar ongeziene taken waar de agent een beslissingsstrategie moet leren van een sequentiële ervaring.

Methodologie: ORBIT

De auteurs stellen ORBIT voor (Online Reinforcement-Based In-Context Training), een multi-task, multi-episode meta-reinforcement learning (meta-RL) framework ontworpen om LLM's te trainen om te leren van interactie binnen het contextvenster zonder de modelparameters aan de hand van inference te updaten.

Kernframework

Multi-Episode Interactie Protocol: De agent interageert met een taak (gemodelleerd als een finite-horizon episodische MDP) over meerdere episodes ( $T$ ). Terwijl de omgeving bij de start van elke episode reset naar een nieuwe initiële staat, behoudt de agent het volledige cross-episode transcript (geschiedenis van staten, acties en beloningen van alle voorgaande pogingen) in zijn contextvenster.
Meta-RL Doelstelling: Het model wordt meta-getraind over een diverse distributie van besluitvormingsomgevingen. Het doel is niet enkel om een enkele instantie op te lossen, maar om te leren leren binnen de context. De agent wordt beloond voor het maximaliseren van de lange-termijn cumulatieve beloning over episodes, wat de agent dwingt om vroege interacties te gebruiken om taakrelevante informatie te verzamelen (onzekerheid verminderen) en latere interacties om die informatie te exploiteren.
Beloningsontwerp: Om reward hacking te voorkomen en afstemming met taakvoltooiing te garanderen, gebruikt het framework een uniforme binaire voltooiingsbeloning. De beloning wordt op trajectniveau gedefinieerd op basis van het aantal succesvolle taakvoltooiingen binnen het interactiebudget, waarbij tussenliggende procesbeloningen worden genegeerd. Dit zorgt voor gebalanceerde gradiëntbijdragen over heterogene taken.
Policy Optimalisatie: De meta-policy wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).
- GRPO opereert direct op traject-niveau returns, waardoor expliciete waarde-functie schatting wordt vermeden.
- Het berekent een relatief voordeel door beloningen te normaliseren binnen een groep gesamplede trajecten ( $K$ trajecten per taak).
- Deze op resultaten gerichte benadering is gekozen omdat het beloningssignaal schaars is en afgestemd is op taakvoltooiing, wat het model aanmoedigt om diverse redeneerpaden te verkennen en te herstellen van tussenliggende fouten op basis van uiteindelijke uitkomsten, in plaats van beperkt te worden door lokale stap-wijze signalen.

Experimentele Opstelling

Base Modellen: Qwen3-serie (4B, 8B, 14B).
Trainingsomgevingen: Vijf gedeeltelijk observeerbare taken (Steen-Papier-Schaar, Minesweeper, Hangman, Wordle, Blackjack).
Testomgevingen: Twee volledig ongeziene taken (Maze, Mastermind) om generalisatie te evalueren.
Restricties: Experimenten zijn beperkt tot 3 episodes per taak en een 32k-token contextvenster vanwege de beperkingen van het basemodel.

Belangrijkste Resultaten

1. Emergentie van Echte In-Context Online Learning

ORBIT-getrainde modellen vertonen substantiële verbeteringen in in-context online learning op ongeziene omgevingen.

Prestaties: Een relatief klein open-source model (Qwen3-14B) evenaart de prestaties van GPT-5.2 en presteert aanzienlijk beter dan standaard RL fine-tuning baselines.
Episode-wijze Verbetering: In tegenstelling tot het basemodel of standaard RL-baselines (die vaak verzadigen of degraderen na de eerste episode), tonen ORBIT-modellen een monotone verbetering over episodes. Bijvoorbeeld, op de Maze-taak neemt het succespercentage consistent toe van Episode 1 naar Episode 3.
Vergelijking: Op de Mastermind-taak (Episode 3) behaalde ORBIT een succespercentage van 59% (+0.32 over de basis), terwijl de standaard RL-baseline slechts 21% behaalde (-0.06 over de basis).

2. Adaptieve Exploratiestrategieën

Kwalitatieve en kwantitatieve analyse bevestigt dat ORBIT leert om dynamisch te exploreren op basis van geschiedenis:

Kwalitatief: In de Maze-taak reflecteert de agent expliciet op mislukkingen uit voorgaande episodes (bijv. "In Episode 1 ging ik drie keer omhoog... kwam vast te zitten") en kiest bewust andere acties in opeenvolgende episodes om nieuwe paden te verkennen.
Kwantitatief: ORBIT verkent aanzienlijk meer nieuwe staten in latere episodes geconditioneerd op eerdere mislukkingen vergeleken met baselines. Bijvoorbeeld, in Episode 3 (geconditioneerd op falen in Episode 1 en 2), verkende ORBIT 1.48 nieuwe staten, vergeleken met 0.94 voor het basemodel en 1.27 voor de RL-baseline. Dit geeft aan dat het model leert om "iets anders te proberen" in plaats van door lokale keuzes te cycleren.

3. Scaling Laws

Scaling-experimenten laten consistente winsten zien met modelgrootte:

De overgang van Qwen3-4B naar 8B naar 14B levert progressief betere prestaties op, met name in latere episodes (Episode 3 vertoont de grootste winsten).
Dit suggereert dat grotere modellen vroege interacties meer toewijden aan informatieverzameling (exploratie) en beter profiteren van geaccumuleerd cross-episode bewijs in latere pogingen, wat wijst op aanzienlijke ruimte voor toekomstige vooruitgang.

Betekenis en Claims

Het paper claimt dat meta-reinforcement learning een veelbelovende route is naar het bouwen van algemene online besluitvormingsagenten die effectief kunnen leren tijdens inference tijd.

Isolatie van Mechanisme: Door het framework bewust eenvoudig te houden — door het vermijden van externe geheugen, retrieval-augmented generation of complexe prompt engineering — isoleren de auteurs het effect van multi-episode meta-RL. Ze demonstreren dat de capaciteit om te leren van interactie in context kan emergeren puur door het optimaliseren van de meta-RL doelstelling.
Transfereerbaarheid: Dit werk is de eerste die substantiële en transfereerbare verbeteringen in in-context reinforcement learning capaciteit aantoont over diverse, ongeziene taken, waarbij verder wordt gekeken dan omgevingen die identiek zijn aan die tijdens de training.
Haalbaarheid: De resultaten bieden sterk bewijs dat "leren om te leren" binnen het contextvenster een levensvatbare strategie is om de "statisch na levering"-beperking van huidige LLM's te overwinnen, waardoor agenten in staat zijn om te herstellen van fouten en strategieën te verfijnen naarmate ze ervaring opdoen zonder gewicht-updates.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het huidige framework wordt beperkt door de contextlengte (32k tokens) en het aantal trainingsomgevingen. Zij suggereren dat het uitbreiden van de training naar langere horizonten met grotere-context modellen en het vergroten van de diversiteit van trainingsomgevingen natuurlijke vervolgstappen zijn.