🤖 machine learning

LatentGym: A Testbed For Cross-Task Experiential Learning With Controllable Latent Structure

Het artikel introduceert LatentGym, een controleerbare testomgeving met grondwaarheid latente structuren die de evaluatie van taakoverstijgend ervaringsleren in agentische systemen mogelijk maakt door exploratie te scheiden van exploitatie, waardoor het onderzoek naar hoe en waarom LLM's zich aanpassen over opeenvolgende taken heen wordt gefaciliteerd.

Oorspronkelijke auteurs: Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daksh Mittal, Tommaso Castellani, Thomson Yen, Naimeng Ye, Fangyu Wu, Minghui Chen, Tiffany Cai, Emmanouil Koukoumidis, William Zeng, Hongseok Namkoong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar enigszins rigide robot leert om een reeks spelletjes te spelen. In de echte wereld zijn wij mensen erg goed in het "verbinden van de puntjes". Als je een spel speelt waarbij het antwoord altijd één van drie getallen is, en je speelt dit tien keer, dan realiseer je je snel: "Hé, het antwoord is altijd een van deze drie!" Je stopt met willekeurig gokken en begint die drie getallen te raden. Je leert van ervaring.

Het artikel betoogt dat de meest geavanceerde AI-agenten van vandaag (zoals de krachtpatsers achter chatbots) hier verrassend slecht in zijn. Ze hebben de neiging om elk spel te behandelen alsof het gloednieuw is, waarbij ze alles wat ze in de vorige negen spelletjes hebben geleerd, weer vergeten.

Om dit te bewijzen en uit te zoeken hoe we dit kunnen oplossen, hebben de auteurs LatentGym gebouwd.

De Speeltuin: LatentGym

Zie LatentGym niet als één enkel spel, maar als een fabriek voor het creëren van gamesequenties.

De "Latent" (De verborgen regel): In een normaal spel zijn de regels vastgelegd. In LatentGym is er een geheime "verborgen regel" die geldt voor alle spellen in een sequentie. Bijvoorbeeld, in een getallenraadspel kan de verborgen regel zijn: "Het getal is altijd ofwel 137 of 793." De AI weet dit aan het begin niet; hij moet het ontdekken door te spelen.
De Bedieningsknoppen: De onderzoekers kunnen de moeilijkheid aanpassen als een mengpaneel:
- De Prompt: Hoeveel van de geheime regel vertellen ze de AI? (Niets? Een vage hint? De volledige waarheid?)
- De Feedback: Krijgt de AI na een spel alleen te horen "Je won/verloor", of wordt het werkelijke antwoord onthuld zodat de AI kan leren?
- De Horizon: Hoeveel spellen zitten er in de sequentie? (5? 10? 20?)

Deze opzet is cruciaal omdat, in de meeste AI-tests, als een AI faalt, je niet weet waarom. Zag de AI het patroon niet? Zag hij het patroon wel, maar wist hij niet hoe hij het moest gebruiken? In LatentGym kennen de onderzoekers de geheime regel perfect, dus kunnen ze precies aanwijzen waar het brein van de AI kortsluiting maakte.

Het Probleem: Hoe AI Faalt

Wanneer de onderzoekers topmodellen (zoals GPT-4o en Claude) op deze eenvoudige sequenties testten, ontdekten ze drie specifieke manieren waarop de AI niet kon leren:

Adaptatie-verwaarlozing (Het "Resetknop"-syndroom): De AI negeert het feit dat hij eerder heeft gespeeld. Zelfs als het antwoord altijd "Rood" is, behandelt hij het tweede spel alsof het de allereerste keer is, waarbij hij begint met een willekeurige gok in plaats van eerst "Rood" te controleren. Het is als een student die vergeet dat hij gisteren een wiskundetoets heeft gemaakt en vandaag probeert de formule opnieuw vanaf nul af te leiden.
Adaptatie-doorbraak (Het "Geknepen Ogen"-syndroom): De AI merkt een patroon op ("Wacht, de getallen worden kleiner!"), maar weet niet hoe hij die informatie moet gebruiken. Hij ziet de aanwijzing, maar blijft op de oude manier spelen. Het is als het zien van een "Gladde Vloer"-bordje, maar nog steeds normaal doorlopen in plaats van vertragen.
Adaptatie-miscalculatie (Het "Overdenkers"-syndroom): Wanneer de onderzoekers de AI expliciet de regel vertelden ("Het antwoord is altijd 137 of 793"), raakte de AI soms in de war en presteerde hij zelfs slechter dan wanneer hij niets te weten kwam. Hij probeerde zo hard de regel te volgen dat hij de eigenlijke spelmechanica negeerde. Het is als gezegd worden: "Denk niet aan een roze olifant" en vervolgens de hele tijd aan roze olifanten denken, terwijl je het spel vergeet te spelen.

De Oplossing: Cross-Task RL

De onderzoekers probeerden de AI beter te leren leren met een methode genaamd Cross-Task Reinforcement Learning (RL).

De Oude Manier (Single-Task RL): Je traint de AI op Spel 1, dan op Spel 2, en dan op Spel 3. Hij leert om Spel 1 te winnen, en Spel 2 te winnen, maar hij leert ze niet met elkaar te verbinden.
De Nieuwe Manier (Cross-Task RL): Je traint de AI op de volledige sequentie tegelijk. Je vertelt hem: "Je doel is niet alleen om Spel 1 te winnen; je doel is om Spel 10 te winnen door te leren van Spel 1 tot en met 9."

De Resultaten:
Toen ze deze nieuwe trainingsmethode gebruikten, leerde de AI daadwerkelijk te adapteren.

Hij begon vroeg in de sequentie al naar patronen te zoeken.
Hij begon die patronen te gebruiken om latere spellen sneller te winnen.
Cruciaal was dat dit leren generaliseerde. Zelfs toen ze de AI testten op een nieuwe reeks spellen met een nieuwe verborgen regel die hij nog nooit had gezien, was hij nog steeds beter in het ontdekken ervan dan de AI die op de oude manier was getraind. Hij leerde een "meta-vaardigheid" van het leren zelf.

Een Verrassende Wending: Minder Informatie is Beter

Een van de meest interessante bevindingen ging over feedback.

Rijke Feedback: De AI na elk spel het exacte antwoord vertellen.
Schaarse Feedback: Alleen tegen de AI zeggen "Je won" of "Je verloor".

Tegen intuïtie in presteerde de AI die getraind was met Schaarse Feedback (minder informatie) feitelijk beter in het generaliseren naar nieuwe situaties dan de AI die getraind was met Rijke Feedback. Het lijkt erop dat wanneer je de AI het antwoord te gemakkelijk geeft, hij lui wordt of te afhankelijk wordt van die specifieke hint. Wanneer hij het moet uitzoeken met slechts een "winst/verlies"-signaal, bouwt hij een robuustere strategie op die ook werkt wanneer de hints veranderen.

De Kernboodschap

Het artikel introduceert een nieuwe "gym" (LatentGym) om te testen of AI-agenten kunnen leren van een sequentie van gerelateerde taken. Ze ontdekten dat huidige top-AI's hier slecht in zijn en vaak falen in het leggen van de verbanden tussen taken. Echter, door ze te trainen op volledige sequenties van taken (Cross-Task RL) in plaats van geïsoleerde taken, kunnen ze een algemeen vermogen om te adapteren leren. Dit framework stelt onderzoekers in staat om precies te zien waarom een AI faalt en hoe dat te herstellen, wat ons dichter brengt bij agenten die werkelijk leren van ervaring.

Technische Samenvatting: LatentGym

Probleemstelling

Huidige trainings- en evaluatieframeworks voor Large Language Model (LLM) agenten missen het vermogen om cross-task ervaringsleren (cross-task experiential learning) rigoureus te bestuderen: het vermogen van een agent om te verbeteren over een sequentie van gerelateerde taken door het afleiden en benutten van gedeelde verborgen structuren (latents). Bestaande benchmarks behandelen taken vaak onafhankelijk of vertrouwen op impliciete structuren die niet controleerbaar zijn door de experimentator. Hierdoor is het moeilijk om te diagnosticeren waarom een agent er niet in slaagt aan te passen (bijv. of de agent faalde in het detecteren van de structuur, faalde in het afleiden ervan, of faalde in het handelen erop) of om methoden te vergelijken die gericht zijn op het aanwakkeren van dit vermogen.

Methodologie: LatentGym

De auteurs introduceren LatentGym, een controleerbaar testbed ontworpen om cross-task adaptatie te isoleren en te meten. Het framework is gebouwd op drie kerncomponenten:

1. Controleerbare Omgevingen

LatentGym organiseert omgevingen rond een expliciete, grondwaarheid latente variabele ( $z$ ) die de regelmaat beheerst die gedeeld wordt over een sequentie van $N$ taken. Het framework factoriseert elke omgeving langs vijf orthogonale assen:

Core Dynamics: Het besluitvormingsprobleem binnen de taak (bijv. getal raden, bandits, word ladders).
Latent: De grondwaarheid-structuur die gedeeld wordt over de sequentie (bijv. een vaste set doelgetallen, een roterende beste arm in bandits).
Prompt Type: Controleert de beschikbaarheid van informatie met betrekking tot de latente variabele (Geen informatie, Vage hint, of Volledige informatie).
Feedback Type: Bepaalt de informatie na de taak (Standaard: alleen succes/falen; Informatie: grondwaarheid van de uitkomst onthuld).
Horizon ( $N$ ): Het aantal taken in de sequentie.
De suite bevat zeven omgevingen gebouwd op tekstgebaseerde games (Number Guessing, Bandits, Secretary, Mastermind, Word Ladder, Wordle, Hangman), elk met meerdere latente configuraties.

2. Diagnostiek: Exploratie vs. Exploitatie

Om verder te gaan dan geaggregeerde beloningsmetrieken, introduceert LatentGym een contrafeitelijk agent-switching mechanisme. Op een switchpunt $K$ wordt de geschiedenis verzameld door een "explorer" agent doorgegeven aan een "exploiter" agent. Dit maakt de scheiding mogelijk van twee onderscheidende capaciteiten:

Exploratie-efficiëntie: Of de acties van de agent in vroege taken informatieve bewijslast verzamelen over de latente variabele.
Exploitatie-efficiëntie: Of de agent die bewijslast effectief gebruikt om de prestaties in latere taken te verbeteren.
Metrieken omvatten cumulatieve beloning ( $R$ ), cross-task winst ( $r_N - r_1$ ), en de beloning van de laatste taak ( $r_N$ ).

3. Geïntegreerde RL-Pipeline

Het framework integreert met SkyRL, ondersteuning biedend voor standaard algoritmen (SFT, PPO, GRPO). Het maakt Cross-Task RL mogelijk, waarbij het beleid (policy) end-to-end wordt gefinetuned op volledige sequenties van gerelateerde taken met behulp van een cumulatieve beloningsdoelstelling ( $\sum r_i$ ). Dit staat in contrast met Single-Task RL, dat optimaliseert voor geïsoleerde taken.

Belangrijkste Bijdragen en Resultaten

1. Faalmodi van Frontier Modellen

Evaluatie van frontier modellen (GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash) op LatentGym laat zien dat ze vaak falen om aan te passen, zelfs onder eenvoudige latente structuren. De auteurs identificeren drie terugkerende faalmodi:

Adaptation Neglect (Aanpassingsverwaarlozing): Modellen herstarten herhaaldelijk strategieën (bijv. binaire zoekopdrachten) voor elke taak, waarbij ze cross-task bewijslast negeren, zelfs wanneer hints worden gegeven.
Adaptation Breakdown (Aanpassingsbreuk): Modellen herkennen patronen maar slagen er niet in er betrouwbaar op te handelen, of handelen erop in een manier die de prestaties verslechtert (bijv. overfitten op een patroon).
Adaptation Miscalibration (Aanpassingsmiscalculatie): Het verstrekken van expliciete informatie over de latente variabele kan paradoxaal genoeg de prestaties verslechteren, omdat modellen mogelijk te sterk conditioneren op de verstrekte regel en operationele beperkingen schenden.

2. Cross-Task RL Induceert Generale Adaptatie

De auteurs demonstreren dat Cross-Task RL (finetunen op volledige sequenties) succesvol algemene cross-task adaptatiecapaciteiten aanwakkert die Single-Task RL niet kan bereiken.

Prestatiewinst: Cross-Task RL presteert significant beter dan zowel de basismodellen als Single-Task RL wat betreft cumulatieve beloning, cross-task winst en de beloning van de laatste taak in alle geteste omgevingen.
Generalisatie: De geleerde adaptatiestrategieën generaliseren naar held-out latents (OOD-1) en held-out omgevingen (OOD-2), wat suggereert dat er een algemene meta-strategie is verworven in plaats van omgeving-specifieke signalen.
Mechanisme: Analyse via agent-switching laat zien dat Cross-Task RL zowel de exploratie- als de exploitatie-efficiëntie verbetert, hoewel de dominante factor per omgeving verschilt (bijv. exploitatie domineert in Number Guessing, terwijl exploratie domineert in Hangman).

3. Impact van Ontwerpkeuzes tijdens de Training

De studie onderzoekt hoe trainingscondities de generalisatie beïnvloeden:

Feedbackdichtheid: Tegenintuïtief genoeg, het trainen met standaard (sparse) feedback transporteert robuuster naar deployment-condities dan trainen met informatierijke feedback. Modellen getraind met volledige informatie vertonen significante prestatiedalingen wanneer ze onder standaard feedback worden geëvalueerd.
Prompt Rijkdom: Trainen met vage hints ("some info") levert modellen op die uniformer overdraagbaar zijn tussen prompt-condities vergeleken met modellen getraind met volledige informatie, die een sterke in-distribution voordeel vertonen maar een slechte cross-prompt transfer laten zien.

Betekenis

Het artikel positioneert LatentGym als een fundamenteel instrument voor de principiële studie van cross-task ervaringsleren in LLM-agenten. Door een gedeelde, controleerbare laboratoriumomgeving met grondwaarheid-latents te bieden, maakt het mogelijk:

Diagnose: Het isoleren van specifieke faalmodi (neglect, breakdown, miscalibration) die geaggregeerde benchmarks verhullen.
Algoritmeontwikkeling: Testen of trainen op sequenties een algemene adaptatiestrategie induceert.
Ontwerpinsichten: Onthullen dat "minder meer is" in trainingsdata (sparse feedback) voor robuuste generalisatie.

De auteurs concluderen dat LatentGym een gecontroleerde basis biedt voor het ontwerpen van agenten die betrouwbaarder kunnen adapteren in sequentiële, gepersonaliseerde en interactieve settings, waarmee de huidige beperking wordt overstegen waarbij taken als geïsoleerde entiteiten worden behandeld.