🤖 machine learning

When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary

Dit artikel introduceert een white-box verborgen automaat-framework om rigoureus onderscheid te maken tussen beloningsmaximalisatie en werkelijke latente toestandsleer in reinforcement learning, waarbij wordt onthuld dat een hoge beloning geen garantie biedt voor taakbegrip en dat kloven in de toestandshervatting voorspelbaar zijn op basis van taakstructuur, optimizersterkte en de informatieve waarde van observaties.

Oorspronkelijke auteurs: Jim Allchin

Gepubliceerd 2026-07-15

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jim Allchin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om door een geheim doolhof te navigeren. De robot krijgt één enkele, kleine gouden ster aan het einde als hij de uitgang bereikt. Als hij tegen een muur loopt of een verkeerde afslag neemt, krijgt hij niets.

Nu, hier is de grote vraag: Als de robot die gouden ster krijgt, begrijpt hij dan echt de kaart van het doolhof? Of heeft hij gewoon een gelukkig kort pad uit het hoofd geleerd, zoals "draai altijd links bij het rode bordje", zonder ooit te beseffen dat er een verborgen deur achter zit?

Een lange tijd konden wetenschappers deze vraag niet beantwoorden. Ze konden zien dat de robot de ster kreeg, maar ze konden niet in het brein van de robot kijken om te weten of hij over de kaart nadacht of gewoon aan het gokken was.

Dit paper bouwt een speciaal "white-box" doolhof om dit mysterie op te lossen. De onderzoekers creëerden een digitale wereld gebaseerd op een verborgen machine (een zogenaamde DFA) die de ware route kent. Ze lieten de robot spelen, maar ze hielden ook een geheim spiekbriefje bij dat hen precies vertelde waar de robot zich op elk moment zou moeten bevinden. Hierdoor konden ze twee dingen apart meten:

Kreeg de robot de ster? (Beloningssucces)
Wist de robot eigenlijk waar hij was? (Leren van de latente staat)

De Grote Verrassing: De Ster Krijgen Betekent Niet Dat Je de Kaart Kent

De meest opwindende bevinding is dat deze twee dingen niet hetzelfde zijn. Een robot kan een hoge score halen (veel gouden sterren) terwijl hij absoluut geen idee heeft waar hij is in het doolhof. Het is als een student die een A haalt voor een toets door het antwoordmodel uit het hoofd te leren, maar de wiskunde niet begrijpt.

Het paper bewijst dat alleen omdat een agent "goed" is in het krijgen van beloningen, hij de taak niet noodzakelijkerwijs heeft geleerd. Hij kan gewoon op een gelukkige golf meeliften.

De Drie Knoppen die het Brein van de Robot Besturen

De onderzoekers ontdekten dat of de robot de kaart leert of alleen de kortere route, afhangt van drie specifieke "knoppen" die zij kunnen draaien:

1. De "Breinkracht"-knop (Optimizer Strength)
Als je een zwakke trainingsmethode gebruikt (zoals een simpele, onhandige leraar), krijgt de robot de ster maar leert hij de kaart niet. Het is alsof je een peuter probeert te leren een Rubiks kubus op te lossen met een stok; ze kunnen misschien geluk hebben, maar ze zullen het puzzelstukje niet begrijpen.
Echter, als je een sterkere, slimmere trainingsmethode gebruikt (zoals PPO), begint de robot de kaart daadwerkelijk te leren. Maar zelfs met de beste leraar is het niet perfect. De robot leert delen van de kaart, maar er blijft een gat bestaan. Het paper laat zien dat met een sterke leraar de "kaartkennis" van de robot slechts gedeeltelijk herstelt en aanzienlijk varieert afhankelijk van de random seed, met tekortkomingen van ongeveer +0,20 vergeleken met een theoretisch maximum van +0,48 of +0,60, afhankelijk van de specifieke puzzel.

2. De "Puzzelvorm"-knop (Task Structure)
Dit is de coolste ontdekking van het paper. Sommige doolhoven zijn zo gebouwd dat ze onmogelijk zijn voor de robot om te leren, ongeacht hoe slim de leraar is.
De onderzoekers ontdekten dat als een doolhof een specif으로 patroon volgt (mathematisch genoemd een permutatie-automaat), de robot tegen een muur oploopt. Het is als een doolhof waar elke draai die je maakt je alleen maar in cirkels laat draaien, zonder dat je ooit kunt onthouden waar je begon.

Het Waarschuwingssignaal: Voordat er zelfs maar een robot getraind wordt, kunnen de onderzoekers naar de blauwdruk van het doolhof kijken en zeggen: "Waarschuwing! Dit is een permutatie-doolhof. De robot zal waarschijnlijk blind zijn voor de kaart."
Het Bewijs: Ze testten dit op 153 gloednieuwe, willekeurige doolhoven. Wanneer het doolhof deze "permutatie"-vorm had, slaagde de robot er in 86% van de gevallen niet in om de kaart te leren (89 van de 103 gevallen). Het is een hoog-precieze waarschuwingslamp.
Wat het NIET is: Als het doolhof deze vorm niet heeft, kan de robot nog steeds falen om andere redenen, maar is het niet gegarandeerd dat hij blind is. De vorm is een waarschuwing, geen garantie van veiligheid voor andere vormen.

3. De "Aanwijzing"-knop (Observation Informativeness)
Soms faalt de robot omdat hij blind vliegt. Als de robot geen aanwijzingen kan zien over waar hij is, kan hij niet leren.
Het paper testte dit door de robot een kleine hint te geven (zoals een gekleurde stip die 10% van de tijd verschijnt).

Resultaat: Als de robot enige hint krijgt (zelfs een kleine, zoals een kans van 0,10), wordt de hulp taak plotseling volledig effectief en herstelt de robot de kaart.
De Catch: Als de robot geen hints krijgt (0% kans), is een hulp taak die probeert de volgende stap te raden nutteloos. Het is alsof je iemand probeert te leren autorijden door te vragen de kleur van de auto voor hem te raden wanneer hij de weg niet kan zien. De robot herstelt de staat in verhouding tot hoeveel de observaties daadwerkelijk onthullen.

Twee Soorten Falen: "Blind" versus "Onwetend"

Het paper introduceert een cruciaal onderscheid dat alleen deze speciale testomgeving kon onthullen:

De Perceptie-kloof (The Perception Gap): De robot zou de kaart kunnen leren (hij heeft de breinkracht), maar hij doet het niet. Het is als een student die een tekstboek heeft, maar weigert het te lezen. Dit gebeurt bij die lastige "permutatie"-dolhoven.
De Planning-kloof (The Planning Gap): De robot kent de kaart perfect, maar kan niet uitzoeken hoe hij deze moet gebruiken om de ster te krijgen. Het is als een student die de wiskunde kent, maar bevriest bij het proberen te schrijven van het antwoord.

De meeste mensen kijken alleen naar de gouden ster (de beloning). Ze denken: "Oh, de robot is gefaald, dus hij heeft niet geleerd." Maar dit paper laat zien dat de robot soms de kaart wel heeft geleerd, maar hem simpelweg niet kon gebruiken. Zonder deze speciale test zou je het verschil nooit weten.

Real-World Checks

De onderzoekers hebben deze doolhoven niet zomaar verzonnen. Ze keken naar echte computercodes (zoals checksums die worden gebruikt om te controleren of data correct is) en echte bedrijfsprocessen (zoals leningaanvragen).

Echte Code: Ze ontdekten dat code voor het controleren van getallen (zoals "is dit deelbaar door 7?") vaak die lastige "permutatie"-vorm heeft. Dit betekent dat echte AI-agents blind kunnen zijn voor deze taken, net als hun robot.
Echte Werkstromen: Ze keken naar 7 echte bedrijfsprocessen (zoals facturering of vergunningen). Geen van deze processen had de lastige vorm. Ze waren allemaal leerbaar. Dit suggereert dat hoewel het "blindheid"-probleem echt is, het misschien niet het meest voorkomende probleem is in alledaagse bedrijfslogs.

De Conclusie

Het paper concludeert dat we een AI niet simpelweg kunnen vertrouwen omdat hij goede scores haalt. We moeten controleren of hij de taak ook echt begrijpt.

Het Goede Nieuws: We hebben nu een hulpmiddel om dit te controleren. Als we een "permutatie"-vorm zien in een taak, weten we dat we voorzichtig moeten zijn.
De Oplossing: Als een AI blind is, kunnen we dit oplossen door de taak makkelijker zichtbaar te maken (aanwijzingen toevoegen) of door de taak te veranderen zodat de robot zijn voortgang kan "vastzetten" (een "hold"-knop toevoegen).
De Limiet: Het paper geeft toe dat hoewel ze dit patroon vonden in 153 nieuwe doolhoven en sommige echte codes, ze dit nog niet hebben getest op massieve, complexe AI-systemen. Ze zijn pas net begonnen met het bouwen van de tools om die grotere systemen te testen.

Kortom: Hoge beloningen bewijzen geen begrip. Soms is de AI gewoon gelukkig. Maar met de juiste instrumenten kunnen we eindelijk onder de motorkap kijken om te zien of hij daadwerkelijk aan het sturen is of alleen maar meelift.

Technisch overzicht: Wanneer leert beloning de toestand? Een verborgen-automaat-instrument en de grens tussen groep en taal

1. Probleemstelling

Reinforcement learning (RL)-agenten behalen vaak hoge beloningsscores zonder noodzakelijkerwijs de onderliggende latente toestand van hun taak te leren. In plaats daarvan kunnen ze "beloningsgecorreleerde shortcuts" of heuristieken aanleren die succesvol zijn onder specifieke trainingsdistributies, maar falen wanneer de taakstructuur verandert (bijv. langere horizonten, ruis of distributieverschuivingen). Dit fenomeen, bekend als doel-misgeneralisatie (goal misgeneralization), is moeilijk te diagnosticeren omdat de "ware toestand" van een taak doorgaans ongedefinieerd of onobserveerbaar is in standaard benchmarks.

De kernvraag die wordt behandeld is: Representeert een hoog-belonende agent de latente toestand van de taak, of exploiteert het slechts een shortcut? Om dit te beantwoorden, stelt het artikel een raamwerk voor waarbij de latente toestand een exact bekend, meetbaar object is, waardoor onderzoekers "beloningssucces" kunnen ontkoppelen van "toestand-leren".

2. Methodologie: Het Verborgen-Automaat-Instrument

De auteurs introduceren een white-box experimenteel instrument gebaseerd op Verborgen Deterministische Eindige Automaten (DFA's) onder Partiële Controle.

De Omgeving (PartialControlDFAEnv)

Taakdefinitie: De taak wordt gedefinieerd als een DFA $M = (Q, \Sigma, \delta, q_0, F)$ .
Partiële Controle: In een episode van lengte $T$ kiest de agent bij elke stap het volgende symbool met een waarschijnlijkheid $p_{control}$ ; anders samplet de omgeving het symbool uniform.
Observaties: De agent observeert de uitgezonden symboolstroom, of de stap controleerbaar was, en de resterende tijd. Cruciaal is dat de agent de verborgen toestand $q_t$ nooit observeert.
Beloning: Spaar (sparse) en terminaal. De agent ontvangt $r=1$ als de eindtoestand $q_T \in F$ (accepterende toestand) is, en $0$ anders.

De Oracle en Probes

Omdat de automaat bekend is bij de experimentator, zijn twee kritieke capaciteiten gratis beschikbaar:

Exacte Oracle: De optimaal haalbare return $V(q, r)$ wordt berekend via backward induction. Dit maakt het mogelijk om ruwe beloningen te normaliseren naar een interpreteerbare score (0.0 tot 1.0) die vergelijkbaar is over taken heen.
Exacte Latente Toestand Probe: De ware toestand $q_t$ op elk tijdstip is bekend. Onderzoekers kunnen een lineaire classifier fitten op de interne features van de agent om te meten hoe goed de agent de ware toestand representeert (de "probe gap").

Diagnostische Assen

Het instrument meet de koppeling tussen beloningssucces en toestand-leren langs drie controleerbare assen:

Optimizer Sterkte: Het vergelijken van zwakke optimizers (A2C) met sterkere (PPO+GAE).
Taakstructuur: Specifiek, of de automaat een groep-taal (permutatie) structuur vertoont, waarbij elk symbool een bijjectie induceert op de bereikbare toestanden (geen state merging).
Observatie Informativiteit: De mate waarin observaties de latente toestand onthullen, gecontroleerd via een instelbare parameter $\beta$ (state coloring).

3. Belangrijkste Bijdragen

Meetmethodologie: Een recept om elke FSM-benaderbare taak om te zetten in een verborgen partial-control DFA. Dit levert een exacte oracle op voor normalisatie, een exacte latente toestand voor lineaire probing, en een off-policy gesuperviseerde capaciteitsgrens.
Benchmark Instantie (PartialControlDFAEnv): Een taxonomie die diagnostische automaten (waar toestand-tracking noodzakelijk is) scheidt van triviale automaten.
Optimizer-afhankelijke Koppeling: Bewijs dat de link tussen beloning en toestand-leren wordt beheerst door de kracht van de optimizer. Zwakke optimizers (A2C) falen vaak in het installeren van latente toestand-representaties ondanks het behalen van beloning, terwijl sterkere optimizers (PPO) deze koppeling verbeteren, hoewel herstel vaak gedeeltelijk en met een hoge variantie is.
Onderscheid van Falende Modi: Het instrument onderscheidt tussen:
- Perceptie Gap: De agent kan de latente toestand niet herstellen (probe op kansniveau), zelfs als deze representeerbaar is.
- Planning Gap: De agent representeert de toestand (hoge probe score) maar faalt in het maximaliseren van de beloning.
Structureel Waarschuwingssignaal: Identificatie van de permutatie (groep-taal) structuur als een hoog-precieze, pre-training waarschuwingssignaal voor de perceptie gap. Dit is berekenbaar uit de transitiefunctie $\delta$ alleen, voorafgaand aan enige training.

4. Belangrijkste Resultaten

Optimizer Sterkte en Toestand Herstel

Onder zwakke on-policy RL (A2C) blijft de state probe op kansniveau voor alle architecturen, zelfs voor die (zoals GRU's) die bewezen de representatieve capaciteit hebben om de taak op te lossen.
Het overschakelen naar PPO+GAE verbetert zowel de beloning als het toestand-herstel aanzienlijk. Echter, herstel is vaak gedeeltelijk (bijv. probe gaps van ~0.20 versus een gesuperviseerde capaciteitsplafond van ~0.48–0.60) en vertoont een hoge seed-variantie.
Conclusie: Spaarse beloning alleen is onvoldoende om toestand-leren te garanderen; de kracht van de optimizer is de dominante drijfveer van de beloning-toestand koppeling.

De Perceptie Gap en Groep Talen

Permutatie Automaten: Taken waarbij de automaat een permutatie is (groep taal) vereisen dat de agent de toestand "accumuleert" zonder te vergeten (geen state merging). Deze taken zijn aanzienlijk moeilijker voor sparse-reward RL.
Voorspellende Kracht: Een voorspeller gebaseerd op de conjunctie van permutatie structuur en lage controle leverage (hoeveel de agent de toestand kan beïnvloeden) rangschikt de moeilijkheid in-sample perfect.
Held-out Validatie: Op een held-out set van 153 nieuwe willekeurige DFA's voorspelt de permutatie structuur de perceptie gap met een precisie van 0.86 (89 van de 103 permutatie automaten vertoonden de gap).
Real-World Mining: De auteurs hebben verborgen DFA's gemined uit echte logica (checksums) en proceslogs.
- Echte checksums (bijv. deelbaarheid door 7) vertoonden de permutatie structuur en de perceptie gap.
- Echte proceslogs (bijv. inkoop, klinische workflows) waren non-permutatie en leerbaar, wat suggereert dat de perceptie gap aanwezig is in echte logica maar niet het universele geval is voor workflows.

Auxiliaire Signalen en Observatie Informativiteit

Label-vrije Auxiliaries: Het voorspellen van het volgende uitgezonden symbool is triviaal als observaties geen toestandinformatie dragen ( $\beta=0$ ). Echter, zodra observaties enige toestandinformatie onthullen ( $\beta \ge 0.10$ ), herstelt een label-vrije auxiliary de latente toestand en redt dit de beloningsprestaties.
Geprivilegieerde Auxiliaries: Het verstrekken van de ware toestand als een auxiliary is bijna inert wanneer de basislearner (PPO) de toestand al herstelt, maar biedt significante winst wanneer de basislearner faalt (zwakke optimizers of hoge complexiteit).

Planning vs. Perceptie Gaps

De studie identificeert een cruciaal onderscheid dat onzichtbaar is voor beloning-alleen evaluatie:

Planning Gap: Een agent (bijv. op ends_with_1000) heeft een hoge state probe score maar een lage beloning, wat aangeeft dat hij de toestand kent maar niet in staat is er naar te handelen.
Perceptie Gap: Een agent (bijv. op mined_ean) heeft een lage beloning en een kans-niveau probe, wat aangeeft dat hij de toestand nooit heeft geleerd.
Gedragsmatige metrieken (beloningsgaps) zijn bijna niet gecorreleerd met de herstelbare toestand, wat bewijst dat een hoge beloning niet impliceert dat er sprake is van taakbegrip.

5. Betekenis en Claims

Het artikel claimt dat beloningssucces geen bewijs is van taakbegrip. Het vermogen van een agent (of een goedkope auxiliary) om de latente toestand te herstellen, is vooraf voorspelbaar op basis van de structuur van de automaat.

De "Perceptie Gap": Het artikel stelt vast dat voor permutatie (groep-taal) automaten, sparse-reward RL vaak faalt om de latente toestand-representatie te installeren, zelfs wanneer de architectuur daar wel toe in staat is. Dit is een "perceptie gap" gedreven door credit-assignment moeilijkheden in non-merging state spaces.
De "Planning Gap": Omgekeerd kunnen agenten de toestand leren maar er niet in slagen deze te gebruiken, een faalmodus die fundamenteel verschilt van perceptie.
Auditbaar Instrument: De primaire bijdrage is het instrument zelf. Het stelt onderzoekers in staat om elke agent-taak te auditeren door deze om te zetten naar een verborgen FSM, waarbij een exacte oracle en state probe worden geboden. Dit maakt een "white-box" audit mogelijk om te bepalen of een agent de taak heeft geleerd of slechts een shortcut gebruikt.
Causale Oplossingen: Het artikel demonstreert dat de perceptie gap causaal gesloten kan worden door de latente toestand observeerbaar te maken (toevoegen van state-revealing emissies) of latchable (toevoegen van controleerbare hold-acties), zonder een perfect a-priori voorspeller nodig te hebben.

De auteurs merken op dat hoewel de structurele voorspeller een hoge precisie heeft voor de perceptie gap, het geen garantie is voor veiligheid voor non-groep taken (die heterogeen zijn). Verder zijn de bevindingen momenteel beperkt tot kleine synthetische automaten en een voorlopige port naar LLM-agents, die de assen reproduceerden maar nog geen zuivere grootschalige perceptie gap lieten zien. Het instrument wordt vrijgegeven om verdere onderzoek te faciliteren naar de betrouwbaarheid van stateful agents.