🤖 machine learning

Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Dit artikel toont aan dat in gedeeltelijk geobserveerd lineair-kwadratisch reinforcement learning het primaire obstakel voor optimaliteit niet de expressiviteit van de policy is, maar een bias in de waardeschatting van de critic veroorzaakt door onverklaarde staatvariatie, die precies kan worden gekarakteriseerd en gecorrigeerd door de vooruitziende horizon van de agent aan te passen.

Oorspronkelijke auteurs: Idil Gözel

Gepubliceerd 2026-08-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Idil Gözel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert te leren lopen. Het heeft een brein (een algoritme) dat beslist welke spieren hij moet aanspannen, maar het heeft slechts een piepkleine camera die zijn eigen voeten ziet, en niet de grond onder hen of de wind die tegen hem duwt. Dit is de wereld van Reinforcement Learning, waar machines leren door middel van vallen en opstaan om de beste score te behalen. Meestal, wanneer deze robots falen, gaan we ervan uit dat ze "blind" zijn op een manier die de taak onmogelijk maakt: we denken dat ze simpelweg niet genoeg kunnen zien om de juiste zet te bepalen. We noemen dit de "policy gap"—het idee dat het brein van de robot te simpel is om de perfecte oplossing vast te houden.

Maar er is een tweede, sluipendere reden voor falen. Zelfs als de robot de perfecte zet zou kunnen bedenken, kan de manier waarop hij leert hem bedriegen. De robot moet raden hoe goed een situatie is op basis van wat hij ziet. Als hij niet het hele plaatje kan zien, worden zijn gissingen bevooroordeeld. Hij kan denken dat een situatie gevaarlijk is terwijl deze eigenlijk veilig is, of andersom. Dit is de "learning gap". Het is niet dat de robot niet slim kan zijn; het is dat de leraar (het leeralgoritme) hem de verkeerde huiswerkopdrachten geeft. Deze paper stelt een simpele vraag: in een wereld waarin de robot gedeeltelijk blind is, ligt het probleem dan aan het feit dat hij te dom is om de wereld te begrijpen, of ligt het probleem aan het feit dat zijn leermethode kapot is?

De geblinddoekte chauffeur en de verkeerde kaart

Stel je een chauffeur voor die probeert een auto over een hobbelige weg te sturen. De chauffeur kan de weg direct vóór de auto zien (de "geobserveerde staat"), maar hij kan de kuilen niet zien die een paar seconden later komen (de "niet-geobserveerde staat"). De ophanging van de auto reageert op deze verborgen kuilen, waardoor de auto stuitert.

In dit verhaal is de chauffeur de Actor (het deel dat beslist om het stuur te draaien), en de Critic is de passagier die een scorekaart bijhoudt en vertelt hoe goed of slecht de rit is. De passagier ziet alleen de stuiterende auto, niet de verborgen kuilen.

De paper zet een zeer specifieke, oplosbare versie van dit probleem uiteen. De auto rijdt op een traject waar de verborgen kuilen de auto op een voorspelbare, wiskundige manier voortduwen. De chauffeur mag een eenvoudige regel gebruiken: "Als de auto omhoog stuitert, druk ik het stuur naar beneden." Deze regel is eenvoudig genoeg dat, als de chauffeur de volledige waarheid zou kennen, hij de perfecte stuurhoek zou kunnen berekenen. Sterker nog, de perfecte stuurhoek is slechts ongeveer 10,4% slechter dan de absoluut beste chauffeur die alles zou kunnen zien. Dus, de "policy gap" (de beperking van wat de chauffeur kan weergeven) is klein. De chauffeur zou bijna perfect kunnen zijn.

Maar hier komt de wending: Wanneer de chauffeur daadwerkelijk probeert te leren met de standaard "Actor-Critic"-methode, vindt hij die goede oplossing niet. In plaats daarvan botst hij op een verschrikkelijke oplossing die 35% slechter is dan het beste wat hij had kunnen doen.

Waarom de passagier liegt

Waarom faalt het leren? De paper laat zien dat het niet komt omdat de chauffeur dom is. Het komt omdat de passagier (de Critic) tegen hem liegt, maar niet met opzet.

De passagier ziet de auto stuiteren. Ze weten dat de auto stuiteren omdat van de verborgen kuilen, maar ze kunnen de kuilen niet zien. Ze zien alleen de auto. Voor hen ziet het stuiteren eruit als een wilde, onvoorspelbare storm. Omdat de passagier een scorekaart moet schrijven op basis van alleen de positie van de auto, moeten ze verklaren waarom de auto zo veel stuiteren.

Omdat ze niet kunnen zeggen: "Oh, het zijn de kuilen," geven ze de schuld aan de positie van de auto zelf. Ze besluiten: "Wauw, deze auto bevindt zich op een echt onstabiele plek! De waarde van hier zijn moet scherp dalen als we zelfs maar een klein beetje bewegen." Ze tekenen een kaart waarbij de "vallei" van veiligheid ongelooflijk diep en smal is.

De chauffeur, die deze kaart vertrouwt, denkt: "O nee! Ik moet hard en snel sturen om in deze kleine veilige plek te blijven!" Dus draait de chauffeur het stuur naar het maximum. Ze eindigen met een "gain" (stuurgevoeligheid) die 15 keer groter is dan wat eigenlijk nodig is. Ze corrigeren overmatig voor een storm die niet zo eng is als de kaart doet vermoeden.

De paper berekent dit exact. Op het punt waar de chauffeur had moeten stoppen met leren, zegt de kaart van de passagier dat de "kromming" (hoe steil de vallei is) 16,7 is. Maar de werkelijke kromming, als ze de hele wereld zouden kunnen zien, is slechts 1,11. De kaart is vijftien keer te steil! De chauffeur volgt deze fout tot aan een crash.

De magie van vooruitkijken

Dus, hoe fixen we een chauffeur die wordt bedrogen door een passagier met een slechte kaart? De paper vindt een zeer specifieke "knop" om aan te draaien.

In veel leeralgoritmen kijkt de passagier niet alleen naar de volgende stap; ze kijken ook een stukje verder in de toekomst om te zien hoe de score verandert. Dit wordt de bootstrap horizon genoemd (of de $\lambda$ -parameter).

Als de passagier slechts één stap vooruit kijkt (een korte horizon), krijgen ze de verkeerde, steile kaart, en crasht de chauffeur.
Als de passagier ver genoeg vooruit kijkt—specifiek, ver genoeg om de tijd te overbruggen die de verborgen kuilen nodig hebben om hun werk te doen—corrigeert de kaart zichzelf.

De paper laat zien dat als je deze "vooruitkijk"-tijd instelt om overeen te komen met het "geheugen" van de verborgen kuilen, de chauffeur op de perfecte plek stopt. Het is alsoer je de passagier vertelt: "Raad niet alleen waarom de auto nú stuiteren, maar wacht af en kijk of het stuiteren aanhoudt. Als dat zo is, is het de weg. Als het stopt, was het slechts een hobbel."

De verrassing van Deep Learning

De auteur deed niet alleen wiskunde op papier; ze testten dit met moderne Deep Reinforcement Learning (het soort AI dat videogames speelt). Ze gaven de AI een "geheugen" door de laatste 32 frames van de video te laten zien, in de hoop dat dit zou helpen om de verborgen kuilen te zien.

Hier is het verrassende resultaat: Het geven van geheugen aan de AI hielp niet.
Zelfs met een videogeschiedenis, als de "vooruitkijk"-knop verkeerd stond ingesteld, crashte de AI nog steeds. Het maakte niet uit of de AI een fancy brein of een geheugenbank had; als de leerregel (de kaart van de passagier) bevooroordeeld was, volgde de AI de bias.
Echter, wanneer ze de "vooruitkijk"-knop op de juiste instelling zetten, vond de AI de goede oplossing, zelfs zonder het geheugen.

De paper sloot ook een paar andere ideeën uit. Ze controleerden of de AI misschien meer moest "exploreren" (willekeurige zetten proberen) om het probleem op te lossen. Ze hielden de hoeveelheid willekeurige ruis constant en ontdekten dat dit er niet toe deed; het probleem lag nog steeds bij de vooruitkijk-instelling. Ze controleerden ook of de AI gewoon eerder moest stoppen met leren, maar de wiskunde toonde aan dat het een structureel probleem was, en geen timing-issue.

De kern van het verhaal

De belangrijkste conclusie is een beetje een schok voor de gebruikelijke manier waarop we over AI denken. We geven de partiële observeerbaarheid (blindheid) vaak de schuld van het feit dat het brein van de AI niet complex genoeg is om het verleden te onthouden. Deze paper zegt: Nee, het brein is prima. Het probleem is dat het leeralgoritme de ruis die het ziet interpreteert als een signaal, waardoor een vals gevoel van gevaar ontstaat dat de AI dwingt tot overreactie.

De oplossing is niet noodzakelijkerwijs om de AI een groter brein of een beter geheugen te geven. Het is om de vooruitkijk-horizon af te stemmen, zodat de AI lang genoeg wacht om onderscheid te maken tussen een echt probleem en een tijdelijke glitch. Als je die ene knop correct afstemt, kan de AI de juiste weg leren, zelfs als hij blind is. Als je dat niet doet, zal zelfs de slimste AI zichzelf van een klif rijden, ervan overtuigd dat hij de wereld redt.

Technische Samenvatting: Leren lijdt meer dan de beleidsklasse onder partiële observeerbaarheid

Probleemstelling
In de context van partiële observeerbare reinforcement learning (RL) falen agenten er vaak in om optimale beleidsregels (policies) te vinden. Conventionele wijsheid schrijft dit toe aan de beleidsklasse-kloof (policy-class gap): het onvermogen van het representatievermogen van de agent (bijv. geheugenloze beleidsregels) om een goed beleid te vatten omdat de volledige staat niet geobserveerd kan worden. Dit artikel daagt dat standpunt uit door aan te tonen dat er een grotere, afzonderlijke faalmodus bestaat: de leerkloof (learning gap). Dit is het verschil tussen het beste beleid dat de agent kan representeren en het beleid waartoe het leeralgoritme daadwerkelijk convergeert. De auteur voert aan dat zelfs wanneer een goed beleid binnen de representatieklasse van de agent bestaat en de waardefunctie-approximator theoretisch in staat is de ware waardefunctie exact uit te drukken, de leerdynamiek zelf een bias introduceert die de agent naar een suboptimaal evenwicht drijft.

Methodologie
De auteur analyseert een oplosbaar, partiëel observeerbaar lineair-kwadratisch Gaussisch (LQG) controlesysteem.

Omgeving: Een tweedimensionaal systeem waarbij de agent de coördinaat $v$ observeert en aanstuurt, terwijl een niet-geobserveerde coördinaat $z$ de $v$ aanstuurt. De niet-geobserveerde staat fungeert als een geheugenkern (memory kernel).
Leeralgoritme: Een standaard actor-critic paar.
- Critic: Gebruikt Temporal Difference (TD(0)) of Least Squares TD (LSTD) met kwadratische kenmerken $(1, v, v^2)$ . Cruciaal is dat de ware waardefuncties van dit probleem kwadratisch zijn, wat betekent dat de kenmerkklasse expressief genoeg is om de ware waardefunctie exact te representeren als de volledige staat geobserveerd zou worden. De beperking is uitsluitend dat de kenmerken worden berekend vanuit de onvolledige observatie $v$ .
- Actor: Volgt de policy gradient met de waardeschattingen van de critic als baseline.
Analysebenadering: De auteur leidt gesloten vorm-expressies af voor het vaste punt van de critic en de verwachte update-richting van de actor. Zij analyseren het evenwicht van de verwachte update (de "gemiddelde dynamiek") in plaats van uitsluitend te vertrouwen op stochastische convergentiebewijzen, en verifiëren deze voorspellingen numeriek en via diepe RL-experimenten.

Belangrijkste bijdragen en resultaten

Exact mechanisme van falen (De gealiaseerde Critic):
De kernbevinding is dat de leerkloof de beleidsklasse-kloof domineert. In de standaardinstelling kost het beste geheugenloze beleid slechts 10,4% meer dan de ideale full-state controller. Echter, de actor-critic leerder convergeert naar een beleid dat 35% slechter is dan dit beste geheugenloze beleid.
- Mechanisme: In het stationaire regime balanceert de niet-geobserveerde staat $z$ de besturingsinput gemiddeld, waardoor de geobserveerde coördinaat $v$ lijkt te fluctueren als een random walk. De critic, beperkt tot functies van enkel $v$ , kan deze persistentie niet toeschrijven aan de verborgen staat. Bijgevolg schrijft de critic deze onverklaarde persistentie onterecht toe aan de kromming (curvature) van de waardefunctie.
- Resultaat: De critic rapporteert een waardekromming (coëfficiënt van $v^2$ ) die ongeveer 15 keer groter is dan de ware conditionele kromming. De actor, die deze opgeblazen kromming als baseline gebruikt, wordt geprikkeld om de besturingswinst (control gain) oneindig te verhogen totdat de opgeblazen kromming wordt gebalanceerd door de kosten van de besturing, waardoor het een winst instelt die veel hoger is dan optimaal.
Gesloten wet voor het leer-evenwicht:
De auteur leidt een exacte formule af voor de winst $k_{eq}$ waarbij de verwachte update verdwijnt.
- De evenwichtswinst is omgekeerd evenredig met de bemonsteringsperiode $h$ en hangt af van de ratio tussen de exploratieruis en de zero-lag intensiteit van de geheugenkern ( $\sigma = s_e / \Theta K(0)$ ).
- Naarmate de exploratie verdwijnt, nadert de evenwichtswinst de stabiliteitsgrens van het bemonsterde controlesysteem.
- Deze locatie is afhankelijk van de distributie van de verstoring (specifiek de tweede-orde structuur van de gekwadrateerde verstoring), en niet alleen van de autocovariantie.
Gesloten wet voor de ingezette kosten (Deployed Cost):
Ondanks de onjuiste locatie van het evenwicht, is de kosten die bij dit vaste punt worden gemaakt opmerkelijk robuust.
- De ingezette kosten bij het leer-evenwicht convergeren naar $r C(0)$ (waarbij $r$ het gewicht van de besturingskosten is en $C(0)$ de zero-lag autocovariantie van de verstoring).
- Deze kostenwet is distributie-onafhankelijk: deze geldt voor elke stationaire, ergodische, gemiddelde-kwadratische-continue verstoring, ongeacht of de verstoring Gaussisch, heavy-tailed of discreet is (bijv. telegraph noise).
- De auteur demonstreert dat hoewel verschillende distributies van de verstoring de locatie van het evenwicht (de winst) verschuiven met een factor 3,4, de resulterende kosten bijna identiek blijven.
De Bootstrap Horizon als oplossing:
Het artikel identificeert een enkele ontwerpkeuze die de pathologie elimineert: de bootstrap horizon (beheerst door de $\lambda$ -parameter in $\lambda$ -returns).
- Standaard TD(0) ( $\lambda=0$ ) kijkt slechts één stap vooruit, wat leidt tot de gealiaseerde evenwichtstoestand.
- Naarmate $\lambda$ toeneemt, wordt de horizon uitgebreid. De auteur laat zien dat het evenwicht continu terug migreert naar het beleidsklasse-optimum wanneer de horizon overeenkomt met het geheugen van de omgeving.
- De transitie is scherp: het verhogen van $\lambda$ van 0,98 naar 0,99 vermindert de excessieve kosten van ~30% naar ~1,5%.
Validatie via Deep Reinforcement Learning:
Experimenten met Proximal Policy Optimization (PPO) met Multi-Layer Perceptrons (MLP) bevestigen de theoretische voorspellingen.
- Architectuur-onafhankelijkheid: Het toevoegen van geheugen via frame stacking (het observeren van de afgelopen 32 frames) helpt niet. Agents met gestapelde frames vertonen hetzelfde gealiaseerde gedrag als geheugenloze agents bij een lage $\lambda$ en dezelfde herstelwerking bij een hoge $\lambda$ . Dit suggereert dat het hebben van historie in de input onvoldoende is; de leeralgoritme moet die historie effectief benutten via de bootstrap horizon.
- Pre-geregistreerde tests: De auteur heeft experimenten vooraf geregistreerd om alternatieve verklaringen uit te sluiten, zoals de ineenstorting van de geleerde exploratieruis of een drempeleffect in de omvang van de exploratie. Deze hypothesen werden gefalsifieerd; de fout blijft bestaan zelfs met een vaste exploratieruis, en geen enkele exploratiedrempel voorkomt de verschuiving.

Betekenis en Claims
Het artikel beweert de eerste exacte, gesloten vorm karakterisering te bieden van hoe partiële observeerbaarheid het actor-critic leren beïnvloedt, waarbij de beperkingen van representatie worden gescheiden van de beperkingen van de leerregel.

Bescheiden reikwijdte: De auteur stelt expliciet dat zij niet het convergentiebewijs van stochastische iteraties naar het vaste punt leveren, maar enkel dat de verwachte update daar verdwijnt en dat stochastische runs het gemiddelde traject volgen (met een vertraging).
Specifieke beperkingen: De exacte locatie-wet is bewezen voor Gaussische verstoringen; de kostenwet is distributie-onafhankelijk. De auteur vermoedt dat de locatie-wet afhangt van de tweede-orde structuur van de gekwadrateerde verstoring voor niet-Gaussische gevallen, maar claimt dit niet algemeen bewezen te hebben.
Praktische implicatie: De belangrijkste les is dat in partiëel observeerbare settings, het simpelweg vergroten van de modelcapaciteit of het toevoegen van input-geheugen (zoals frame stacking) onvoldoende is om leerfouten te herstellen. In plaats daarvan moeten beoefenaars de bootstrap horizon ( $\lambda$ ) afstemmen om de geheugenperiode van de ongeobserveerde dynamica van de omgeving te overtreffen.

Het artikel concludeert dat de "leerkloof" een afzonderlijke en vaak grotere bron van suboptimaliteit is dan de "beleidsklasse-kloof", gedreven door het onvermogen van de critic om de persistentie van de ongeobserveerde staat te onderscheiden van de kromming van de waardefunctie.