Guided Policy Optimization under Partial Observability

Dit paper introduceert Guided Policy Optimization (GPO), een kader dat een gids en een leerling co-traint om effectief gebruik te maken van bevoorrechte informatie voor het oplossen van versterkingsleerproblemen in deels waarneembare omgevingen, waarbij het theoretisch optimale prestaties garandeert en empirisch superieur is aan bestaande methoden.

De kern

Gidsen in de Mist: Hoe een slimme leermeester een student helpt in een onzeker wereldje

Stel je voor dat je probeert een nieuwe stad te leren kennen, maar je hebt een heel slechte kaart. Je ziet alleen de straten direct om je heen, maar je weet niet waar de grote parken, de snelwegen of de gevaren liggen. Dit is wat een kunstmatige intelligentie (een "agent") doet in een deels waarneembare omgeving: ze moeten beslissingen nemen op basis van onvolledige informatie.

In de wereld van Reinforcement Learning (leren door te proberen en fouten te maken), is dit erg lastig. Vaak hebben we tijdens het trainen echter wel een superkracht: een simulator die ons alles laat zien. Het probleem is: hoe vertaal je die perfecte kennis naar de "blinde" agent die straks in de echte, rommelige wereld moet opereren?

De auteurs van dit paper (uit ICLR 2026) hebben een nieuwe methode bedacht genaamd GPO (Guided Policy Optimization). Laten we dit uitleggen met een paar leuke analogieën.

1. Het Probleem: De "Onmogelijk Goede" Leraar

Stel je een meesterkok (de Leraar) voor die een recept kent, maar die kok heeft een magische bril waardoor hij precies kan zien hoeveel zout er in de pan zit, hoe heet het vuur is en hoe het vlees van binnen is. Hij kookt het perfecte gerecht.

Nu heb je een leerling (de Student) die geen magische bril heeft. Hij ziet alleen de buitenkant van het vlees en ruikt de lucht.

• De oude aanpak: De meesterkok zegt: "Kijk, ik doe dit zo." De leerling probeert het na te doen.
• Het probleem: Omdat de kok weet waarom hij iets doet (door zijn magische bril), doet hij dingen die voor de leerling totaal onbegrijpelijk lijken. De leerling probeert het na te doen, maar faalt omdat hij de "magie" niet kan zien. Dit noemen de auteurs de "onmogelijk goede leraar". De leerling raakt in de war en leert niets.

2. De Oplossing: GPO (De Slimme Gids)

De auteurs zeggen: "Wacht even, we hoeven de leraar niet perfect te maken. We moeten hem aanpassen aan wat de leerling kan zien."

Ze introduceren GPO, wat werkt als een tandem-fiets met een slimme regeling:

1. De Gids (Guider): Dit is de leraar, maar hij heeft nog steeds de magische bril (de volledige informatie). Hij rijdt voorop en weet precies waar hij naartoe moet.
2. De Leerling (Learner): Dit is de student, die alleen naar de weg voor zijn neus kijkt (deels zichtbaar). Hij probeert de Gids te volgen.

Het geheim van GPO:
In oude methoden probeerde de Gids altijd de snelste, beste route te nemen, zelfs als de Leerling dat niet kon volgen. Bij GPO gebeurt er iets magisch: de Gids kijkt constant achterom.

• Als de Gids een stap maakt die de Leerling niet kan begrijpen (bijvoorbeeld: "Ik sla linksaf omdat ik een onzichtbare valkuil zie"), dan zegt de Leerling: "Ik kan dat niet!"
• De Gids zegt dan: "Oké, dan pas ik mijn route aan. Ik ga niet die perfecte, onzichtbare route, maar een route die wel begrijpelijk is voor jou, maar toch nog steeds goed is."

De Gids trekt zich dus terug (backtracking) om ervoor te zorgen dat hij altijd binnen het bereik van de Leerling blijft. Hij wordt een "mogelijk goede" leraar in plaats van een "onmogelijk goede" een.

3. Hoe werkt het in de praktijk?

Stel je een dansles voor in een donkere zaal met veel mist.

• De Gids heeft een zaklamp en ziet de hele vloer. Hij wil een complexe choreografie doen.
• De Leerling heeft geen zaklamp. Hij kan alleen de voeten van de Gids zien.

Als de Gids een sprong maakt die de Leerling niet kan zien aankomen, valt de Leerling.
Bij GPO doet de Gids het volgende:

1. Hij probeert de perfecte sprong.
2. Hij merkt dat de Leerling er niet bij is.
3. Hij past zijn sprong aan: hij maakt een iets kleinere, langzamere sprong die de Leerling wel kan zien en nabootsen.
4. Terwijl de Leerling dat doet, leert hij langzaam de basis van de dans.
5. Zodra de Leerling beter wordt, kan de Gids weer een stapje verder gaan, maar nooit te ver vooruit.

4. Waarom is dit zo goed?

De auteurs hebben dit getest op verschillende moeilijke taken:

• Robotica: Robots die moeten lopen met een trillende camera (ruis) of zonder snelheidsinformatie.
• Geheugenspellen: Taken waarbij je moet onthouden wat er 10 seconden geleden is gebeurd (zoals een kaartspel).

De resultaten:

• De oude methoden (waarbij de leraar te slim was) faalden vaak of deden het slecht.
• De GPO-methode slaagde erin om de leerling net zo goed te maken als een robot die direct met de perfecte informatie had geoefend, maar dan zonder die perfecte informatie te hoeven hebben tijdens het spelen.

Samenvatting in één zin

GPO is een slimme manier om een superknappe leraar (met alle informatie) te trainen om een beetje "dommer" te worden, zodat hij precies op het niveau van zijn leerling (met onvolledige informatie) blijft, waardoor de leerling sneller en beter leert zonder in de war te raken.

Het is alsof je een marathonloper traint: je laat de coach niet rennen met 20 km/uur (te snel voor de leerling), maar past het tempo van de coach aan zodat de leerling mee kan komen, terwijl de coach toch de juiste route weet.

Technische samenvatting

Titel: Guided Policy Optimization under Partial Observability (GPO)

Auteurs: Yueheng Li, Guangming Xie, Zongqing Lu (Peking University)
Publicatie: ICLR 2026

---

1. Het Probleem

Versterkingslering (RL) in gedeeltelijk waarneembare omgevingen (POMDP's) staat voor aanzienlijke uitdagingen door onzekerheid en beperkte informatie. Tijdens het trainen hebben agenten vaak toegang tot bevoorrechte informatie (privileged information), zoals volledige toestandsinformatie in simulaties, die niet beschikbaar is tijdens de uitvoering (in de echte wereld of tijdens de testfase).

Bestaande methoden om deze bevoorrechte informatie te benutten, zoals Imitatie-Leren (IL) of Teacher-Student Learning (TSL), hebben echter fundamentele tekortkomingen:

• De "Impossibly Good" Teacher: Een leraar die optimaal handelt op basis van volledige informatie, kan een beleid volgen dat voor de student (die slechts gedeeltelijke observaties heeft) onmogelijk te imiteren is. Dit leidt tot een "imitatiekloof" (imitation gap).
• Suboptimaliteit: Als de student probeert het gedrag van de leraar na te bootsen zonder rekening te houden met de eigen beperkingen, leert de student vaak een suboptimale strategie (bijvoorbeeld door willekeurig te kiezen in plaats van informatie te verzamelen).
• Inefficiëntie: Methoden die proberen de leraar en student te combineren, verliezen vaak de waarde van de bevoorrechte informatie of vereisen complexe overgangen naar puur RL wanneer imitatie faalt.

2. Methodologie: Guided Policy Optimization (GPO)

De auteurs introduceren Guided Policy Optimization (GPO), een raamwerk dat een Gids (Guider) en een Leraar (Learner) gelijktijdig traint. In tegenstelling tot traditionele TSL-methoden waarbij de leraar vooraf wordt getraind, worden beide entiteiten in een iteratief proces geoptimaliseerd om zeker te stellen dat het beleid van de gids binnen het "imitatiegebied" van de student blijft.

Kernprincipes:

1. Gelijktijdige Training: De gids heeft toegang tot bevoorrechte informatie (toestand $s$), terwijl de student alleen werkt met gedeeltelijke observaties ($o$).
2. Backtracking (Teruglopen): Dit is het cruciale mechanisme. Na elke update van de student, wordt het beleid van de gids "teruggezet" (backtracked) naar het beleid van de student. Dit voorkomt dat de gids te ver vooruitloopt en onbereikbaar wordt voor de student.
3. Iteratieve Stappen:
   • Data Collectie: Trajecten worden verzameld met het beleid van de gids.
   • Gids Training: De gids wordt bijgewerkt volgens een RL-doel (bijv. PPO) om de beloning te maximaliseren.
   • Student Training: De student wordt getraind om het gedrag van de gids na te bootsen (Imitatie), maar met een beperking.
   • Backtracking: Het beleid van de gids wordt aangepast zodat het dicht bij het huidige beleid van de student blijft, zodat de student de volgende iteratie nog steeds kan volgen.

Variants:
De auteurs presenteren twee implementaties:

• GPO-penalty: Gebruikt een KL-divergentie-strafterm in de verliesfunctie van de gids om te voorkomen dat deze te ver afwijkt van de student.
• GPO-clip: Gebruikt een "double-clip" mechanisme (geïnspireerd op PPO-clip) dat updates van de gids stopt als deze te ver weg van de student komen, zonder agressieve backtracking. Dit houdt de gids precies op de rand van het imitatiegebied.

Theoretische Garantie:
Het paper bewijst (Propositie 1) dat GPO theoretisch equivalent is aan een Policy Mirror Descent voor de student. Zelfs als de student niet direct met de omgeving interacteert, maar alleen via supervisie van de gids, convergeert het algoritme naar een optimaal beleid voor de POMDP, mits de gids binnen het imitatiegebied blijft.

3. Belangrijkste Bijdragen

• Nieuw Framework: GPO lost het probleem van de "impossibly good teacher" op door de leraar en student te co-trainen met een backtracking-mechanisme.
• Theoretische Optimaliteit: Het bewijs dat de student kan convergeren naar een optimaal beleid voor gedeeltelijke observatie, zelfs wanneer de gids toegang heeft tot volledige informatie.
• Variance Reductie: Door de complexe RL-gradiënten (hoge variantie onder gedeeltelijke observatie) over te laten aan de gids (met volledige info) en de student te trainen via supervisie, wordt het leerproces stabieler en efficiënter.
• Flexibiliteit: Het framework werkt zowel met pure supervisie als met een hybride aanpak waarbij de student ook RL-toepassingen krijgt als deze de gids niet kan volgen.

4. Experimentele Resultaten

De auteurs evalueren GPO op drie verschillende domeinen:

1. Didactische Taken (TigerDoor):

   • In klassieke POMDP-problemen zoals TigerDoor (waar de agent moet luisteren om de locatie van een tijger te bepalen) faalt standaard imitatie van een leraar volledig omdat de leraar nooit "luistert" (die actie is overbodig met volledige info).
   • GPO slaagt erin het optimale beleid te leren, terwijl methoden zoals PPO+BC (puur imitatie) vastlopen in suboptimale oplossingen.

2. Continue Controle (Brax Domain):

   • Taken zoals Ant, Humanoid en HalfCheetah, waarbij snelheidsinformatie wordt verwijderd en ruis wordt toegevoegd aan de observaties.
   • Resultaat: GPO-clip en GPO-penalty presteren aanzienlijk beter dan bestaande methoden (zoals ADVISOR, A2D, ELF en puur PPO).
   • Bestaande methoden met een vooraf getrainde leraar falen vaak bij hoge ruisniveaus omdat de leraar te goed wordt voor de student. GPO past zich dynamisch aan.

3. Geheugen-gebaseerde Taken (POPGym):

   • Taken waarbij de agent informatie uit het verleden moet onthouden (bijv. kaarten spellen, Battleship).
   • GPO toont consistente verbeteringen, wat aantoont dat het framework effectief is voor taken die geheugen vereisen. De gids kan de noodzakelijke informatie onthouden en de student leren deze patronen te herkennen via observaties.

Vergelijking: GPO overtreft consistent methoden die gebaseerd zijn op "pre-trained teachers" en methoden die proberen de leraar en student los van elkaar te trainen.

5. Betekenis en Impact

Dit paper biedt een robuuste oplossing voor een van de grootste knelpunten in RL: het benutten van simulatie-informatie voor real-world toepassingen zonder dat de student overweldigd wordt door een te complexe leraar.

• Praktische Toepassing: Het is zeer relevant voor robotica (sim-to-real transfer), waar simulaties volledige toestandsinformatie bieden, maar sensoren in de echte wereld ruis en onvolledigheid hebben.
• Efficiëntie: GPO elimineert de noodzaak om complexe reward-shaping of handmatige aanpassingen te doen om de kloof tussen leraar en student te overbruggen.
• Toekomstperspectief: De auteurs suggereren dat dit raamwerk kan worden uitgebreid naar multi-agent systemen, waar agenten tijdens training globale informatie hebben, maar tijdens uitvoering lokaal opereren.

Samenvattend introduceert GPO een elegante manier om "bevoorrechte informatie" te gebruiken zonder de "imitatiekloof" te creëren, wat leidt tot superieure prestaties in complexe, gedeeltelijk waarneembare omgevingen.