RAMP: Hybrid DRL for Online Learning of Numeric Action Models

Het paper introduceert RAMP, een hybride Deep Reinforcement Learning-strategie die online numerieke actie-modellen leert door een positieve feedbacklus tussen een DRL-beleid en een planner te creëren, wat resulteert in een significant betere prestatie dan standaard DRL-algoritmen zoals PPO.

De kern

Stel je voor dat je een robot wilt leren om een complexe taak te doen, zoals het bouwen van een huis of het redden van een schip, maar je hebt geen handleiding. Je weet niet welke knoppen je moet indrukken, wat de regels zijn, of wat er gebeurt als je een bepaalde actie uitvoert. Je moet het gewoon proberen, vallen, opstaan en eruit leren.

Dit is precies het probleem dat dit paper, getiteld RAMP, oplost. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

Het Probleem: De Robot zonder Kaart

In de wereld van kunstmatige intelligentie (AI) zijn er twee hoofdmanieren om problemen op te lossen:

1. De "Planner": Deze heeft een perfecte kaart (een model) van de wereld. Hij kan precies berekenen welke stappen hij moet zetten om bij het doel te komen. Maar als hij de kaart kwijt is, is hij nutteloos.
2. De "Leraar" (Deep Reinforcement Learning): Deze leert door te proberen en fouten te maken, net als een baby die leert lopen. Hij heeft geen kaart nodig, maar het duurt vaak eeuwen om iets te leren, en hij maakt veel onnodige fouten.

Het probleem is dat in de echte wereld (met cijfers, brandstof, gewichten, etc.) het vaak heel moeilijk is om die perfecte "kaart" van tevoren te maken.

De Oplossing: RAMP (De Drie-Hoekige Vriendschap)

De auteurs van het paper hebben een slimme strategie bedacht genaamd RAMP. Ze laten drie vrienden samenwerken in een positieve cyclus:

1. De Verkenner (De RL-agent): Dit is de robot die de wereld verkent. Hij probeert dingen uit, verzamelt data en leert van zijn ervaringen.
2. De Kaartenmaker (De AML-algoritme): Deze kijkt naar de data die de Verkenner heeft verzameld en probeert er een regelboekje (een model) van te maken. "Ah, als ik hier 10 liter brandstof heb en ik ga naar links, dan heb ik 8 liter over."
3. De Strategist (De Planner): Deze leest het regelboekje van de Kaartenmaker en zegt: "Oké, als dit de regels zijn, dan is de snelste route naar het doel deze..."

De Magische Cyclus:

• De Verkenner leert van de Strategist. Als de Strategist een goed plan heeft, volgt de Verkenner dat plan. Dat leert de Verkenner veel sneller dan zelf blindelings rondlopen.
• De Strategist leert van de Kaartenmaker. Hoe beter het regelboekje, hoe beter het plan.
• De Kaartenmaker leert van de Verkenner. Hoe meer de Verkenner rondloopt, hoe meer data er is om het regelboekje te verbeteren.

Het is alsof je een fietsleraar hebt die zelf ook op de fiets leert rijden. Als de leraar een betere route ziet, rijdt hij die. Maar als de leraar vastloopt, rijdt de leerling verder om nieuwe wegen te ontdekken, die de leraar dan weer in de kaart tekent.

De Uitvinding: De "Vertaler" (Numeric PDDLGym)

Een groot obstakel was dat de "Planner" en de "Leraar" in totaal verschillende talen spraken. De Planner sprak logische taal (PDDL), terwijl de Leraar (AI) visuele of numerieke signalen nodig had (zoals in computerspellen).

De auteurs hebben een slimme vertaler gebouwd genaamd Numeric PDDLGym.

• Vergelijking: Stel je voor dat de Planner een architect is die werkt met blauwdrukken, en de Leraar is een bouwvakker die alleen met bakstenen werkt. De vertaler neemt de blauwdrukken en zet ze om in een stapel bakstenen die de bouwvakker direct kan gebruiken. Hierdoor kunnen de twee systemen samenwerken zonder dat ze hun eigen taal hoeven te veranderen.

Wat Hadden Ze Ontdekt? (De Resultaten)

Ze hebben dit getest in verschillende scenario's, zoals het besturen van schepen, het beheren van magazijnen en zelfs een Minecraft-achtige wereld waar je spullen moet verzamelen.

• Succes: De combinatie (RAMP) won het ruimschoots van de "Leraar" alleen (PPO). De robot met RAMP loste veel meer problemen op.
• Snelheid: De plannen die RAMP bedacht, waren korter en efficiënter.
• Veiligheid: Een belangrijk punt is dat het systeem "veilig" leert. Het maakt geen gokjes die de robot in een muur laten rijden; het bouwt een model dat garandeert dat de plannen werken.

Conclusie

Kortom: RAMP is een slimme manier om een robot te leren werken in een complexe wereld zonder dat we de regels van tevoren hoeven te weten. Door de robot te laten samenwerken met een planner en een model-leerder, leren ze elkaar continu bij. Het is alsof je een team bouwt waar de verkenner, de kaartenmaker en de strateeg elkaar voortdurend helpen om sneller en slimmer te worden dan iemand die alleen werkt.

Dit is een grote stap voorwaarts voor AI die niet alleen in computerspellen speelt, maar ook in de echte wereld met echte cijfers en regels.

Technische samenvatting

Probleemstelling

Automatisch plannen vereist een nauwkeurig actie-model dat de precondities en effecten van elke actie specificeert. Het handmatig opstellen van deze modellen is echter uiterst moeilijk, vooral in numerieke planningsdomeinen waar zowel discrete als continue state-variabelen betrokken zijn. Bestaande methoden voor het leren van actie-modellen (Action Model Learning - AML) zijn voornamelijk offline: ze vereisen dat experts vooraf gedetailleerde uitvoeringstraces (trajecten) aanleveren.

In de praktijk zijn dergelijke expert-traces vaak niet beschikbaar. De uitdaging ligt in het online leren, waarbij een agent moet leren uit zijn eigen interacties met de omgeving. Deep Reinforcement Learning (DRL) algoritmen, zoals PPO (Proximal Policy Optimization), zijn ontworpen voor online leren, maar missen vaak de structurele voordelen van symbolisch plannen en worstelen met problemen die lange planning-horizonten vereisen. Er bestaat tot nu toe geen methode die online leren van numerieke actie-modellen combineert met DRL en plannen.

Methodologie: De RAMP-strategie

Het paper introduceert RAMP (Reinforcement learning, Action Model learning, and Planning), een hybride strategie die drie componenten integreert in een positieve feedbacklus:

1. Deep Reinforcement Learning (DRL): Een agent (gebaseerd op PPO) verkent de omgeving om data te verzamelen en een beleid (policy) te leren dat het doel bereikt.
2. Action Model Learning (AML): Het systeem gebruikt de verzamelde trajecten om een numeriek actie-model te leren. Het paper maakt gebruik van NSAM (Numeric Safe Action Model), een algoritme dat garant staat voor een "veilig" model: elk plan dat geldig is in het geleerde model, is ook uitvoerbaar in de echte omgeving.
3. Planner: Een numerieke planner (Metric-FF) gebruikt het geleerde model om hoogwaardige plannen te genereren.

De Feedbacklus:

• De DRL-agent verzamelt data om het actie-model te verfijnen.
• Het geleerde model wordt gebruikt door de planner om plannen te genereren.
• Deze plannen worden gebruikt om de DRL-agent te trainen (door de agent deze plannen te laten volgen), wat de sample-efficiency verhoogt en de leerstabiliteit verbetert.
• Als de planner faalt (bijv. omdat het model nog onvolledig is), valt de agent terug op de DRL-exploitatie/exploratie.

Technische Implementatie:

• Masking: Om problemen met PPO op te lossen (zoals het uitvoeren van ongeldige acties of grote afwijkingen tussen het geleerde beleid en de expert-acties uit een plan), wordt een masking-mechanisme toegepast. Ongeldige acties worden uitgesloten en acties die niet overeenkomen met het gegenereerde plan krijgen een lage prioriteit, waardoor de gradient-updates niet worden geneutraliseerd door het clipping-mechanisme van PPO.
• Numeric PDDLGym: Omdat standaard DRL-bibliotheken (zoals RLlib) geen directe ondersteuning bieden voor PDDL2.1 (Planning Domain Definition Language) met numerieke variabelen, hebben de auteurs een automatisch conversie-framework ontwikkeld. Dit framework zet PDDL-domeinen om naar Gym-omgevingen met vaste grootte observatie- en actie-ruimten door alle objecten, fluents en functies te "grounden" (instantiëren).

Belangrijkste Bijdragen

1. Eerste Online Methode voor Numerieke AML: RAMP is de eerste strategie die online leren van numerieke actie-modellen mogelijk maakt, zonder afhankelijk te zijn van expert-traces.
2. Hybride Architectuur: Het succesvol integreren van DRL, veilig model-leren (NSAM) en symbolisch plannen in een synergetische lus.
3. Numeric PDDLGym Framework: Een open-source tool die numerieke PDDL-problemen omzet naar standaard Gym-omgevingen, waardoor het toepassen van bestaande DRL-algoritmen op numerieke planningsproblemen mogelijk wordt.
4. Solvability en Kwaliteit: Het aantonen dat het combineren van plannen en leren superieur is aan puur DRL in complexe numerieke domeinen.

Resultaten

De auteurs evalueerden RAMP op drie standaard IPC-domeinen (Counters, Depot, Sailing) en een nieuw domein gebaseerd op Minecraft (Pogo Stick). De resultaten werden vergeleken met een sterke PPO-baseline.

• Oplosbaarheid (Solvability): RAMP presteert significant beter dan PPO. In het "Depot"-domein kon RAMP problemen oplossen waar PPO volledig faalde. RAMP bereikt sneller een hoge oplosbaarheid (bijna 100% in sommige gevallen) dankzij de planner die leidt tot geldige oplossingen zelfs wanneer het model nog niet perfect is.
• Plan Kwaliteit: RAMP vindt aanzienlijk kortere oplossingen (minder stappen) dan PPO. De planner leidt de agent naar efficiëntere routes.
• Kwaliteit van het Actie-Model:
  • Precisie: De precisie van de geleerde precondities is perfect (1.0) dankzij de veiligheidsgaranties van NSAM.
  • Recall: De recall varieert afhankelijk van de hoeveelheid verzamelde data. Hoewel het niet altijd 100% is (in tegenstelling tot offline leren met expert-data), is het voldoende om effectieve plannen te genereren.
  • Efficiëntie: In meer dan 85-93% van de gevallen (afhankelijk van het domein) gebruikt de agent succesvol de plannen gegenereerd door de planner in plaats van zelf te exploreren.

Significantie en Toekomstperspectief

Dit werk sluit een belangrijke kloof in het onderzoek naar automatisch plannen en reinforcement learning. Het bewijst dat het combineren van symbolische planning (voor structuur en veiligheid) met DRL (voor online adaptatie) superieure resultaten oplevert in numerieke domeinen.

De belangrijkste implicaties zijn:

• Agenten kunnen nu leren in complexe, numerieke omgevingen zonder dat er vooraf kennis of expert-traces nodig zijn.
• De "veiligheid" van het geleerde model zorgt ervoor dat plannen die door de planner worden gegenereerd, betrouwbaar zijn in de echte wereld.
• De Numeric PDDLGym tool maakt de weg vrij voor verdere DRL-onderzoek in numerieke planningsdomeinen.

Toekomstig werk richt zich op het verwerken van ruis in observaties en het werken in deels waarneembare omgevingen (POMDPs), wat nodig is voor de toepassing in de echte wereld.