SLAP: Shortcut Learning for Abstract Planning

Het artikel introduceert SLAP, een methode die bestaande TAMP-opties combineert met modelvrije versterkingstherapie om automatisch nieuwe, dynamische 'shortcut'-acties te ontdekken die de planlengte met meer dan 50% verkorten en de taaksuccespercentages aanzienlijk verbeteren ten opzichte van bestaande planning- en RL-baselines.

De kern

De Kern: Een Slimme Robot die "Slap" leert

Stel je voor dat je een robot hebt die een kamer moet opruimen. De robot is heel slim, maar hij werkt volgens een strenge handleiding die door mensen is geschreven.

Het oude probleem:
De handleiding zegt: "Pak het blokje op, zet het op de grond, pak het volgende op..."
Dit is als een robot die een stapel blokken moet verplaatsen. Volgens de handleiding moet hij elk blokje één voor één oppakken en verplaatsen. Dat duurt eeuwen. Het is veilig, maar inefficiënt.
Vergelijking: Het is alsof je een berg blokken moet verplaatsen, maar je mag ze alleen één voor één tillen. Je zou ze misschien kunnen weggooien of wegduwen, maar dat staat niet in de handleiding.

De oplossing: SLAP
De onderzoekers hebben een nieuwe methode bedacht die SLAP heet. SLAP staat voor Shortcut Learning for Abstract Planning (Kortsluit-Leren voor Abstract Plannen).

SLAP laat de robot niet alleen de handleiding volgen, maar ook leren om slimme trucs te bedenken die niet in de handleiding staan.

Hoe werkt het? (De 3 Stappen)

Stel je voor dat de robot een spoorboekje heeft (het abstracte plan) en een werkplaats (de echte wereld).

1. Het Spoorboekje (Plannen):
   De robot kijkt eerst in zijn spoorboekje. Hierin staan de officiële routes: "Ga van A naar B, dan naar C". Dit is gebaseerd op de bekende vaardigheden (pakken, neerzetten).
   Vergelijking: Dit is als een GPS die je de langste, veiligste route geeft omdat hij alleen de officiële wegen kent.

2. De Werkplaats (Leren):
   Nu komt het slimme deel. De robot zegt: "Wacht even, als ik van punt A naar B ga, kan ik misschien niet alleen lopen, maar ook slaan of wippen?"
   De robot gaat in een virtuele wereld (een simulator) oefenen. Hij probeert duizenden keren om een "korte weg" te vinden tussen twee punten.
   Vergelijking: Het is alsof je een kind bent dat een toren van blokken ziet. De volwassene zegt: "Haal ze één voor één weg." Maar het kind pakt de toren en klapt hem om met één handbeweging. Dat is sneller! SLAP leert de robot om die "klap" (slap) of "wip" (wiggle) te doen.

3. De Nieuwe Route (Samenwerken):
   Als de robot een nieuwe taak krijgt, kijkt hij weer in het spoorboekje. Maar nu mag hij de nieuwe trucs die hij heeft geleerd gebruiken.
   Vergelijking: Je GPS (het plan) zegt nog steeds "Ga via de hoofdweg", maar omdat je nu weet dat er een afkorting is (een pad door het park), neemt de robot die afkorting. Het resultaat? Je bent veel sneller op je bestemming.

Waarom is dit zo cool?

• Het combineert het beste van twee werelden:

  • Plannen is goed voor lange, complexe taken (hoe kom ik van A naar Z?).
  • Leren (RL) is goed voor snelle, fysieke trucs (hoe sla ik dit blokje weg?).
    SLAP laat de robot plannen als een ingenieur, maar leren als een creatief kind.

• Het werkt met weinig data:
  Normaal gesproken moet een robot miljoenen keren oefenen om iets te leren. Omdat SLAP gebruikmaakt van het bestaande plan, hoeft hij alleen maar te oefenen op de "korte stukjes" (de shortcuts).
  Vergelijking: In plaats van de hele weg van Amsterdam naar Berlijn te oefenen, oefent de robot alleen op het stukje waar hij een afrit kan nemen.

• Het is flexibel:
  Als de robot een nieuwe situatie tegenkomt (bijvoorbeeld meer blokken of zwaardere blokken), past hij zijn trucs aan.
  Vergelijking: Als je leert om een deur open te duwen, kun je dat ook doen op een deur die zwaarder is. Je hoeft niet opnieuw te leren hoe een deur werkt, je past alleen je kracht aan.

Wat zeggen de resultaten?

In de experimenten (met robots in virtuele werelden) bleek dat:

1. SLAP veel sneller is: De robot deed taken in de helft van de tijd die een standaard robot nodig had.
2. SLAP vaker slaagt: Waar andere robots vastliepen of faalden, vond SLAP een creatieve oplossing (zoals een toren blokken "wegslaan" in plaats van ze één voor één te verplaatsen).
3. SLAP generaliseert: Het kon taken doen met blokken die het nog nooit eerder had gezien, zolang de logica maar hetzelfde was.

Samenvatting in één zin

SLAP is een methode waarbij een robot zijn strikte instructieboekje gebruikt om een route te plannen, maar dan leert om op de korte stukjes creatieve "slap-trucs" te bedenken, waardoor hij veel sneller en slimmer is dan robots die alleen maar volgen of alleen maar proberen.

Kortom: SLAP leert robots niet alleen te plannen, maar ook om slim te improviseren.

Technische samenvatting

Titel: SLAP: Shortcut Learning for Abstract Planning

Auteurs: Y. Isabel Liu, Bowen Li, Benjamin Eysenbach, Tom Silver (Princeton University & Carnegie Mellon University)

---

1. Het Probleem

Langdurige besluitvorming (long-horizon decision-making) in robotica blijft een fundamentele uitdaging, vooral vanwege:

• Sparre beloningen (Sparse rewards): Beloningen worden vaak pas gegeven bij het voltooien van de hele taak.
• Complexe fysieke interacties: Robotarmen moeten omgaan met contactkrachten, wrijving en onvoorspelbaar gedrag van objecten.
• Continue ruimtes: Zowel de staat (state) als de acties zijn continu, wat het leren van beleidsregels moeilijk maakt.

Task and Motion Planning (TAMP) is een klassiek model-based framework dat hiërarchisch plant met abstracte acties (opties), zoals "pikken" en "plaatsen". Hoewel TAMP goed is in het plannen van lange trajecten, heeft het twee grote beperkingen:

1. Het is beperkt tot vooraf gedefinieerde vaardigheden die door menselijke ingenieurs zijn geprogrammeerd.
2. Het maakt sterke aannames over fysieke interacties (bijv. dat een robot alleen via de vingers contact maakt en dat elke vaardigheid slechts een klein, vooraf bepaald aantal objecten beïnvloedt). Dit leidt vaak tot inefficiënte, lange oplossingen (bijv. één voor één obstakels verplaatsen in plaats van een hele toren weg te slaan).

Aan de andere kant zijn Model-Free Reinforcement Learning (RL) methoden flexibel, maar worstelen ze met lange horizon-taken vanwege de sparsiteit van beloningen en het gebrek aan structurele kennis.

2. Methodologie: SLAP

De auteurs stellen SLAP (Shortcut Learning for Abstract Planning) voor. Dit is een hybride aanpak die de sterke punten van TAMP (planning en abstractie) combineert met de flexibiliteit van RL (leren van nieuwe, dynamische vaardigheden).

Kernidee:
SLAP gebruikt bestaande TAMP-opties om een abstract planningsgraaf te construeren. Vervolgens gebruikt het Reinforcement Learning om "kortsteekjes" (shortcuts) te ontdekken tussen abstracte staten in deze graaf. Deze shortcuts zijn nieuwe, geleerde lage-niveau beleidsregels die complexe fysieke improvisaties mogelijk maken die niet in de oorspronkelijke set vaardigheden zaten.

Het Algorithmische Proces:

1. Abstract Planningsgraaf (Planning):

   • De graaf heeft twee niveaus: een bovenste niveau met abstracte staten en opties, en een onderste niveau met continue omgevingstaten en acties.
   • De planner bouwt een graaf op basis van de vooraf gedefinieerde opties (bijv. pick/place) om een oplossing te vinden.

2. Leren van Kortsteekjes (Shortcut Learning met RL):

   • SLAP identificeert veelbelovende verbindingen tussen abstracte staten die niet direct door de bestaande opties kunnen worden bereikt.
   • Voor elke potentiële shortcut wordt een zelfstandige Markov Decision Process (MDP) gedefinieerd met een doelgerichte beloning (bijv. -1 per stap, +0 bij het bereiken van de doel-abstracte staat).
   • Data Collectie: Er worden willekeurige rollouts uitgevoerd in de abstracte graaf. Als een doel-abstracte staat binnen een bepaald aantal stappen bereikt kan worden, wordt deze shortcut gekozen voor training. Anders wordt deze weggegooid (pruning) om rekentijd te besparen.
   • Training: Onafhankelijke RL-agenten (gebaseerd op PPO) trainen parallel om beleidsregels te leren die de robot van de start-abstracte staat naar de doel-abstracte staat brengen. Deze beleidsregels kunnen complexe bewegingen leren, zoals een toren "wegslaan" (slap) of "wiegelen" (wiggle).

3. Plannen met Geleerde Kortsteekjes:

   • Tijdens evaluatie worden de geleerde shortcut-beleidsregels toegevoegd aan de set van beschikbare opties in de TAMP-planner.
   • De planner zoekt opnieuw naar de kortste paden in de graaf. Als een shortcut een korter traject mogelijk maakt, kiest de planner deze automatisch.
   • Generalisatie: SLAP maakt gebruik van symbolische relaties (atomen) om shortcuts te generaliseren naar nieuwe objecten of aantallen objecten. Als een shortcut symbolisch equivalent is aan een geleerde shortcut (bijv. "slapen van een toren blokken"), wordt het beleidsregels hergebruikt, zelfs als de specifieke objecten anders zijn.

3. Belangrijkste Bijdragen

• Hybride Architectuur: SLAP is de eerste methode die laag-niveau vaardigheden leert om de uitvoeringstijd van een abstract planner te verbeteren, zonder de lange-horizon redeneringscapaciteiten van TAMP op te geven.
• Autonome Improvisatie: Het systeem ontdekt dynamische fysieke oplossingen (zoals "slapen", "wiegelen", "vegen") die significant afwijken van de statische, menselijk geprogrammeerde vaardigheden.
• Plug-and-Play: SLAP fungeert als een module die kan worden toegevoegd aan bestaande TAMP-systemen zonder extra gebruikersinput.
• Generalisatie: Het systeem generaliseert naar taken met nieuwe aantallen objecten en verschillende fysieke eigenschappen (massa, wrijving) door gebruik te maken van symbolische equivalentie.

4. Resultaten

De methode is getest in vier gesimuleerde robotomgevingen met lange horizon en sparsere beloningen: Obstacle 2D, Obstacle Tower, Cluttered Drawer en Cleanup Table.

• Kortere Plannen: SLAP reduceerde de totale lengte van het plan (en dus de uitvoeringstijd) met meer dan 50% in vergelijking met pure planning. In sommige omgevingen (zoals Cleanup Table) was de reductie zelfs 73%.
• Succespercentages: SLAP behaalde een 100% succespercentage in alle omgevingen.
  • Pure RL-methoden (zoals PPO en SAC+HER) faalden bijna volledig (0% succes) vanwege de sparsiteit van de beloningen.
  • Hiërarchische RL-methoden hadden moeite met het leren van de juiste volgorde van vaardigheden in complexe taken.
• Efficiëntie: Hoewel het trainen van shortcuts tijd kost, is de totale rekentijd tijdens de uitvoering (planning + actie) aanzienlijk lager dan bij pure planning, vooral omdat de robot minder stappen hoeft te zetten.
• Generalisatie: SLAP slaagde erin om te generaliseren naar scenario's met meer of minder obstakels dan tijdens het trainen, en zelfs naar scenario's met gestoorde fysica (ruis in massa en wrijving).

5. Betekenis en Toekomstperspectief

SLAP vertegenwoordigt een belangrijke stap naar een unificatie van planning en leren:

• Het combineert de redeneercapaciteiten en generalisatie van TAMP met de improvisatie en flexibiliteit van Reinforcement Learning.
• Het lost het probleem op dat robotica vaak vastloopt in "handmatig geprogrammeerde" vaardigheden die niet efficiënt genoeg zijn voor complexe, dynamische omgevingen.
• Het biedt een praktische route om bestaande TAMP-systemen te verbeteren zonder ze volledig te vervangen.

Beperkingen en Toekomstig Werk:

• SLAP is afhankelijk van de kwaliteit van de vooraf gedefinieerde opties; als deze te suboptimaal zijn, kan de planning misleiden.
• De uitgevoerde shortcuts kunnen minder voorspelbaar zijn dan traditionele TAMP-acties, wat veiligheidsbeperkingen vereist.
• Toekomstig werk richt zich op het integreren van veiligheidsbeperkingen in het leerproces en het toepassen van SLAP in echte, niet-gesimuleerde omgevingen (Real-to-Sim-to-Real).

Kortom, SLAP bewijst dat het leren van "slimme kortsteekjes" tussen abstracte staten robotagenten in staat stelt om complexe taken veel efficiënter en robuuster op te lossen dan met alleen planning of alleen leren.