SLAP: Shortcut Learning for Abstract Planning

Die Arbeit stellt SLAP vor, eine Methode, die bestehende TAMP-Optionen nutzt, um durch modellfreies Reinforcement Learning automatisch neue Abkürzungen zu entdecken und so die Planungsqualität sowie den Erfolg bei langfristigen robotischen Aufgaben im Vergleich zu reinen Planungs- und RL-Ansätzen erheblich zu verbessern.

Das Wesentliche

Das Problem: Der überlegene, aber langsame Planer

Stell dir vor, du hast einen sehr klugen, aber etwas sturen Architekten (das ist der klassische „Task and Motion Planner" oder TAMP). Dieser Architekt ist brillant darin, komplexe Pläne zu entwerfen. Er weiß genau, wie man einen Turm aus Blöcken abträgt, indem er einen Block nach dem anderen vorsichtig hebt, zur Seite legt und dann das Zielobjekt nimmt.

Das Problem? Der Architekt ist starr. Er kennt nur die Grundregeln: „Heb auf", „Lege ab", „Bewege". Er weiß nicht, dass man manchmal einen ganzen Turm einfach mit einem kräftigen Klatschen zur Seite werfen kann, um schneller ans Ziel zu kommen. Er plant den Weg, der sicher ist, aber er ist oft extrem lang und ineffizient.

Auf der anderen Seite hast du einen abenteuerlustigen, aber chaotischen Entdecker (das ist das klassische „Reinforcement Learning" oder RL). Dieser Entdecker lernt durch Ausprobieren. Wenn er einen Weg findet, ist er schnell. Aber bei langen, komplizierten Aufgaben (wie einem riesigen Labyrinth) verirrt er sich oft, weil er keine Ahnung hat, wo er lang muss, und er lernt kaum etwas, weil die Belohnung (das Ziel erreichen) so selten kommt.

Die Lösung: SLAP – Der clevere Kuriositäten-Kaufmann

Die Forscher von SLAP haben eine geniale Idee: Warum nicht den Architekten und den Entdecker zusammenarbeiten lassen?

SLAP ist wie ein Kreativ-Coach, der zwischen diesen beiden steht. Er nutzt den Architekten, um den groben Plan zu machen, aber er lässt den Entdecker lernen, wie man auf dem Plan Abkürzungen findet.

Die Analogie: Der Weg durch den Wald

Stell dir vor, du musst von Punkt A nach Punkt B durch einen dichten Wald.

1. Der reine Planer (TAMP): Er zeichnet eine Karte. Er sagt: „Wir gehen den offiziellen Wanderweg. Wir müssen erst über den Hügel, dann durch das Tal, dann über die Brücke." Das ist sicher, aber es dauert 2 Stunden.
2. Der reine Entdecker (RL): Er rennt einfach los. Er rennt gegen Bäume, verirrt sich, rennt im Kreis. Bei so einem langen Weg gibt er oft auf, bevor er das Ziel erreicht.
3. SLAP (Der Coach):
   • Der Coach sagt zum Architekten: „Okay, der Plan ist: Wir müssen vom Start zum Ziel."
   • Dann sagt er zum Entdecker: „Hey, probier mal aus, ob du nicht direkt durch das Dickicht springen kannst, statt den Umweg zu nehmen."
   • Der Entdecker lernt: „Oh! Wenn ich hier rüber springe und den Busch zur Seite schubse, komme ich viel schneller durch!"
   • Der Coach merkt sich das: „Aha! Das ist eine Abkürzung (Shortcut)."
   • Beim nächsten Mal sagt der Coach dem Architekten: „Füge diese Abkürzung in den Plan ein!"

Das Ergebnis? Der Plan ist immer noch strukturiert (wie beim Architekten), aber er enthält jetzt diese genialen, dynamischen Tricks (wie das „Schubsen" oder „Wackeln"), die der Architekt allein nie gefunden hätte.

Was macht SLAP konkret?

In der Robotik (z. B. bei einem Roboterarm, der Blöcke stapelt) passiert Folgendes:

• Der Roboter lernt „Tricks": Anstatt einen Block nach dem anderen zu räumen, lernt der Roboter durch SLAP, wie man einen ganzen Stapel mit einer schnellen, ruckartigen Bewegung („Slap" – Klatschen) zur Seite wirft, während er den Zielblock schon in der Hand hält.
• Kein Neulernen von Null: SLAP muss nicht alles neu erfinden. Es nutzt die bekannten Fähigkeiten des Roboters (Greifen, Legen) als Grundgerüst und fügt nur die neuen, kreativen Tricks hinzu.
• Anpassungsfähigkeit: Wenn sich die Anzahl der Blöcke ändert oder sie schwerer sind, kann SLAP diese Tricks trotzdem anwenden. Es ist wie ein Musiker, der eine Melodie kennt und sie auf verschiedenen Instrumenten spielen kann, ohne die Melodie zu vergessen.

Warum ist das so cool?

• Geschwindigkeit: In den Tests hat SLAP die Wege um über 50 % verkürzt. Das ist wie der Unterschied zwischen einem Spaziergang und einem Sprint.
• Erfolgsrate: Reine KI-Entdecker (RL) scheiterten bei diesen langen Aufgaben oft komplett. SLAP hat sie fast immer geschafft.
• Kreativität: Der Roboter findet Lösungen, die für Menschen überraschend sind (wie das „Wackeln" oder „Wischen"), die aber physikalisch perfekt funktionieren.

Zusammenfassung in einem Satz

SLAP ist wie ein weise alter Navigator, der einen jungen, wilden Abenteurer dabei unterstützt, die besten Abkürzungen durch den Dschungel zu finden, um den langen, langweiligen Pfad zu vermeiden, den der Navigator allein gewählt hätte.

Es verbindet das Beste aus beiden Welten: Die Zuverlässigkeit und den Überblick des Planens mit der Kreativität und Geschwindigkeit des Lernens durch Versuch und Irrtum.

Technische Zusammenfassung

Titel: SLAP: Shortcut Learning for Abstract Planning

Autoren: Y. Isabel Liu, Bowen Li, Benjamin Eysenbach, Tom Silver (Princeton University & Carnegie Mellon University)

---

1. Problemstellung

Die langfristige Entscheidungsfindung in Robotik und KI steht vor fundamentalen Herausforderungen, insbesondere bei Aufgaben mit spärlichen Belohnungen (sparse rewards), komplexen physikalischen Interaktionen und kontinuierlichen Zustands- sowie Aktionsräumen.

• Herausforderung bei TAMP: Das klassische Framework „Task and Motion Planning" (TAMP) löst diese Probleme durch hierarchische Planung mit abstrakten Aktionen (sogenannten Options wie „greifen", „ablegen", „bewegen"). Allerdings sind diese Optionen manuell definiert und basieren auf starken Annahmen (z. B. dass der Roboter nur über die Fingerspitzen Kontakt aufnimmt und nur kleine, vordefinierte Objektmengen beeinflusst). Dies schränkt den Agenten auf Verhaltensweisen ein, die menschliche Ingenieure explizit programmieren können.
• Ineffizienz: Lösungen, die nur auf diesen vordefinierten Optionen basieren, sind oft langwierig und ineffizient. Ein menschlicher Beobachter (oder ein „cleveres Kind") würde dynamischere, kürzere Lösungen finden (z. B. einen Hindernisturm einfach zur Seite „schlagen", anstatt jedes Hindernis einzeln zu bewegen).
• Limitierung von Reinforcement Learning (RL): Reines RL scheitert oft an langfristigen robotischen Manipulationsaufgaben, da die Belohnungssignale zu spärlich sind und der Suchraum zu groß ist.

Das Ziel ist es, einen Agenten zu schaffen, der autonom neue, effizientere Fähigkeiten („Shortcuts") erlernt, die über die traditionellen Programmierannahmen hinausgehen, ohne dabei die strukturellen Vorteile der TAMP-Planung zu verlieren.

---

2. Methodik: SLAP (Shortcut Learning for Abstract Planning)

SLAP ist ein hybrides Framework, das die Stärken von modellbasiertem TAMP und modellfreiem Reinforcement Learning (RL) kombiniert. Der Kernansatz besteht darin, neue Optionen (Shortcuts) zu lernen, die als direkte Verbindungen zwischen abstrakten Zuständen im Planungsgraphen fungieren.

A. Abstrakter Planungsgraph (Top-Level)

• Der Agent nutzt einen vordefinierten Satz an Optionen $A$, um einen abstrakten Planungsgraphen zu konstruieren.
• Knoten: Abstrakte Zustände $s$ (definiert durch logische Atome/Relationen zwischen Objekten).
• Kanten: Vordefinierte Optionen, die einen abstrakten Zustand in einen anderen überführen.
• Ein klassischer Planer (z. B. Dijkstra) findet den kürzesten Pfad in diesem Graphen. Dies liefert jedoch oft suboptimale Lösungen in Bezug auf die Ausführungszeit.

B. Lernen von Shortcuts mit RL (Bottom-Level)

SLAP identifiziert vielversprechende Lücken im Graphen und lernt neue Optionen, um diese zu schließen:

1. Identifikation von Kandidaten: Das System analysiert den abstrakten Graphen und sucht nach Paaren von Zuständen $(s_{init}, s_{term})$, die durch vordefinierte Optionen nicht direkt oder effizient verbunden sind.
2. Pruning (Beschneiden): Um den Suchraum zu reduzieren, werden zufällige Rollouts (Simulationen) durchgeführt. Wenn ein Zielzustand $s_{term}$ selten oder nie erreicht wird, wird der Shortcut verworfen. Nur vielversprechende Kandidaten werden weiterverfolgt.
3. RL-Training: Für jeden verbleibenden Shortcut wird ein separates, zielgerichtetes MDP (Markov Decision Process) erstellt.
   • Zustand: Kontinuierlicher Roboterzustand.
   • Belohnung: Spärliche Belohnung (-1 pro Schritt), Ziel ist die Minimierung der Schrittzahl.
   • Algorithmus: Proximal Policy Optimization (PPO) wird verwendet, um eine Policy $\pi_\theta$ zu lernen, die von $s_{init}$ zu $s_{term}$ führt.
   • Objekt-Generalisierung: Die Policies werden auf projizierte Zustände trainiert, die nur relevante Objekte für den spezifischen Shortcut enthalten. Dies ermöglicht die Generalisierung auf neue Objektanzahlen.

C. Inferenz und Planung

• Während der Evaluierung werden die gelernten Shortcut-Policies als zusätzliche Kanten in den abstrakten Planungsgraphen integriert.
• Der Planer sucht erneut nach dem kürzesten Pfad. Wenn ein Shortcut einen kürzeren Weg ermöglicht, wird er automatisch ausgewählt.
• Plug-and-Play: SLAP passt sich automatisch an: Wenn Shortcuts schwer zu lernen sind, reduziert es sich auf reines Planen; wenn die Aufgabe einfach ist, kann es zu reinem RL werden (Plan kollabiert zu einem Shortcut).

---

3. Wichtige Beiträge

1. Neue Paradigmen: SLAP ist die erste Methode, die Low-Level-Fähigkeiten lernt, um die Ausführungszeit eines abstrakten Planers zu verbessern, anstatt den Planer selbst zu ersetzen oder von Grund auf neue Skills zu lernen.
2. Entdeckung dynamischer Improvisation: Das System lernt physikalisch kreative Lösungen, die von menschlichen Ingenieuren nicht programmiert wurden (z. B. „Schlagen" (slap), „Wackeln" (wiggle), „Wischen" (wipe)), um Hindernisse zu beseitigen.
3. Robuste Generalisierung: Durch die Nutzung der relationalen Induktionsverzerrung von TAMP (Objekt-basierte Abstraktionen) generalisiert SLAP erfolgreich auf Aufgaben mit neuen, mehr oder weniger Objekten als während des Trainings gesehen.
4. Effizienzsteigerung: SLAP übertrifft reine Planungsansätze in der Effizienz und reine RL-Ansätze in der Erfolgsrate bei langfristigen Aufgaben.

---

4. Experimentelle Ergebnisse

Die Methode wurde in vier simulierten robotischen Umgebungen evaluiert (Obstacle 2D, Obstacle Tower, Cluttered Drawer, Cleanup Table), die lange Zeithorizonte und komplexe Physik aufweisen.

• Planungslänge: SLAP reduzierte die Planlänge (und damit die Ausführungszeit) im Vergleich zu reinem TAMP um über 50% (bis zu 73% in der „Cleanup Table"-Umgebung).
  • Beispiel Obstacle Tower: Reine Planung benötigte ~246 Schritte, SLAP benötigte ~79 Schritte.
• Erfolgsrate: SLAP erreichte in allen Umgebungen eine 100%ige Erfolgsrate.
  • Im Gegensatz dazu scheiterten reine RL-Methoden (PPO, SAC+HER) und hierarchisches RL in den komplexeren Umgebungen (PyBullet) fast vollständig (0% Erfolgsrate), da sie mit den spärlichen Belohnungen und der langen Zeitspanne nicht zurechtkamen.
• Trainingseffizienz: Die Anzahl der gelernten Shortcuts nahm mit der Trainingszeit zu, was zu einer stetigen Verbesserung der Planqualität führte.
• Generalisierung: SLAP konnte erfolgreich auf Aufgaben mit veränderten physikalischen Eigenschaften (Masse, Reibung) und variierenden Objektanzahlen übertragen werden, indem es die gelernten Shortcuts auf neue Objekte substituierte.

---

5. Bedeutung und Fazit

SLAP stellt einen bedeutenden Schritt hin zu einem unifizierten System dar, das die Improvisationsflexibilität von Reinforcement Learning mit der langfristigen Schlussfolgerungsfähigkeit und Generalisierung von Task and Motion Planning verbindet.

• Praktische Relevanz: Es ermöglicht Robotern, effizientere und kreativere Lösungen für reale Manipulationsaufgaben zu finden, ohne dass menschliche Ingenieure jede mögliche physikalische Interaktion vorprogrammieren müssen.
• Zukunftsperspektiven: Die Autoren sehen Potenzial darin, SLAP mit fortschrittlicheren Planungsverfahren zu kombinieren, Sicherheitsbeschränkungen einzuführen und die Methode auf reale Roboter durch „Sim-to-Real"-Techniken zu übertragen.

Zusammenfassend demonstriert SLAP, dass das Lernen von „Abkürzungen" innerhalb eines abstrakten Planungsrahmens ein effektiver Weg ist, um die Lücke zwischen starren, manuell definierten Fähigkeiten und der adaptiven, aber instabilen Natur reinen Reinforcement Learning zu schließen.