💻 computer science

Inverse Manipulation through Symbolic Planning and Residual Operator Learning

Dieses Paper schlägt ein hybrides Framework für die robotische inverse Manipulation vor, das automatisch extrahierte symbolische Operatoren mit residualem Reinforcement Learning kombiniert, um grobe symbolische Pläne in physikalisch fundierte Fähigkeiten zu verfeinern, was effektiv an der ManiSkill3 PushCube-Aufgabe demonstriert wird.

Ursprüngliche Autoren: Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

Veröffentlicht 2026-06-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen Würfel über einen Tisch zu schieben. Das ist die „Vorwärts“-Aufgabe. Nun stellen Sie sich vor, Sie müssten demselben Roboter beibringen, genau diese Aktion rückgängig zu machen und den Würfel wieder dorthin zu bringen, wo er ursprünglich war.

Das klingt einfach, ist aber ein kniffliges Rätsel für einen Roboter. Wenn man dem Roboter nur sagt: „Spiele den Film rückwärts ab“, scheitert er oft. Warum? Weil der Roboter den Würfel nicht gegriffen hat (er hat ihn nur geschoben), kann er nicht einfach seinen Arm zurückziehen, um den Stoß rückgängig zu machen. Der Würfel liegt nun irgendwo anders, und der Roboter braucht einen neuen Plan, um ihn zurückzubringen.

Dieses Paper präsentiert ein cleveres „hybrides“ System, das dieses Problem löst, indem es logische Planung (wie ein Schachspieler, der vorausdenkt) mit Trial-and-Error-Lernen (wie ein Baby, das das Laufen lernt) kombiniert.

So funktioniert ihr System, unterteilt in einfache Schritte:

1. Der „Magische Übersetzer“ (Symbolische Extraktion)

Zuerst beobachtet der Roboter einen Menschen (oder ein Skript), der die Vorwärtsaufgabe ausführt, wie etwa das Schieben eines Würfels. Anstatt nur die Armbewegungen auswendig zu lernen, fungiert das System wie ein Übersetzer. Es beobachtet die Szene und schreibt eine einfache „Rezeptur“ oder Regel in reiner Logik auf.

Vorher: „Der Würfel ist am Start.“
Nachher: „Der Würfel ist am Ziel.“
Die Regel: „Wenn der Würfel am Start ist, kann ich ihn zum Ziel schieben.“

2. Das „Umkehr-Rezept“ (Inverse Planung)

Sobald der Roboter die Regel hat, schreibt er automatisch ein „Umkehr-Rezept“. Er betrachtet die Regel und fragt sich: „Was muss ich tun, um zurück zum Start zu kommen?“

Er erkennt, dass er Folgendes tun muss: „Den Würfel zurück an den Start bringen“, „Sicherstellen, dass der Greifer offen ist“ und „Sicherstellen, dass der Roboterarm in der Nähe des Würfels ist“.
Der Roboter nutzt dann einen Standard-Planer (ähnlich wie ein GPS), um eine Abfolge von Basisschritten zu finden, um die Situation zu korrigieren. Zum Beispiel könnte er versuchen, „den Würfel aufzuheben“ und „ihn am Start zu platzieren“.

3. Die „Gut genug“-Übergabe

Hier passiert die Magie. Der Basistyp des Roboters ist gut, aber nicht perfekt. Er könnte den Würfel aufheben und ihn zwar ungefähr in die Nähe des Starts ablegen, aber dabei könnte er um einige Zentimeter danebenliegen.

In vielen anderen Systemen wäre dies ein Fehlschlag.
In diesem System stoppt der Roboter und sagt: „Okay, ich habe den Würfel nah genug gebracht. Jetzt muss ich die Position feinjustieren.“

4. Der „Feinjustierer“ (Residual Learning)

Dies ist die zweite Hälfte des Teams: ein Reinforcement Learning (RL) Agent. Betrachten Sie dies als einen hochqualifizierten Mikro-Justierer.

Das System sagt dem RL-Agenten: „Du musst den Würfel die verbleibende Distanz zur exakten Startposition bewegen, aber verändere nicht die Dinge, die wir bereits korrigiert haben (wie das Offenhalten des Greifers).“
Der RL-Agent probiert tausende winzige Bewegungen aus. Wenn er den Würfel näher heranbringt, bekommt er eine „Belohnung“ (Treat). Wenn er den Würfel von dem Punkt wegstößt, den wir bereits korrigiert haben, bekommt er eine „Rüge“ (Penalty).
Schließlich lernt der RL-Agent die perfekten, winzigen Stöße, die nötig sind, um den Würfel exakt an den Platz zu gleiten.

Das Ergebnis: Ein perfektes Rückgängigmachen

Die Autoren testeten dies an einer Aufgabe namens „PushCube“.

Das Problem: Der Roboter hat einen Würfel geschoben.
Der alte Weg (Nur Rückwärtsspielen): Konnte es nicht tun, weil der Roboter den Würfel nicht gegriffen hatte.
Der „Nur-Logik“-Weg: Brachte den Würfel nah heran, verfehlte das Ziel aber um etwa 17 Millimeter (etwa die Breite eines Bleistiftradiergummis).
Der neue hybride Weg: Der Logik-Teil brachte den Würfel nah heran, und der Lern-Teil stieß ihn den Rest des Weges. Das Ergebnis? Der Würfel endete innerhalb von 1,4 Millimetern vom Startpunkt entfernt, mit einer Erfolgsquote von 90 %.

Das große Ganze

Das Paper behauptet, dass man durch die Aufteilung der Aufgabe in zwei Teile – Symbolische Planung für das große Ganze und Residual Learning für die feinen Details – Roboter dazu bringen kann, komplexe Aufgaben rückgängig zu machen, die sie zuvor nicht umkehren konnten. Es verwandelt eine „grobe Schätzung“ in ein „physisch perfektes Rückgängigmachen“.

Kurz gesagt: Der Robot nutzt sein Gehirn, um die allgemeine Strategie zum Rückgängigmachen einer Aufgabe zu finden, und nutzt dann sein „Muskelgedächtnis“ (erlernt durch Versuch und Irrtum), um die letzten, präzisen Anpassungen vorzunehmen, damit es exakt richtig wird.

Technisches Resümee: Inverse Manipulation durch symbolische Planung und Residual-Operator-Lernen

Problemstellung

Die Arbeit befasst sich mit der Herausforderung der Skill-Inversion in der robotischen Manipulation: der Fähigkeit, eine physische Umgebung in den Zustand vor der Ausführung einer Vorwärtsbewegung zu versetzen. Die Autoren argumentieren, dass das bloße Rückwärtsabspielen von Motor-Trajektorien für viele Aufgaben unzureichend ist, insbesondere bei nicht-prähensilen Interaktionen (z. B. Schieben), bei denen der Roboter das Objekt nicht greift. Während die symbolische Planung inverse Sequenzen generieren kann, scheitert sie oft daran, kontinuierliche physische Zustände vollständig wiederherzustellen, da sie auf begrenzten Aktionsprimitiven und Präzisionsanforderungen basiert. Umgekehrt ist eine reine Trajektorienumkehr oft physisch nicht anwendbar. Das Kernproblem besteht darin, die Lücke zwischen hochgradigen symbolischen Restaurationszielen und der niedergestuften kontinuierlichen Steuerung zu schließen, um physisch fundierte inverse Skills zu erreichen.

Methodik

Das vorgeschlagene Framework ist ein Hybridsystem, das symbolische Planung mit Residual Reinforcement Learning (RL) kombiniert. Der Prozess operiert in drei Hauptphasen:

1. Extraktion symbolischer Operatoren

Das System analysiert Demonstrationsschritte der Vorwärtsbewegung, um automatisch symbolische Operatoren im STRIPS-Formalismus (Fikes und Nilsson 1971) zu extrahieren.

Weiche Prädikate (Soft Predicates): Ein vordefiniertes Repertoire an Prädikaten (z. B. AT POSE, GRIPPER OPEN) wird auf dem Szenengraphen mittels weicher, differenzierbarer geometrischer Prädikate geerdet. Diese liefern kontinuierliche Scores $V_p(s) \in [0, 1]$ basierend auf signierten Margen $m_p(s)$ .
Operator-Definition: Ein Operator $o = \langle Pre, Add, Del \rangle$ wird konstruiert, indem die Start- und Endzustände der Demonstrationen analysiert werden. Prädikate mit hohen Start-Scores bilden die Voraussetzungmenge ($Pre$), während Änderungen in den Scores die Additions- ($Add$) und Lösch-Effekte ($Del$) bestimmen.

2. Generierung des inversen Ziels und symbolische Planung

Das inverse Ziel wird nicht als Zeitumkehr, sondern als Restaurationsproblem definiert. Der Zielzustand $I(o)$ wird konstruiert, um die ursprünglichen Voraussetzungen zu erfüllen, die gelöschten Effekte wiederherzustellen und die hinzugefügten Effekte zu negieren:
$I(o) = Pre \cup Del \cup \neg Add$
Ein Breadth-First-Search (BFS) Planner versucht, $I(o)$ unter Verwendung einer begrenzten Menge an skriptbasierten Aktionsprimitiven (z. B. PICK, PLACE) zu erfüllen.

3. Residual Operator Learning

Da der symbolische Planner das inverse Ziel möglicherweise nur teilweise erfüllt, unterteilt das System die verbleibenden Ziele:

Fence-Menge ( $F$ ): Prädikate, die bereits durch den symbolischen Plan ( $\pi_{sym}$ ) erfüllt sind und bewahrt werden müssen.
Aktive Residual-Menge ( $A$ ): Unaufgelöste Prädikate, die das Residualziel bilden.

Eine Residual RL Policy ( $\pi_{res}$ ) wird trainiert, um die aktive Menge $A$ zu erfüllen und gleichzeitig die Fence-Menge $F$ aufrechtzuerhalten.

Belohnungsfunktion (Reward Function): Die Belohnung wird direkt aus den Prädikaten des symbolischen Plans abgeleitet.
- Für aktive Prädikate ( $A$ ): Eine signierte normalisierte Marge unter Verwendung von $\tanh$ , um begrenzte Belohnungen für die Restauration bereitzustellen.
- Für Fence-Prädikate ( $F$ ): Eine einseitige Strafe unter Verwendung von $\min(0, \cdot)$ , um Verletzungen zu sanktionieren, ohne ein „Nichtstun“-Verhalten zu belohnen.
Ausführung: Der finale inverse Skill ist die Konkatenation der symbolischen Sequenz $\pi_{sym}$ und der gelernten Residual-Policy $\pi_{res}$ .

Wichtigste Beiträge

Die Arbeit skizziert drei primäre Beiträge:

Hybride Formulierung: Behandlung der Skill-Inversion als hybrides symbolisch-kontinuierliches Restaurationsproblem, wobei inverse Ziele aus extrahierten symbolischen Vorwärtsoperatoren statt aus zeitlicher Umkehr abgeleitet werden.
Framework für Residual Operator Learning: Einführung eines Mechanismus, bei dem RL erst dann aktiviert wird, wenn die symbolische Planung das inverse Ziel nicht vollständig erfüllen kann, wodurch effektiv der „Residual“-Teil der Aufgabe bewältigt wird.
Prädikat-basierte Belohnungen: Ableitung von RL-Belohnungssignalen direkt aus den Effekten der operativen Symbole, was die Notwendigkeit eines manuellen Reward-Engineerings für jede spezifische Aufgabe eliminiert.

Experimentelle Ergebnisse

Das Framework wurde auf der ManiSkill3 PushCube Aufgabe mit einem Franka Panda Manipulator evaluiert. Der Vorwärts-Skill bestand darin, einen Würfel an eine Zielposition zu schieben. Die inverse Aufgabe bestand darin, den Würfel an die ursprüngliche Ausgangsposition zurückzuführen.

Leistung: Der hybride Ansatz (Symbolic + RL) erreichte eine Erfolgsrate von 90 % innerhalb einer Toleranz von 1 cm, mit einer mittleren Präzision von 1,4 mm.
Vergleiche:
- Nur symbolischer Präfix: Erreichte nur 10 % Erfolg und hinterließ eine mittlere Residualdistanz von 16,6 mm.
- Symbolisch + Zufallsaktion: Erreichte 50 % Erfolg mit hoher Varianz (18,8 mm Mittelwert), was darauf hindeutet, dass zufällige Exploration gelegentlich durch Zufall erfolgreich ist, aber keine Zuverlässigkeit besitzt.
- Reine Trajektorienumkehr: Wurde aufgrund der nicht-prähensilen Natur des Vorwärts-Schiebens als unanwendbar eingestuft.
Ablationsstudien: Experimente bestätigten, dass die Verwendung einer einseitigen $\tanh$ -Strafe für Fence-Prädikate entscheidend war. Das Entfernen der Strafe führte dazu, dass der Agent stillstand (gesättigte Belohnungen), während das vollständige Entfernen der $\tanh$ -Funktion zu Divergenz der Value-Function und großen Reward-Drifts führte.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass prädikat-abgeleitete Residualsteuerung einen annähernden symbolischen inversen Schritt in einen physisch fundierten inversen Skill transformieren kann. Durch die Behandlung inverser Skills als eigenständige symbolische Operatoren mit eigenen Restaurationszielen vermeidet das System die Einschränkungen der Zeitumkehr-Annahmen, wie sie in früheren Arbeiten (z. B. Nair et al. 2020; Edwards et al. 2018) vorkommen.

Die Autoren positionieren diese Arbeit als Schritt hin zur Ermöglichung der Mensch-Roboter-Kollaboration und von Montage-/Demontage-Linien, in denen die Fähigkeit, Aufgaben zu „rückgängig zu machen“, essenziell ist. Sie merken an, dass das System derzeit auf handentworfenen Prädikaten und skriptbasierten Low-Level-Primitiven beruht, die Ergebnisse jedoch nahelegen, dass inverse Skills effektiv als ein Planungsproblem gefolgt von einem Residual-RL-Problem mit abgeleiteter Belohnung gelöst werden können. Die Arbeit bleibt hinsichtlich ihres Umfangs bescheiden, räumt Einschränkungen beim Prädikat-Design und der Abhängigkeit von skriptbasierten Primitiven ein und schlägt vor, diese Komponenten zukünftig aus Demonstrationen zu lernen.