Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

Diese Arbeit stellt eine neuartige Architektur vor, die mittels neuronaler Netze und visueller Sprachmodelle aus wenigen ungelabelten Demonstrationen generalisierbare symbolische Fähigkeiten sowie niedrigstufige Controller ableitet, um damit auch in stark überfüllten Umgebungen langfristige, mehrstufige Planungs- und Ausführungsaufgaben zu bewältigen.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, in einer völlig neuen, chaotischen Küche zu kochen. Das Problem ist: Der Roboter sieht nur eine Flut von rohen Daten – wie seine Arme sich bewegen, wo die Greifer sind, Millimeter für Millimeter. Das ist wie ein Buch, das nur aus Zahlen und Koordinaten besteht. Ein Mensch (oder eine große Künstliche Intelligenz) kann damit nichts anfangen, weil es zu unübersichtlich ist.

Dieser Papier beschreibt eine clevere Methode, um diesem Roboter Sprache und Verständnis beizubringen, ohne ihn mit Millionen von Stunden menschlicher Videos zu füttern.

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Der Roboter ist wie ein Baby ohne Worte

Der Roboter kann Bewegungen ausführen (z. B. einen Löffel greifen), aber er weiß nicht, was er gerade tut. Er sieht nur: "Arm bewegt sich von A nach B".
Wenn er einen neuen Ort sieht, wo der Löffel liegt, weiß er nicht, wie er dort hinkommt, weil er keine allgemeinen Regeln gelernt hat. Er braucht einen Übersetzer.

2. Die Lösung: Der "Neuro-Symbolische" Übersetzer

Die Autoren bauen ein System, das wie ein guter Kochlehrling funktioniert, der zwei Dinge gleichzeitig lernt:

• Die groben Bewegungen (Die "Fingerfertigkeit"): Wie greife ich den Löffel?
• Die abstrakten Begriffe (Die "Worte"): Das ist "Greifen", das ist "Ablegen".

Das System macht folgendes:
Es schaut sich ein paar wenige, unbeschriftete Videos an, wie ein Roboter Dinge bewegt. Es sagt sich: "Aha, diese 10 Bewegungen sehen sich alle ähnlich an, egal ob der Löffel links oder rechts liegt. Das ist eine Art 'Greifen'."
Es fasst diese vielen kleinen, unterschiedlichen Bewegungen zu einem einzigen Symbol zusammen.

• Vergleich: Stellen Sie sich vor, Sie haben 100 verschiedene Fotos von Hunden. Ein normales System sieht 100 verschiedene Bilder. Unser System sagt: "Das ist alles ein Hund." Es erstellt ein "Hund-Symbol".

3. Der Clou: Die "Geister-Hand" (Gradienten-Planung)

Das ist der magischste Teil. Wenn der Roboter gelernt hat, was "Greifen" bedeutet, muss er nicht jedes Mal neu lernen, wie er den Arm bewegt.
Das System nutzt eine Art GPS für Bewegungen.

• Die Analogie: Stellen Sie sich vor, Sie haben eine Landkarte (das gelernte "Greifen"-Symbol). Sie wollen wissen, wie Sie von Punkt A (Ihre Hand) zu Punkt B (dem Löffel) kommen. Das System berechnet den Weg nicht durch Ausprobieren, sondern durch eine mathematische "Richtungssuche" (Gradientenabstieg). Es passt die Bewegung so lange an, bis sie perfekt zum Ziel passt.
• Das bedeutet: Der Roboter kann Dinge greifen, die er noch nie gesehen hat, solange er das "Greifen"-Symbol kennt.

4. Die Zusammenarbeit mit dem "Großen Kopf" (LLM)

Jetzt haben wir die "Fingerfertigkeit" (die Symbole). Aber wer sagt dem Roboter, was er tun soll?
Hier kommt eine große KI (wie ChatGPT oder Gemini) ins Spiel.

• Der Prozess:
  1. Ein Foto der Küche wird gemacht.
  2. Die große KI sagt: "Ich sehe einen Teller und eine Schüssel. Das Ziel ist, den Teller in die Spülmaschine zu legen."
  3. Die große KI nutzt die Symbole, die unser Roboter gelernt hat: "Also, ich muss erst 'Greifen' (Teller) und dann 'Ablegen' (Spülmaschine) machen."
  4. Sie erstellt einen Plan: "Schritt 1: Greifen. Schritt 2: Ablegen."
  5. Unser Roboter-System nimmt diesen Plan und führt die feinen Bewegungen aus.

5. Warum ist das so cool?

Normalerweise braucht man Tausende von Beispielen, um einem Roboter etwas beizubringen.

• Dieses System: Braucht nur ein paar wenige Beispiele (sogar nur 2 oder 3 pro Aufgabe).
• Der Trick: Es lernt nicht auswendig, sondern versteht das Prinzip.
• Das Ergebnis: Der Roboter kann in einer völlig neuen, chaotischen Küche (mit vielen Gegenständen) Aufgaben lösen, die er noch nie gesehen hat, indem er die gelernten "Worte" (Symbole) in neuen Kombinationen benutzt.

Zusammenfassung in einem Satz

Die Forscher haben eine Methode entwickelt, bei der ein Roboter aus ein paar wenigen Versuchen lernt, seine eigenen "Wörter" für Bewegungen zu erfinden, und dann mit Hilfe einer großen KI diese Wörter nutzt, um komplexe Aufgaben in der echten Welt zu lösen – ganz ohne dass Menschen ihm jedes Detail einzeln beibringen müssen.

Es ist wie ein Roboter, der nicht nur die Sprache der Maschinen spricht, sondern auch die Sprache der Menschen versteht und beides perfekt verbindet.

Technische Zusammenfassung

Problemstellung

Das zentrale Problem, das in diesem Paper adressiert wird, ist die Schwierigkeit, langfristige Pläne (Long-Horizon Planning) in kontinuierlichen Zustands-Aktions-Räumen zu erlernen, wie sie in realen robotischen Szenarien vorkommen.

• Herausforderungen: Reale Roboterdaten sind komplex, verrauscht und oft nur in begrenztem Maße verfügbar (meist aus kontrollierten Labors). Dies erschwert die direkte Integration in große multimodale Modelle (wie LLMs), die zwar über breites Weltwissen und Schlussfolgerungsfähigkeiten verfügen, aber keine spezifischen robotischen Low-Level-Daten in ihren Trainingsdaten haben.
• Lücke: Es fehlt eine Brücke zwischen den abstrakten, textbasierten Fähigkeiten von „Generalisten"-Agenten (LLMs) und den konkreten, kontinuierlichen Low-Level-Kontrollen eines physischen Roboters. Bestehende Ansätze zur Task-and-Motion-Planning (TAMP) benötigen oft vordefinierte Prädikate oder manuell segmentierte Daten.

Methodik

Die Autoren schlagen eine neuartige Lernarchitektur vor, die Neuro-Symbolische Methoden mit Multi-Level-Planning kombiniert. Das System lernt generalisierbare, hochlevelige symbolische Fähigkeiten aus wenigen ungelabelten Low-Level-Trajektorien-Demonstrationen.

Der Prozess gliedert sich in folgende Schritte:

1. Skill Discovery (Fähigkeitsentdeckung):

   • Architektur: Es wird ein Conditional Neural Movement Primitives (CNMP)-Modell mit einem Vector Quantization (VQ)-Bottleneck verwendet.
   • Funktionsweise: Das Modell nimmt sensorische Trajektorien (z. B. Endeffektor-Pose) als Eingabe. Durch VQ werden kontinuierliche Variationen derselben hochleveligen Fähigkeit (z. B. „Schrank öffnen" an verschiedenen Orten) auf diskrete Vektoren im latenten Raum abgebildet.
   • Training: Das Modell lernt, Trajektorien zu rekonstruieren. Dabei werden Demonstrationen, die zur selben Fähigkeit gehören, automatisch in denselben diskreten Vektor gruppiert (Clustering), obwohl keine Labels vorhanden sind.
   • Selbstüberwachtes Lernen (Self-Supervision): Nach der initialen Entdeckung der Cluster wird ein neues Modell von Grund auf neu trainiert. Anstatt den Vektor basierend auf der Distanz zu wählen, werden die während des ersten Schritts entdeckten Cluster-Labels als feste Zuweisungen verwendet. Dies verbessert die Zuverlässigkeit der Low-Level-Generierung erheblich.

2. Symbol-Labeling und Planung:

   • Labeling: Die entdeckten diskreten Vektoren (die repräsentativen Fähigkeiten) sind zunächst unbenannt. Ein Multi-Modal Large Language Model (VLM/LLM) analysiert Bildsequenzen der durchgeführten Aktionen und weist den Vektoren semantische Labels zu (z. B. „Greifen", „Ablage").
   • High-Level Planning: Ein LLM nutzt diese gelabelten Symbole, um Pläne für komplexe Aufgaben zu erstellen. Es erhält den Zielzustand und eine visuelle Darstellung der Umgebung (unterstützt durch Objekterkennung mit DINO) und generiert eine Sequenz von hochleveligen Aktionen.
   • Low-Level Planning (Gradient-Based): Für jeden Schritt des High-Level-Plans wird der entsprechende diskrete Skill-Vektor verwendet. Um die genaue Ausführung (z. B. das Greifen eines Objekts an einer spezifischen Position) zu ermöglichen, wird der Vektor mittels Gradient Descent angepasst. Das Ziel ist es, die Differenz zwischen der vorhergesagten Objektposition und der tatsächlichen Position zu minimieren, ohne die Modellparameter zu ändern.

Wesentliche Beiträge

1. Neue Skill-Discovery-Methode: Ein end-to-end neuronales Modell, das hochlevelige Fähigkeiten aus wenigen ungelabelten Demonstrationen extrahiert und dabei die Low-Level-Variationen bewahrt.
2. Bi-Level Planning Pipeline: Ein System, das LLMs für die strategische Planung und gradientenbasierte Optimierung für die taktische Ausführung verbindet.
3. Automatisierung durch VLMs: Die Nutzung von Vision-Language-Modellen zur automatischen Interpretation und Benennung der entdeckten Skills sowie zur Generierung von Plänen, was den Bedarf an manueller Annotation reduziert.
4. Generalisierung: Das System kann Objekte an unbekannten Orten manipulieren und lange Aufgabenketten in stark überfüllten Umgebungen planen, basierend auf nur wenigen Demonstrationen pro Fähigkeit.

Ergebnisse

Die Methode wurde in simulierten Küchen-Umgebungen und realen Experimenten (UR-10 und XArm 7 Roboter) evaluiert:

• Skill Discovery: Das Modell konnte Demonstrationen erfolgreich in diskrete Skills clustern. Bei einem Skill-Space, der größer als die tatsächliche Anzahl der Skills war, konnten Modelle mit den geringsten Verlusten die Skills perfekt gruppieren.
• Labeling: Multi-Modal LLMs (Gemini, GPT-4.1) konnten die Aktionen erfolgreich identifizieren, wobei die Genauigkeit bei „Greifen" höher war als bei „Ablage" (oft Verwechslung der Reihenfolge).
• Planungsleistung:
  • High-Level: Die Kombination aus DINO-basierter Objekterkennung und LLM-Planung führte zu hohen Erfolgsraten (bis zu 97% bei kurzen Aufgaben).
  • Low-Level: Das selbstüberwachte Modell übertraf das rein unüberwachte Modell deutlich. Mit nur zwei Demonstrationen pro Skill erreichte das System in fast allen Szenarien (einfache Greifaufgaben, komplexe Multi-Task-Szenarien wie Kaffeemaschine bedienen oder Geschirr einräumen) eine Erfolgsrate von über 80–100%.
  • Das System war in der Lage, neue Aktionssequenzen zu planen und in stark überfüllten Umgebungen zu agieren.

Bedeutung und Ausblick

Dieses Paper stellt einen wichtigen Schritt vorwärts dar, um die Lücke zwischen textbasierten KI-Agenten und physischer Robotik zu schließen.

• Effizienz: Es ermöglicht die Nutzung von LLMs für robotische Aufgaben, ohne dass diese mit massiven Mengen an robotischen Rohdaten trainiert werden müssen. Stattdessen lernen kleine Abstraktionsmodelle die Schnittstelle zur physischen Welt.
• Skalierbarkeit: Der Ansatz ist skalierbar, da neue Fähigkeiten durch wenige Demonstrationen gelernt und automatisch in das bestehende Planungssystem integriert werden können.
• Zukunft: Als zukünftige Forschungsrichtung wird die Integration von Effekt-Prädikaten vorgeschlagen, um Fehlererkennung zu ermöglichen und die Robustheit bei sehr langen Planungsketten weiter zu erhöhen.

Zusammenfassend demonstriert das Paper, dass eine Kombination aus unüberwachtem Skill-Clustering, selbstüberwachtem Fein-Tuning und der Kraft von VLMs eine leistungsfähige Architektur für adaptive, langlebige robotische Planung schafft.