Open-World Task and Motion Planning via Vision-Language Model Genereated Constraints

Die Arbeit stellt OWL-TAMP vor, ein System, das Vision-Language-Modelle nutzt, um diskrete und kontinuierliche Constraints zu generieren, wodurch Task-and-Motion-Planning-Systeme in der Lage sind, komplexe Manipulationsaufgaben basierend auf natürlichen Sprachanweisungen in offenen Umgebungen zu lösen.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas chaotischen Assistenten und einen extrem präzisen, aber etwas sturen Handwerker.

• Der Assistent (das Vision-Language Model oder VLM) kann alles verstehen. Wenn Sie sagen: „Stell die Banane so hin, dass sie in der Nähe der anderen Früchte ist", versteht er sofort, was „in der Nähe" bedeutet. Er hat ein gutes Gefühl für den Raum und die Sprache. Aber wenn Sie ihn bitten, die Banane physikalisch zu greifen, ohne sie zu quetschen oder umzustoßen, wird er ratlos. Er weiß nicht genau, wie die Finger des Roboters sich bewegen müssen, um nicht gegen die Milchpackung zu stoßen.
• Der Handwerker (das TAMP-System) ist ein Meister der Physik und der Mathematik. Er weiß genau, wie man greift, wie man sich bewegt und wie man Kollisionen vermeidet. Aber er ist stur. Er versteht nur eine sehr begrenzte Sprache. Wenn Sie ihm sagen: „Stell die Banane in der Nähe der Äpfel hin", fragt er: „Was bedeutet 'in der Nähe'? Hast du dafür eine exakte mathemische Formel?" Da er das nicht hat, kann er die Aufgabe nicht lösen.

Das Problem: Bisher mussten diese beiden getrennt arbeiten. Der Assistent konnte keine komplexen Pläne machen, und der Handwerker konnte keine neuen, kreativen Befehle verstehen.

Die Lösung: OWL-TAMP (Der perfekte Teamwork-Manager)

Die Forscher aus diesem Papier haben eine brillante Idee entwickelt, um diese beiden zu vereinen. Sie nennen ihr System OWL-TAMP.

Stellen Sie sich OWL-TAMP wie einen Dolmetscher und Architekten vor, der zwischen dem Assistenten und dem Handwerker steht.

1. Der Plan-Skizze (Der Assistent zeichnet):
   Wenn Sie dem Roboter sagen: „Räum die Milch weg, damit ich die Banane greifen kann, und stell sie dann neben die Äpfel", schaut sich der Assistent (das VLM) die Szene an. Er versteht die Sprache und die Absicht. Er malt eine grobe Skizze: „Zuerst die Milch bewegen, dann die Banane greifen, dann die Banane ablegen." Aber er weiß noch nicht genau, wo genau die Banane liegen soll.

2. Der Bauplan (Der Dolmetscher schreibt Code):
   Hier kommt der Clou: Der Assistent schreibt nicht nur eine Skizze, sondern er schreibt Code (eine Art Bauplan), der die Regeln für den Handwerker definiert.

   • Er sagt zum Handwerker: „Du darfst die Banane nur dort ablegen, wo der Abstand zum Apfel weniger als 5 Zentimeter beträgt."
   • Er sagt: „Du musst die Milchpackung zuerst wegräumen, sonst kommst du nicht an die Banane."
     Der Assistent übersetzt also das vage Wort „in der Nähe" in eine präzise mathemische Regel (Code), die der Handwerker versteht.

3. Die Ausführung (Der Handwerker baut):
   Jetzt nimmt der Handwerker (das TAMP-System) diesen Code und die Skizze. Er rechnet alles durch: „Okay, wenn ich die Milch hierhin schiebe, habe ich Platz. Wenn ich die Banane dorthin lege, ist sie genau 4 Zentimeter vom Apfel entfernt. Perfekt!" Er führt die Bewegungen millimetergenau aus.

Warum ist das so cool?

• Offene Welt: Früher musste man dem Roboter jede einzelne Regel manuell programmieren (z. B. was „aufrecht stehen" oder „neben" bedeutet). Mit OWL-TAMP kann der Roboter alles verstehen, was Sie in normaler Sprache sagen, solange der Assistent es in Code übersetzen kann. Sie können ihm sagen: „Mach die Banane so, dass sie wie ein Lächeln aussieht" (wenn das möglich wäre), und er versucht es.
• Kein Lernen nötig: Der Roboter muss nicht erst tausende Stunden trainieren, um neue Aufgaben zu lernen. Er nutzt das allgemeine Wissen des Assistenten (der schon alles gesehen hat) und kombiniert es mit seiner eigenen Präzision.
• Echte Roboter: Die Forscher haben das nicht nur am Computer getestet, sondern auch auf echten Robotern. Der Roboter hat Aufgaben gelöst wie: „Wirf alles weg, was nicht vegan ist" oder „Stapel die Blöcke nach Farbe". Er hat Hindernisse erkannt, umgangen und Dinge genau so platziert, wie es die Sprache verlangte.

Zusammenfassung in einem Satz:
OWL-TAMP gibt dem Roboter ein Gehirn, das die menschliche Sprache versteht, und verbindet es mit einem Körper, der die Physik beherrscht, indem es die vagen Wünsche des Menschen in präzise Baupläne übersetzt. So wird aus einem starren Automaten ein flexibler Helfer, der mit Ihnen sprechen kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Open-World Task and Motion Planning via Vision-Language Model Generated Constraints" (OWL-TAMP) auf Deutsch.

1. Problemstellung

Die Bewältigung komplexer Manipulationsaufgaben mit langem Zeithorizont (Long-Horizon Tasks) stellt eine fundamentale Herausforderung in der Robotik dar. Bestehende Ansätze stoßen hier an Grenzen:

• Vision-Language Models (VLMs): Zwar sind VLMs hervorragend im Verständnis von Alltagswissen und der Interpretation natürlicher Sprache (z. B. „Lege das Besteck in den Halter"), aber sie scheitern oft an der präzisen kontinuierlichen Reasoning-Fähigkeit. Sie können keine kollisionsfreien Greif- oder Platzierungspfade berechnen oder geometrische Constraints (wie „nahe bei") ohne spezifisches Fine-Tuning in kontinuierliche Parameter umwandeln.
• Task and Motion Planning (TAMP): Klassische TAMP-Systeme können lange Aufgabenreihen durch eine hybride Suche über diskrete Aktionen und kontinuierliche Parameter lösen. Sie benötigen jedoch detaillierte, manuell erstellte Umgebungsmodelle und eine fest definierte Menge an Prädikaten (z. B. „auf", „in"). Sie können keine neuen Konzepte aus natürlicher Sprache interpretieren (z. B. „nahe bei" oder „gerade ausgerichtet"), wenn diese nicht explizit im System definiert sind.

Das Ziel ist es, ein System zu entwickeln, das natürliche Sprachbefehle interpretiert und komplexe Manipulationsaufgaben in einer offenen Welt (Open-World) löst, ohne dass für jede neue Aufgabe manuelle Modellierungen oder umfangreiche Demonstrationsdaten nötig sind.

2. Methodik: OWL-TAMP

Die Autoren schlagen OWL-TAMP (Open-World Language-based TAMP) vor, ein Framework, das die Stärken von Foundation Models (VLMs) mit robusten TAMP-Systemen kombiniert. Der Kernansatz besteht darin, VLMs nicht als direkte Planer, sondern als Generator von Constraints (Einschränkungen) zu nutzen, die ein konventionelles TAMP-System dann löst.

Der Prozess läuft in drei Hauptphasen ab:

A. Generierung diskreter Constraints (Plan-Skizzen)

• Basierend auf einem natürlichen Sprachbefehl und einer Bildaufnahme der Szene promptet das System ein VLM, um eine Plan-Skizze zu erstellen.
• Diese Skizze ist eine teilweise Sequenz von Aktionen mit diskreten Argumenten (Objekte) und natürlichen Sprachbeschreibungen für die Absicht der Aktion (z. B. detach("Lege die Banane in der Nähe von Apfel und Birne", ...)).
• Diese Skizze dient als diskreter Constraint für den TAMP-Planer: Der Planer muss einen vollständigen Plan finden, der diese Skizze als Teilsequenz enthält, kann aber zusätzliche Aktionen (z. B. Hindernisse wegräumen) einfügen, um die physikalische Machbarkeit zu gewährleisten.

B. Grounding von Open-World Prädikaten (Kontinuierliche Constraints)

• Die natürlichen Sprachbeschreibungen in der Skizze werden in ausführbaren Code übersetzt. Das VLM generiert Python-Funktionen (Classifier), die als kontinuierliche Constraints fungieren.
• Beispiel: Für die Beschreibung „in der Nähe von" generiert das VLM eine Funktion test_banana_pose(p), die prüft, ob die Pose p der Banane einen bestimmten Abstand zu den anderen Früchten hat.
• Diese Funktionen werden als zusätzliche Constraints in den TAMP-Planer eingespeist. Sie erweitern das traditionelle Constraint-Set (wie Kollisionsvermeidung und Kinematik) um semantische Anforderungen.

C. TAMP-Lösung

• Ein off-the-shelf TAMP-System (z. B. SeSaME oder PDDLStream) nutzt die diskrete Skizze und die generierten kontinuierlichen Constraints, um einen gültigen Plan zu suchen.
• Das System führt eine Backtracking-Suche durch: Wenn ein direkter Plan (z. B. Banane direkt greifen) aufgrund von Hindernissen (z. B. eine verdeckende Milchpackung) oder Constraints scheitert, weicht der Planer zurück, fügt notwendige Aktionen hinzu (Milchpackung verschieben) und versucht es erneut, bis alle Constraints (inklusive der VLM-generierten) erfüllt sind.

3. Schlüsselbeiträge

1. Kontrakt durch Constraints: Die Autoren definieren einen klaren „Vertrag" zwischen VLMs und TAMP-Systemen. Das VLM generiert keine direkten Aktionen, sondern Constraints (diskret als Aktionsreihenfolge, kontinuierlich als Code), die das TAMP-System löst. Dies ermöglicht Zero-Shot-Verallgemeinerung.
2. Open-World Prädikate: Einführung von Prädikaten, deren Verhalten dynamisch durch VLM-generierten Code definiert wird, anstatt manuell kodiert zu sein. Dies erlaubt die Handhabung von Konzepten wie „nahe", „ausgerichtet" oder „schwerer als", die nicht im ursprünglichen Domänenmodell existieren.
3. Integration in bestehende Systeme: Das Framework ist so gestaltet, dass es mit handelsüblichen (off-the-shelf) TAMP-Systemen funktioniert, ohne diese tiefgreifend modifizieren zu müssen.
4. Robustheit durch Backtracking: Durch die Kombination von VLM-Constraints mit der Backtracking-Fähigkeit von TAMP wird sichergestellt, dass physikalische Unmöglichkeiten (wie Kollisionen) erkannt und durch alternative Aktionsfolgen gelöst werden, was reine VLM-Ansätze oft nicht leisten können.

4. Ergebnisse

Die Autoren evaluieren OWL-TAMP an 10 verschiedenen Manipulationsaufgaben in der Simulation (RAVENS-YCB-Umgebung) und an einem realen Roboter (Kinova Gen3).

• Simulation:
  • OWL-TAMP erreicht auf 9 von 10 Aufgaben die höchste Erfolgsrate (im Durchschnitt 92%), gefolgt von Baselines wie „Direct Translation" (32%) oder reinen VLM-Ansätzen (Code as Policies, oft <20%).
  • Baselines scheitern häufig daran, dass sie entweder keine korrekten diskreten Pläne finden (VLMs) oder keine korrekten kontinuierlichen Parameter generieren können, um die Constraints zu erfüllen (TAMP ohne VLM).
  • Soundness (Korrektheit): OWL-TAMP zeigt eine extrem hohe Soundness-Rate (98,6%), d. h., es gibt fast nie einen „falsch positiven" Erfolg an, wenn die Aufgabe nicht wirklich gelöst wurde. Andere Methoden geben oft Erfolg an, obwohl die Aufgabe (z. B. Orientierung des Objekts) nicht korrekt erfüllt ist.
• Real-World Deployment:
  • Das System wurde erfolgreich auf einem echten Roboterarm eingesetzt, um 19 verschiedene natürliche Sprachbefehle auszuführen (z. B. „Wege das nicht-Vegane in den Mülleimer", „Staple Blöcke nach Farbton").
  • Trotz Variationen in Objektkonfigurationen und Umgebungen konnte der Roboter alle Aufgaben lösen, was die Robustheit des Ansatzes in der realen Welt unterstreicht.

5. Bedeutung und Fazit

OWL-TAMP markiert einen signifikanten Fortschritt in der Robotik, da es die Lücke zwischen der semantischen Flexibilität von Large Language Models und der physikalischen Präzision von klassischen Planern schließt.

• Überwindung der „Closed-World"-Annahme: Herkömmliche TAMP-Systeme sind auf vordefinierte Vokabulare beschränkt. OWL-TAMP ermöglicht es Robotern, Aufgaben in einer offenen Welt zu lösen, indem sie neue Konzepte aus natürlicher Sprache in mathematische Constraints übersetzen.
• Kein Fine-Tuning nötig: Das System benötigt keine neuen Demonstrationsdaten oder ein spezifisches Training für jede neue Aufgabe. Es nutzt die generischen Fähigkeiten von VLMs (hier GPT-4o) in Kombination mit einem robusten Suchalgorithmus.
• Zukunftsausblick: Obwohl das System von der Qualität der VLM-generierten Constraints abhängt (fehlerhafte Constraints können zu unlösbaren Problemen führen), demonstriert es, dass die Kombination von Foundation Models mit strukturierten Planern der vielversprechendste Weg zu flexiblen, allgemeinen Robotersystemen ist.

Zusammenfassend zeigt OWL-TAMP, dass man Robotern nicht beibringen muss, wie sie eine Aufgabe lösen, sondern ihnen nur die Zielzustände (via Constraints) vorgeben kann, während ein bewährter Planer die physikalische Umsetzung übernimmt.