H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model

Die Arbeit stellt H-WM vor, ein hierarchisches Weltmodell, das logische und visuelle Zustandsübergänge in einem einheitlichen Framework kombiniert, um die Robustheit und Genauigkeit von Roboteraufgaben über lange Zeithorizonte zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einem Roboter beibringen, einen komplexen Kochauftrag zu erledigen: „Machen Sie einen Salat, schneiden Sie das Gemüse, rösten Sie das Brot und servieren Sie alles auf einem Tablett."

Ein herkömmlicher Roboter (basierend auf den aktuellen „Vision-Language-Action"-Modellen) würde versuchen, diesen Auftrag direkt umzusetzen. Er schaut auf den Tisch, hört den Befehl und versucht sofort, das Messer zu bewegen. Das Problem? Bei langen Aufgaben vergisst er oft den nächsten Schritt, stolpert über die Details oder führt die Schritte in der falschen Reihenfolge aus. Es ist, als würde man jemanden bitten, ein ganzes Buch auswendig zu lernen, ohne die Kapitelstruktur zu kennen – er stolpert über jedes Wort.

Die Forscher aus diesem Papier haben eine Lösung namens H-WM (Hierarchical World Model) entwickelt. Man kann sich das wie ein zweischichtiges Navigationssystem vorstellen, das dem Roboter hilft, nicht nur wohin er muss, sondern auch wie er dorthin gelangt.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Die zwei Gehirne des Roboters

Das H-WM besteht aus zwei Teilen, die zusammenarbeiten:

• Das „Logische Gehirn" (Der Architekt):
  Dieses Teil denkt wie ein erfahrener Bauleiter oder ein Schachspieler. Es kümmert sich nicht um die Farben der Wände oder die Form der Möbel. Stattdessen denkt es in logischen Schritten: „Zuerst muss die Tür offen sein, dann kann ich das Tablett nehmen, danach muss ich zum Kühlschrank gehen."

  • Die Analogie: Stellen Sie sich vor, Sie planen eine Reise. Das logische Gehirn schreibt die Reiseroute auf: „Berlin -> München -> Rom". Es weiß, dass Sie nicht nach Rom kommen können, ohne vorher München passiert zu haben. Es sorgt dafür, dass die Reihenfolge stimmt.

• Das „Visuelle Gehirn" (Der Maler):
  Das logische Gehirn sagt nur „Geh zum Kühlschrank". Aber wie sieht der Kühlschrank aus, wenn man ihn erreicht hat? Ist die Tür offen? Ist das Licht an? Das visuelle Gehirn füllt diese Lücke. Es erstellt keine hochauflösenden Videos (was zu viel Rechenleistung kostet und Fehler macht), sondern malt kleine, abstrakte Skizzen (sogenannte „latente Merkmale") davon, wie die Welt aussehen sollte, wenn der nächste Schritt erledigt ist.

  • Die Analogie: Wenn der Architekt sagt „Baue ein Haus", malt der Maler keine fotorealistischen Bilder von jedem Ziegelstein. Er malt stattdessen ein einfaches Symbol: „Hier ist ein Dach, dort eine Tür". Das reicht dem Roboter, um zu wissen: „Ah, ich bin am Ziel, wenn ich so etwas sehe."

2. Wie sie zusammenarbeiten (Die Hierarchie)

Das Geniale an H-WM ist, wie diese beiden Gehirne synchronisiert werden:

1. Der Plan: Das logische Gehirn plant die großen Schritte (Sub-Ziele). Es sagt: „Schritt 1: Hole das Brot."
2. Das Zielbild: Das visuelle Gehirn nimmt diesen Befehl und sagt: „Okay, wenn das Brot geholt ist, sollte das Tablett so aussehen..." und erstellt ein visuelles Zielbild für diesen Moment.
3. Die Ausführung: Der eigentliche Roboter (der VLA) schaut nun nicht nur auf die aktuelle Situation, sondern hat zwei Dinge im Kopf:
   • Was muss ich tun? (Logik: Brot holen)
   • Wie soll es aussehen, wenn ich fertig bin? (Visuell: Tablett mit Brot)

Dadurch verliert der Roboter nicht den Fokus. Er weiß genau, wann ein Schritt abgeschlossen ist, weil er das visuelle Zielbild mit der Realität vergleicht.

3. Warum ist das besser als alles andere?

• Bisherige Methoden (nur Logik): Sie sagten dem Roboter nur, was zu tun ist, aber nicht, wie es aussehen soll. Das führte dazu, dass der Roboter zwar die Reihenfolge kannte, aber oft an der Realität scheiterte (z. B. er griff nach einem Brot, das gar nicht da war, oder ignorierte ein Hindernis).
• Bisherige Methoden (nur Bilder): Sie versuchten, die ganze Zukunft als Video vorherzusagen. Das ist wie ein Film, der immer länger wird. Je länger der Film, desto mehr Fehler schleichen sich ein (das „Brot" wird im Video plötzlich zu einem „Apfel").
• H-WM (Die Mischung): Es nutzt die Stärke der Logik für die Struktur (keine Fehler in der Reihenfolge) und die Stärke der Bilder für die Genauigkeit (der Roboter sieht genau, wann er angekommen ist), aber nur in kleinen, überschaubaren Häppchen.

Das Ergebnis im echten Leben

In den Experimenten haben die Forscher gezeigt, dass Roboter mit diesem System Aufgaben viel besser meistern, die viele Schritte umfassen (z. B. einen Tisch aufräumen oder Zutaten für ein Rezept zusammenstellen).

• Ohne H-WM: Der Roboter schafft vielleicht 6 von 10 Aufgaben.
• Mit H-WM: Der Roboter schafft über 9 von 10 Aufgaben.

Zusammenfassend:
Stellen Sie sich H-WM wie einen klugen Assistenten vor, der dem Roboter nicht nur sagt „Mach das", sondern ihm auch eine Landkarte (Logik) und ein Foto des Ziels (Vision) für jeden einzelnen Schritt gibt. So stolpert der Roboter nicht mehr über die Details einer langen Aufgabe, sondern folgt einem klaren, sicheren Pfad zum Erfolg.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „H-WM: Robotic Task and Motion Planning Guided by Hierarchical World Model" auf Deutsch:

1. Problemstellung

Das Paper adressiert die grundlegenden Herausforderungen bei der Steuerung von Robotern in langfristigen Aufgaben (Long-Horizon Tasks) mit Vision-Language-Action (VLA) Modellen.

• Grenzen bestehender VLA-Ansätze: Die meisten aktuellen VLA-Modelle arbeiten im End-to-End-Paradigma, das visuelle Beobachtungen und Sprachanweisungen direkt in niedriglevelige Aktionen abbildet. Dies führt bei komplexen, mehrstufigen Aufgaben zu einem starken Leistungsabfall aufgrund von fehlerkumulierenden Effekten (compounding errors), mehrdeutigen Zielvorgaben und mangelnder Zwischenaufsicht.
• Schwächen bestehender Hierarchien:
  • LLM-basierte Planer: Nutzen natürliche Sprache als Schnittstelle, was zu semantischen Missverständnissen und mangelnder Berücksichtigung physikalischer Constraints führt.
  • Weltmodelle (Visual): Versuchen oft, Pixel-Vorhersagen zu generieren, was bei langen Zeithorizonten zu instabilen Vorhersagen und Fehlerfortpflanzung führt.
  • Klassisches Task and Motion Planning (TAMP): Bietet logische Konsistenz, ist aber oft starr, erfordert manuell entworfene Abstraktionen und ist schlecht mit rohen visuellen Beobachtungen abgestimmt (mangelnde Grounding).

Es fehlt ein Framework, das symbolisches logisches Reasoning (für Robustheit und Langzeitplanung) mit visueller Grounding (für physische Machbarkeit) in einem einheitlichen System vereint.

2. Methodik: Das Hierarchische Weltmodell (H-WM)

Die Autoren schlagen H-WM vor, ein Framework, das logische und visuelle Zustandsübergänge gemeinsam in einem hierarchischen Modell vorhersagt. Das System operiert auf zwei zeitlichen Auflösungen:

1. Niedrige Frequenz (Subtask-Ebene, Schritt $m$): Das Weltmodell plant die nächsten logischen Schritte und visuellen Teilziele.
2. Hohe Frequenz (Kontroll-Ebene, Schritt $t$): Ein VLA-Modell führt die feingranularen Bewegungen aus, gesteuert durch die vom Weltmodell bereitgestellten Ziele.

Das System besteht aus drei Hauptkomponenten:

A. Logisches Weltmodell (Logical World Model)

• Funktion: Führt langfristiges symbolisches Reasoning durch.
• Implementierung: Ein feinabgestimmtes Large Language Model (LLM, basierend auf Qwen3), das als Weltmodell und strukturierte Belohnungsfunktion dient.
• Funktionsweise: Es generiert Sequenzen von logischen Aktionen und Zustandsübergängen (basierend auf PDDL-ähnlicher Logik) unter Berücksichtigung physikalischer Constraints. Es agiert sowohl als Suchmaschine ($M_{search}$) für Kandidatenaktionen als auch als Evaluierer ($M_{eval}$) für logische Konsistenz.
• Vorteil: Bietet globale, konsistente Aufgabenplanung und vermeidet die Fehlerkumulation, die bei reinen End-to-End-Modellen auftritt.

B. Visuelles Weltmodell (Visual World Model)

• Funktion: Übersetzt die logischen Zwischenzustände in visuelle Teilziele (Subgoals), um die symbolische Planung zu visualisieren.
• Implementierung: Ein latentes Modell, das auf einem Verständnis-Experten (Understanding Expert) und einem Vorhersage-Experten (Prediction Expert) basiert.
• Funktionsweise: Anstatt ganze Bilder zu generieren (was rechenintensiv und fehleranfällig ist), sagt das Modell latente visuelle Merkmalsvektoren ($f_{pred}$) vorher. Diese Vektoren repräsentieren den gewünschten visuellen Zustand am Ende eines Subtasks.
• Training: Das Modell wird durch Synchronisation von logischen Zuständen, Aktionen und den entsprechenden End-Keyframes trainiert. Die Ausrichtung erfolgt über den Sliced Wasserstein Loss, um eine distributionelle Konsistenz zu gewährleisten.

C. Geführtes VLA (Guided VLA)

• Integration: Das eigentliche Roboterkontrollmodell (basierend auf $\pi0.5$) erhält Eingaben von beiden Weltmodellen.
• Architektur: Es nutzt drei Experten (Understanding, Goal, Action).
  • Der Understanding Expert kodiert die aktuelle Beobachtung und die logische Aktion.
  • Der Goal Expert verarbeitet die vorhergesagten latenten visuellen Teilziele ($f_{pred}$).
  • Der Action Expert nutzt Cross-Attention, um aktuelle Beobachtungen mit den langfristigen Zielen zu fusionieren und Aktions-Chunks zu generieren.
• Subtask-Erkennung: Ein separater Predictor-Head überwacht den Fortschritt und signalisiert den Abschluss eines Subtasks, um nahtlos zum nächsten logischen Schritt überzugehen.

3. Wichtige Beiträge

1. Einheitliches Framework: Erstmalige Kopplung von langfristiger logischer Planung und visueller Dynamik in einem hierarchischen Weltmodell für VLA-Systeme.
2. Logisches Weltmodell: Ein datengetriebenes, auf LLMs basierendes Modell für symbolisches Planen, das robust gegenüber unvollständigen Zustandslabels ist.
3. Visuelles Weltmodell: Ein effizientes Modell zur Generierung kompakter latenter Teilziel-Features, das die Lücke zwischen Symbolik und Wahrnehmung schließt, ohne die Fehleranfälligkeit von Pixel-Generierung.
4. Systematische Pipeline: Eine vollständige Methode zur Integration dieser Guidance in bestehende VLA-Policies, die physisch fundierte Ausführung über lange Zeiträume ermöglicht.

4. Ergebnisse

Die Methode wurde auf mehreren Benchmarks evaluiert, darunter LIBERO-10, RoboCerebra und einem neuen, anspruchsvollen Benchmark LIBERO-LoHo (mit bis zu 7 Schritten).

• Leistung auf Long-Horizon-Aufgaben:
  • H-WM-gesteuertes $\pi0.5$ übertrifft das Basis-$\pi0.5$ signifikant. Auf LIBERO-LoHo stieg die Erfolgsrate (Success Rate) von 6,4 % auf 64,8 % und der Q-Score (Anteil erfüllter Teilziele) von 55,3 % auf 84,9 %.
  • Im Vergleich zu reinen LLM-Planern (LLM-guided) oder rein logischen Planern (Logic-guided) zeigt H-WM die beste Gesamtleistung, da es die Stärken beider Welten kombiniert.
• Ablationsstudien:
  • Der reine logische Guide verbessert die Leistung bereits stark (+40 % Erfolgsrate gegenüber Basis).
  • Die Hinzunahme der visuellen Guidance bringt weitere signifikante Verbesserungen (+17 % Erfolgsrate).
  • Der Vergleich mit einem pixelbasierten Ansatz (Stable Diffusion) zeigt, dass die latente Vorhersage effektiver ist als die Bildgenerierung, da sie weniger Rauschen und unnötige Details einführt.
• Real-World-Experiment:
  • Auf einem UR5e-Roboter wurde eine 8-stufige Tischreinigungsaufgabe erfolgreich durchgeführt. H-WM erreichte hier eine deutlich höhere Stufen-Erfolgsrate als ungesteuerte Baselines, was die Übertragbarkeit in reale Umgebungen bestätigt.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass hierarchisches Weltmodellieren ein effektiver Weg ist, um die Kluft zwischen symbolischem Reasoning und visueller Wahrnehmung in der Robotik zu schließen.

• Bedeutung: H-WM löst das Problem der Fehlerkumulation bei langen Aufgaben, indem es stabile, interpretierbare Zwischenziele bereitstellt. Es ermöglicht Robotern, komplexe, mehrstufige Aufgaben mit hoher Zuverlässigkeit auszuführen, ohne auf manuell entworfene Regeln angewiesen zu sein.
• Limitationen: Das System erfordert zusätzliche Trainingsphasen und eine strukturierte logische Repräsentation der Aufgaben.
• Zukunft: Zukünftige Arbeiten zielen darauf ab, die Trainingseffizienz zu steigern, die Abhängigkeit von expliziter logischer Supervision zu reduzieren und das Framework auf weitere Sensormodalitäten zu erweitern.

Zusammenfassend stellt H-WM einen wichtigen Schritt hin zu robusteren, generalisierbaren und langfristig planenden Robotersystemen dar.