ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models

Die Arbeit stellt ViPlan vor, den ersten Open-Source-Benchmark zum Vergleich symbolischer Planungsansätze mit Vision-Language-Modellen (VLMs) versus direkter VLM-Planung, und zeigt, dass je nach Domäne (Blocksworld vs. Haushaltsrobotik) entweder die symbolische Grounding-Methode oder die direkte Planung überlegen ist, während Chain-of-Thought-Prompting keine konsistenten Vorteile bietet.

Das Wesentliche

Stell dir vor, du möchtest einem Roboter beibringen, einen Haushalt zu ordnen oder ein komplexes Puzzle zu lösen. Dafür gibt es im Grunde zwei verschiedene Strategien, wie man ihm dabei helfen kann. Die Forscher haben mit ihrer Arbeit „ViPlan" ein neues Testfeld geschaffen, um herauszufinden, welche Strategie besser funktioniert.

Hier ist die Erklärung der Studie in einfachen Worten, mit ein paar bildhaften Vergleichen:

Das große Problem: Der Roboter sieht die Welt, versteht sie aber nicht immer

Roboter haben Kameras (Augen) und können Bilder sehen. Aber ein Bild allein reicht nicht, um zu planen. Ein Roboter muss wissen: „Ist dieser Becher leer?", „Liegt das Buch auf dem Tisch?" oder „Kann ich diesen Block greifen?".

Bisher gab es zwei Hauptmethoden, wie man Künstliche Intelligenz (KI) dabei hilft:

1. Der „Direkt-Planer" (VLM-as-planner):

   • Die Analogie: Stell dir einen sehr gut ausgebildeten, aber etwas chaotischen Traumdeuter vor. Du zeigst ihm ein Bild und sagst: „Mach das Ziel fertig." Er schaut sich das Bild an, nutzt sein riesiges Wissen über die Welt (was man normalerweise tut) und sagt sofort: „Okay, ich greife jetzt den Becher!" Er plant alles direkt aus dem Bild heraus, ohne Zwischenschritte zu überprüfen.
   • Das Problem: Er träumt manchmal Dinge, die nicht da sind. Er denkt, er kann einen Block greifen, obwohl er feststeckt, weil er sich auf sein „Bauchgefühl" (Sprachwissen) verlässt, statt genau hinzusehen.

2. Der „Übersetzer" (VLM-as-grounder):

   • Die Analogie: Stell dir einen strengen Buchhalter vor, der mit einem strengen Logik-System (einem Symbol-Planer) arbeitet. Der Buchhalter schaut sich das Bild an und beantwortet nur Ja/Nein-Fragen für den Planer: „Ist der Becher greifbar? Ja/Nein. Ist der Tisch frei? Ja/Nein."
   • Der Planer nimmt diese Ja/Nein-Antworten und baut daraus einen perfekten, logischen Fahrplan.
   • Das Problem: Wenn der Buchhalter bei einer einzigen Frage einen Fehler macht (z. B. „Ja, der Becher ist greifbar", obwohl er hinter einem anderen Objekt versteckt ist), bricht der ganze Plan zusammen.

Der neue Test: „ViPlan"

Die Forscher haben zwei verschiedene Spielwiesen gebaut, um diese beiden Methoden zu testen:

• Spielwiese 1: Das Block-Welt-Puzzle (ViPlan-BW)

  • Hier geht es um farbige Blöcke, die gestapelt werden müssen. Alles ist klar sichtbar, wie auf einem sauberen Tisch.
  • Das Ergebnis: Der Übersetzer (Buchhalter) gewinnt hier klar. Da alles klar sichtbar ist, kann er die Ja/Nein-Fragen fast perfekt beantworten. Der Traumber (Direkt-Planer) macht hier viele Fehler, weil er versucht, zu viel aus dem Bild zu „raten".
  • Ergebnis: 46 % Erfolg für den Übersetzer vs. nur 9 % für den Traumber.

• Spielwiese 2: Der virtuelle Haushalt (ViPlan-HH)

  • Hier ist es wie in einem echten Wohnzimmer. Dinge sind verdeckt, man sieht nicht alles auf einmal, und es gibt viele verschiedene Objekte (Türen, Schubladen, Geschirr).
  • Das Ergebnis: Hier gewinnt überraschend der Traumber (Direkt-Planer). Warum? Weil er sein großes Sprachwissen nutzt. Er weiß aus Erfahrung: „Wenn ich eine Tür öffnen will, muss ich erst zum Schrank gehen." Der Übersetzer (Buchhalter) scheitert hier, weil er zu viele Fragen stellen muss. Wenn er bei einer einzigen Frage (z. B. „Ist die Tür offen?") einen Fehler macht, weil er das Bild nicht ganz sieht, gerät der ganze logische Plan in Panik.
  • Ergebnis: 34 % Erfolg für den Traumber vs. nur 5 % für den Übersetzer.

Die große Entdeckung: „Nachdenken" hilft nicht immer

Die Forscher haben auch getestet, ob es hilft, wenn man den KI-Modellen sagt: „Denk erst Schritt für Schritt nach, bevor du antwortest" (das nennt man „Chain-of-Thought").

• Die Metapher: Es ist, als würde man einem Schüler sagen: „Schreib erst eine lange Erklärung auf, bevor du die Matheaufgabe löst."
• Das Ergebnis: In den meisten Fällen hat das nicht geholfen. Oft wurde es sogar schlimmer! Die KI fing an, sich in ihren eigenen Gedanken zu verheddern, wiederholte sich wie ein kaputtes Radio und verbrauchte dabei ihre ganze Zeit (das Token-Limit), ohne jemals eine Lösung zu finden. Es scheint, dass aktuelle KI-Modelle beim visuellen Nachdenken noch nicht so gut sind wie beim bloßen Raten.

Fazit für den Alltag

Die Studie zeigt uns, dass es keine „eine perfekte Lösung" gibt:

• Wenn die Welt klar und übersichtlich ist (wie beim Puzzle), ist es besser, die KI als strengen Übersetzer zu nutzen, der Fakten prüft.
• Wenn die Welt chaotisch und unvollständig ist (wie im echten Leben), ist es besser, der KI zu vertrauen, dass sie ihr Wissen über die Welt nutzt, um plausible Schritte zu planen, auch wenn sie nicht alles perfekt sieht.

ViPlan ist also wie ein neuer, fairer Wettkampfplatz, der zeigt, wo die Stärken und Schwächen unserer aktuellen Roboter-Helfer liegen, damit wir sie in Zukunft besser einsetzen können.

Technische Zusammenfassung

1. Problemstellung

Die Integration von Large Language Models (LLMs) mit symbolischen Planern gilt als vielversprechender Ansatz, um verifizierbare und fundierte Pläne zu erstellen. Vision-Language Models (VLMs) erweitern diese Idee auf visuelle Domänen. Es gibt jedoch zwei konkurrierende Paradigmen, deren relative Stärken und Schwächen bisher unzureichend verstanden sind, da es an einem offenen Benchmark fehlt, der beide unter gleichen Bedingungen vergleicht:

1. VLM-as-Planner: Das VLM generiert direkt Aktionen basierend auf visuellen Eingaben, ohne explizite symbolische Repräsentation.
2. VLM-as-Grounder: Das VLM dient als „Grounding"-Schicht, die visuelle Beobachtungen in symbolische Prädikate (z. B. PDDL-Prädikate wie holding oder reachable) übersetzt. Ein symbolischer Planer nutzt diese Daten, um den eigentlichen Plan zu erstellen.

Das Hauptproblem besteht darin, dass aktuelle VLMs Schwierigkeiten haben, Objekte und Beziehungen korrekt zu erkennen (Halluzinationen) und formales Planen zu beherrschen. Bisherige Benchmarks konzentrierten sich entweder nur auf direktes Planen oder nutzten geschlossene Systeme, was einen fairen Vergleich unmöglich machte.

2. Methodik: Der ViPlan-Benchmark

Die Autoren stellen ViPlan vor, den ersten Open-Source-Benchmark, der beide Ansätze systematisch vergleicht.

Domänen:
Der Benchmark umfasst zwei visuelle Domänen mit unterschiedlichen Anforderungen:

• ViPlan-Blocksworld (ViPlan-BW): Eine visuelle Variante des klassischen Blocksworld-Planungsproblems. Die Umgebung ist vollständig beobachtbar, die Objekte (Blöcke) sind klar definiert, und die Aufgabe besteht darin, Blöcke in einer spezifischen Konfiguration zu stapeln. Dies testet die Fähigkeit zur präzisen visuellen Grounding.
• ViPlan-Household (ViPlan-HH): Eine simulierte Robotik-Umgebung (basierend auf iGibson 2.0 mit dem Fetch-Roboter). Sie beinhaltet Navigation und Manipulation in einem Haushalt. Diese Domäne ist teilweise beobachtbar (nicht alle Objekte sind sichtbar) und erfordert linguistisches Wissen über Objektbeziehungen und Handlungen.

Methoden-Klassen:
Es werden acht spezifische Implementierungen getestet, die auf zwei Hauptklassen basieren:

• VLM-as-Planner: Das VLM erhält ein Bild, ein Ziel und eine Aktionsliste und generiert entweder einen vollständigen Plan (JSON) oder die nächste Aktion. Varianten beinhalten Chain-of-Thought (CoT) Prompting.
• VLM-as-Grounder: Das VLM übersetzt Bilder in Wahrheitswerte für Prädikate (Ja/Nein-Fragen). Ein symbolischer Planer (Fast Downward) erstellt den Plan. Das System überprüft vor und nach jeder Aktion die Prädikate. Bei Inkonsistenzen wird neu geplant. Auch hier gibt es Varianten mit CoT und einem Gedächtnis-Mechanismus (Memory), der vorherige Grounding-Fehler berücksichtigt.

Modellauswahl:
Von einem Pool von 21 Open-Source-VLMs (z. B. InternVL, Qwen, LLaVA, Gemma) wurden die Top-5-Modelle basierend auf einer Vorab-Evaluierung für den Hauptbenchmark ausgewählt. Zusätzlich wurden geschlossene Modelle (GPT-4.1, GPT-5.2) als Referenz getestet.

3. Wichtige Beiträge

• Erster offener Vergleich: Bereitstellung des ersten Open-Source-Benchmarks, der VLM-as-Planner und VLM-as-Grounder unter identischen Protokollen und Umgebungen vergleicht.
• Zwei komplementäre Domänen: Schaffung von Umgebungen, die unterschiedliche Fähigkeiten testen (präzises Grounding vs. linguistische Priors).
• Umfassende Evaluation: Testen von 21 Modellen und 8 Methoden-Varianten, einschließlich Analyse von Chain-of-Thought (CoT) und Fehlermodi.
• Qualitative Fehleranalyse: Detaillierte Untersuchung von Misserfolgsursachen wie Grounding-Halluzinationen, Planungsinkonsistenzen und Parsing-Fehlern.

4. Ergebnisse

Die Ergebnisse zeigen einen klaren Trade-off zwischen den beiden Ansätzen, abhängig von der Domäne:

• In ViPlan-Blocksworld (Vollständig beobachtbar):

  • VLM-as-Grounder übertrifft VLM-as-Planner deutlich (46 % vs. 9 % Erfolgsrate).
  • Grund: Da die Umgebung klar definiert ist, ist die präzise Übersetzung von Bildern in symbolische Prädikate entscheidend. Der symbolische Planer kann dann fehlerfrei planen. Direkte Planung durch VLMs scheitert oft an der Notwendigkeit, den Zustand intern zu simulieren.

• In ViPlan-Household (Teilweise beobachtbar):

  • VLM-as-Planner ist VLM-as-Grounder weit überlegen (34 % vs. 5 % Erfolgsrate).
  • Grund: Die teilweise Beobachtbarkeit und die Komplexität der Umgebung führen dazu, dass das Grounding von VLMs (durch viele Ja/Nein-Fragen) anfällig für Fehler ist. Diese Fehler kumulieren sich und führen zu inkonsistenten Zuständen. VLM-as-Planner nutzt hingegen linguistische Priors (Vorwissen über Haushaltsaufgaben), um plausible Aktionen zu generieren, auch wenn die visuelle Information unvollständig ist.

• Einfluss von Chain-of-Thought (CoT):

  • CoT-Prompting führt nicht zu einer konsistenten Leistungssteigerung. In vielen Fällen verschlechtert es die Ergebnisse, insbesondere bei VLM-as-Planner in ViPlan-HH (Rückgang von 39 % auf 23 %).
  • Ursache: Modelle geraten oft in repetitive Denkzyklen, erschöpfen das Token-Limit, ohne einen gültigen Plan zu generieren, oder produzieren inkohärente Argumentationsketten.

• Fehleranalyse:

  • VLM-as-Planner: Scheitert oft durch wiederholtes Ausführen nicht ausführbarer Aktionen oder durch Formatierungsfehler (Parsing).
  • VLM-as-Grounder: Scheitert primär durch falsches Grounding von Voraussetzungen (Preconditions). Wenn eine gültige Voraussetzung fälschlicherweise als nicht erfüllt markiert wird, führt dies zu Sackgassen; wenn eine ungültige als erfüllt markiert wird, führt dies zu endlosen Schleifen.

5. Bedeutung und Fazit

ViPlan demonstriert, dass es keinen „One-size-fits-all"-Ansatz für visuelles Planen mit VLMs gibt:

• Für strukturierte, vollständig beobachtbare Umgebungen ist die Kombination aus VLM (als Grounding) und symbolischem Planer überlegen.
• Für komplexe, teilweise beobachtbare reale Szenarien (wie Haushaltsrobotik) sind direkte VLM-Planer derzeit robuster, da sie linguistisches Kontextwissen besser nutzen können als reine Grounding-Methoden, die unter Partial Observability leiden.

Die Studie unterstreicht die aktuellen Grenzen der visuellen Schlussfolgerungsfähigkeiten von VLMs. Trotz der Verfügbarkeit von CoT-Prompting bleiben Modelle in der Lage, konsistente, mehrstufige Pläne basierend auf visuellen Eingaben zu erstellen, begrenzt. Der Benchmark lädt die Community ein, neue robuste Planungsansätze zu entwickeln, die sowohl die Strenge symbolischer Planung als auch die Flexibilität des visuellen Lernens vereinen.