Technisches Resümee: Uni-Plan – Planung mit vereinheitlichten multimodalen Modellen

Problemstellung

Jüngste Fortschritte bei Large Language Models (LLMs) und Vision-Language Models (VLMs) haben das Interesse geweckt, diese für Entscheidungsfindung und Planung einzusetzen. Bestehende Ansätze verlassen sich jedoch überwiegend auf textbasierte Argumentation, wobei visuelle Eingaben oft nur in der Anfangsphase verarbeitet werden. Diese unimodale Einschränkung schränkt die Fähigkeit des Modells ein, den aktuellen Zustand präzise darzustellen und über räumliche oder visuelle Dynamiken während des gesamten Planungsprozesses zu argumentieren. Während einige Arbeiten versuchen, Bilder durch den Aufruf externer Werkzeuge (z. B. Code-Ausführung zum Plotten oder separate Vision-Modelle zur Segmentierung) zu integrieren, mangelt es diesen Methoden an Anpassungsfähigkeit und Generalisierung. Darüber hinaus haben Unified Multimodal Models (UMMs), die nativ sowohl multimodale Eingaben als auch Ausgaben unterstützen, vielversprechende Ansätze gezeigt, leiden aber unter einem „Fluch des Horizonts“ (Curse of the Horizon). Speziell haben sie Schwierigkeiten, als getreue Dynamikmodelle zu fungieren, da sie oft nicht in der Lage sind, genaue Beobachtungen des nächsten Zustands vorherzusagen, insbesondere in stochastischen Umgebungen oder wenn präzise kausale Effekte erforderlich sind.

Methodik

Die Autoren schlagen Uni-Plan vor, ein Planungsframework, das ein einziges Unified Multimodal Model (UMM) nutzt, um gleichzeitig vier verschiedene Rollen zu übernehmen: (i) eine Policy, (ii) ein Dynamikmodell, (iii) einen Selbst-Diskriminator und (iv) eine Value Function. Das Framework basiert auf dem BAGEL-Modell, einem hochmodernen Open-Source-UMM.

Kernkomponenten

1. UMM als Dynamikmodell: Das System erfordert, dass das Modell die nächste visuelle Beobachtung ($o_{h+1}$) unter der Bedingung der aktuellen Beobachtung ($o_h$) und einer textuellen Aktion ($a_h$) vorhersagt. Während Standard-UMMs grundlegende Bildbearbeitung durchführen können, scheitern sie oft daran, die kausale Konsistenz in komplexen oder stochastischen Szenarien (z. B. Objektumordnung mit mehreren validen Ergebnissen) aufrechtzuerhalten.
2. Selbst-diskriminierte Filterung: Um die Ungenauigkeit von Dynamikvorhersagen zu adressieren, führen die Autoren einen neuartigen Filtermechanismus ein. Das UMM wird gemeinsam für die inverse Dynamik-Inferenz ($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$) trainiert. Während der Planung generiert das Modell mehrere Kandidaten für die nächste Beobachtung. Es operiert dann im inversen Dynamikmodus, um die Aktion abzuleiten, die vom aktuellen Zustand zu jedem Kandidaten führen würde. Kandidaten werden nur beibehalten, wenn die abgeleitete Aktion mit der tatsächlich ausgeführten Aktion übereinstimmt. Dieser Prozess, kombiniert mit Checks auf die Konsistenz der Objektanzahl, filtert effektiv halluzinierte oder ungültige Übergänge heraus.
3. Planungsalgorithmen:
   • Open-Loop-Planung: Wird für vollständig beobachtbare Umgebungen verwendet. Die Policy (ein gepromptetes UMM) schlägt Kandidaten-Aktionen vor, und das Dynamikmodell führt diese aus (Rollout). Eine Beam-Suche wird im imaginierten Zustandsraum durchgeführt, wobei nachfolgende Zustände mittels selbst-diskriminierter Filterung gefiltert und durch eine Value Function (ein feinjustiertes UMM, das die verbleibenden Schritte zum Ziel vorhersagt) bewertet werden.
   • Closed-Loop-Planung: Wird für teilweise beobachtbare Umgebungen verwendet. Inspiriert vom „Proposal, Simulation, and Revision“-Paradigma generiert die Policy mehrere Kandidaten-Aktionssequenzen. Das Dynamikmodell simuliert diese Sequenzen bis zu ihrem Horizont, und die Value Function wählt die vielversprechendste Sequenz aus. Der Agent führt nur die ersten $L$ Aktionen aus, beobachtet den neuen Zustand und plant neu, was eine kontinuierliche Feedback-Korrektur ermöglicht.

Trainingsstrategie

Im Gegensatz zu vielen VLM-basierten Planern, die Expertendemonstrationen für das Fine-Tuning benötigen, wird Uni-Plan auf Nicht-Experten-Trajektorien trainiert. Die Vorwärts- und Rückwärts-Dynamikmodelle werden auf Übergangsdaten feinjustiert, während die Policy-Komponente kein Fine-Tuning benötigt. Die Value Function wird auf gelabelten Daten trainiert, um die Anzahl der Schritte bis zu einem Ziel zu schätzen.

Wichtige Beiträge

1. Selbst-diskriminierte Filterung: Eine neuartige Technik, bei der das generative Modell als sein eigener Diskriminator fungiert, um ungültige Dynamikvorhersagen zu filtern, was die Zuverlässigkeit des Dynamikmodells signifikant verbessert, ohne externe Verifizierungswerkzeuge zu benötigen.
2. Vereinheitlichtes Planungsframework (Uni-Plan): Ein System, in dem ein einziges UMM die Rollen von Policy, Dynamikmodell, Selbst-Diskriminator und Value Function integriert und so eine integrierte Planung durch generierte visuelle Inhalte ermöglicht.
3. Überlegene Leistung und Skalierbarkeit: Das Framework zeigt erhebliche Verbesserungen gegenüber VLM-basierten Methoden in körperlich handelnden (embodied) Entscheidungsaufgaben. Es erreicht hohe Erfolgsraten ohne Expertendemonstrationen und weist eine starke Datenskalierbarkeit auf, wobei es VLMs selbst bei gleichem Training auf Nicht-Experten-Daten übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten Uni-Plan auf sechs Aufgaben der körperlich handelnden Entscheidungsfindung, die 2D-Navigation, Manipulation und 3D-Navigation umfassen (einschließlich FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition und Image-Goal Navigation).

• Leistung: Uni-Plan erreichte nahezu 30 % höhere Erfolgsraten im Vergleich zu Open-Source VLM-basierten Planungsmethoden (einschließlich CoT-Varianten) über alle Aufgaben hinweg. Es erreichte zudem die Leistung des leistungsstarken, geschlossenen GPT-5-Thinking-Modells.
• Ablationsstudien:
  • Dynamikmodell: Das feinjustierte BAGEL diente als hochgradig generalisierbares Dynamikmodell und übertraf Modelle, die von Grund auf auf Out-of-Distribution (OOD) Layouts trainiert wurden, deutlich.
  • Filterung: Die selbst-diskriminierte Filterung erwies sich als entscheidend; das Entfernen führte zu einem signifikanten Abfall der Planungs-Erfolgsraten, was bestätigt, dass bessere Suchalgorithmen schlechte Übergangsmodelle nicht kompensieren können.
  • Dateneffizienz: Uni-Plan erreichte eine starke Leistung mit nur 500 Trajektorien, während VLM-Baselines selbst mit der vierfachen Menge an Daten keine wettbewerbsfähigen Ergebnisse erzielen konnten.
• Effizienz: Durch die Verwendung eines einzelnen Modells zur Generierung von Bildern statt Videos (wie beim Video Language Planning) erreichte Uni-Plan etwa eine 10-fache Beschleunigung der Inferenzzeit im Vergleich zu video-basierten Planungs-Baselines.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass Uni-Plan einen Wechsel darstellt: Weg von der bloßen Nutzung generierter Bilder zur Visualisierung von Argumentationspfaden, hin zur Nutzung von Bildern als Zwischenschritte für kontrafaktisches Denken. Durch die Simulation mehrerer möglicher Zukünfte unter verschiedenen Aktionen evaluiert das Modell aktiv alternative Trajektorien, anstatt lediglich seinen Denkprozess zu exponieren.

Die Autoren behaupten, dass diese Arbeit ein Fundament für die zukünftige Forschung in der Argumentation und Entscheidungsfindung mit UMMs legt. Sie heben hervor, dass die Fähigkeit, Policy, Dynamik und Value Functions innerhalb eines einzigen Modells zu vereinen – verstärkt durch selbst-diskriminierte Filterung – einen robusteren und dateneffizienteren Ansatz für Embodied AI bietet als aktuelle textzentrierte oder werkzeugabhängige Paradigmen. Die Arbeit legt nahe, dass die inhärenten multimodalen Generierungsfähigkeiten von UMMs, wenn sie richtig genutzt werden, die visuelle Argumentations- und Planungsleistung signifikant stärken können.