🤖 AI

Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning

Das Papier stellt BISON vor, ein System, das niedrigstufiges neuronales Imitationslernen mit hochstufigen symbolischen Abstraktionen kombiniert, um zweistufige Strategien zu schaffen, die in der Lage sind, Planungsaufgaben mit langem Zeithorizont und einer großen Anzahl von Objekten effizient zu lösen und dabei bestehende End-to-End-Methoden in Bezug auf Skalierbarkeit und Effizienz übertreffen.

Ursprüngliche Autoren: Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen unordentlichen Raum zu reinigen. Wenn Sie dem Roboter lediglich ein Video zeigen, wie jemand einen Raum aufräumt, könnte er lernen, wie man eine bestimmte Socke aufhebt oder ein bestimmtes Hemd faltet. Doch wenn Sie ihn bitten, einen Raum mit 100 verschiedenen Gegenständen zu reinigen, oder wenn sich die Gegenstände während der Arbeit bewegen, versagt dieser einfache „Kopier-Modus" oft. Er wird überwältigt.

Diese Arbeit stellt eine neue Methode zur Ausbildung von Robotern vor, die BISON genannt wird. Denken Sie an BISON als ein „Manager-und-Arbeiter"-System, das das Beste aus zwei verschiedenen Lehrstilen kombiniert.

Der Zwei-Team-Ansatz

Die Autoren erkannten, dass Roboter zwei verschiedene Arten von „Gehirnen" benötigen, die zusammenarbeiten:

Der Arbeiter (Low-Level-Policy): Dies ist das Muskelgedächtnis. Es ist wie ein hochqualifizierter Tänzer, der genau weiß, wie er seine Arme und Finger bewegen muss, um eine Tasse zu greifen, ohne sie fallen zu lassen. Der Roboter lernt dies, indem er viele Videos (Demonstrationen) von Menschen beobachtet, die die physischen Aufgaben ausführen. In der Arbeit ist dies ein neuronales Netz, das die chaotischen, kontinuierlichen Details der realen Welt verarbeitet.
Der Manager (High-Level-Policy): Dies ist der strategische Planer. Ihn interessiert nicht, wie die Finger bewegt werden; ihm geht es darum, was als Nächstes zu tun ist. Er denkt in Symbolen und Logik, wie ein Schachspieler oder ein Projektmanager. Er sagt: „Zuerst den roten Block aufnehmen. Dann zum Tisch gehen. Dann ablegen."

Das Problem: Normalerweise kommunizieren diese beiden nicht gut miteinander. Der „Arbeiter" ist zu dumm, um eine lange Sequenz zu planen, und der „Manager" ist zu abstrakt, um zu wissen, wie er den Arm des Roboters tatsächlich bewegen soll.

Die BISON-Lösung: BISON trainiert den Manager, indem es die vergangenen Erfolge des Arbeiters betrachtet. Es nimmt die chaotischen Videos der Roboterbewegungen, übersetzt sie in eine einfache, symbolische Geschichte (wie einen Comic-Streifen) und lehrt dann den Manager, ein Skript basierend auf dieser Geschichte zu schreiben.

Wie es funktioniert: Die „Rezept"-Analogie

Stellen Sie sich vor, Sie wollen einem Roboter beibringen, einen Kuchen zu backen, aber Sie haben nur Videos eines menschlichen Bäckers, der dies tut.

Das Video ansehen (Low-Level-Daten): Sie nehmen auf, wie der Bäcker mischt, gießt und backt. Dies sind die „Low-Level"-Daten.
Die Geschichte zusammenfassen (Abstraktion): BISON betrachtet das Video und ignoriert die winzigen Details (wie die genaue Geschwindigkeit des Schneebesen). Stattdessen erstellt es eine Zusammenfassung: „Schritt 1: Zutaten mischen. Schritt 2: In die Form gießen. Schritt 3: Backen." Dies ist die „High-Level"-Geschichte.
Die Regeln lernen (Goal Regression): Das System betrachtet das Ziel („Wir wollen einen Kuchen") und arbeitet rückwärts. Es fragt: „Um einen Kuchen zu erhalten, mussten wir backen. Um zu backen, mussten wir gießen." Es verwandelt dieses rückwärts gerichtete Denken in eine Reihe einfacher „Wenn-Dann"-Regeln.
- Regel: „WENN wir Teig UND eine leere Form haben, DANN gießen."
- Regel: „WENN wir eine Form im Ofen haben, DANN warten."
Verallgemeinern (Der magische Trick): Dies ist die größte Behauptung der Arbeit. Die meisten Roboter scheitern, wenn Sie ihnen ein Rezept für 1 Kuchen geben und sie dann bitten, 100 Kuchen zu backen. BISONs Regeln sind mit „Variablen" geschrieben (wie „WENN wir irgendeinen Teig haben..."). Das bedeutet, dass der Manager 1 Kuchen, 10 Kuchen oder sogar 10.000 Kuchen bewältigen kann, ohne dass ein neues Training erforderlich ist. Es ist wie ein Rezept, das sagt „Mehl hinzufügen" statt „2 Tassen Mehl für diese spezifische Schüssel hinzufügen".

Warum es besser ist als die Konkurrenz

Die Arbeit testete BISON gegen andere Methoden, darunter:

VLA-Modelle (Vision-Language-Action): Dies sind wie riesige KI-Chatbots, die versuchen, die Welt zu sehen und zu handeln. Die Arbeit ergab, dass diese bei langen Aufgaben stark versagten und sich leicht verwirrten.
End-to-End-Neuronale Netze: Diese versuchen, alles auf einmal zu lernen. Sie sind wie ein Schüler, der versucht, jeden einzelnen Schritt eines 100-seitigen Buches auswendig zu lernen. Sie funktionieren bei kurzen Aufgaben in Ordnung, scheitern aber, wenn die Aufgabe lang wird oder die Anzahl der Objekte zunimmt.
Traditionelle symbolische Planer: Diese sind sehr logisch, können aber die chaotische, unvorhersehbare reale Welt nicht bewältigen (wie einen Block, der unerwartet umfällt).

BISONs Erfolge:

Längere Aufgaben: Es kann viel weiter vorausplanen als die anderen.
Mehr Objekte: Während andere Methoden abstürzten, wenn die Anzahl der Objekte über 6 oder 10 stieg, bewältigte BISON Umgebungen mit deutlich mehr Objekten.
Geschwindigkeit: Der „Manager"-Teil von BISON ist so effizient, dass er, wenn man die Zeit ignoriert, die zum tatsächlichen Bewegen des Roboterarms benötigt wird, ein Planungsproblem mit 10.000 Objekten in unter einer Minute lösen kann. Das ist wie die Planung einer Hochzeit für 10.000 Gäste im Handumdrehen.

Der „Offene-Welt"-Vorteil

Die Arbeit hebt auch hervor, dass BISON in „offenen Welten" funktioniert. Stellen Sie sich einen Roboter in einem Raum vor, in dem neue Gegenstände plötzlich aus dem Nichts erscheinen oder sich Objekte teleportieren könnten.

Alte Methoden brechen oft, weil sie auf einem bestimmten Satz von Objekten trainiert wurden.
BISON nutzt seine symbolischen „Wenn-Dann"-Regeln. Wenn ein neues Objekt erscheint, prüft der Manager einfach: „Gibt es eine Regel für dieses Objekt?" Wenn die Regel sagt „Wenn es einen roten Block gibt, hebe ihn auf", wird der Roboter den neuen roten Block sofort aufnehmen, selbst wenn er diesen spezifischen Block noch nie gesehen hat.

Zusammenfassung

Einfach ausgedrückt ist BISON ein System, das einem Roboter beibringt, sowohl ein geschickter Arbeiter als auch ein kluger Manager zu sein. Es beobachtet, wie der Arbeiter die Arbeit erledigt, fasst die Arbeit in einfache logische Regeln zusammen und nutzt diese Regeln dann, um für Aufgaben jeder Größe vorauszuhalten. Es ist schneller, intelligenter und flexibler als aktuelle Methoden und ermöglicht Robotern, komplexe, langfristige Ziele mit vielen beweglichen Teilen zu bewältigen, ohne sich zu verirren.

Technische Zusammenfassung: Erlernen von zweistufigen Strategien über symbolische Weltmodelle für die Langzeitplanung

Problemstellung

Die Arbeit adressiert die Herausforderung, verkörperte KI-Agenten zu entwickeln, die in der Lage sind, Langzeitplanungsprobleme in kontinuierlichen Zustands- und Aktionsräumen mit variierenden Anzahlen von Objekten zuverlässig zu lösen. Während Imitationslernen aus Demonstrationen sich für die motorische Kontrolle und Manipulation auf niedriger Ebene (LL) als effektiv erwiesen hat, zeigt es Schwierigkeiten bei der Generierung effizienter Langzeitpläne. Umgekehrt sind symbolische Planer auf hoher Ebene (HL) für das Langzeit-Reasoning effektiv, versagen jedoch häufig bei der Generalisierung auf Szenarien mit variierenden sensorischen Modalitäten, partieller Beobachtbarkeit und komplexer Dynamik auf niedriger Ebene.

Die Autoren formulieren das Problem als Erlernen einer zielkonditionierten Strategie $\pi(all | s_{ll}, g_{hl})$ , die Aktionen auf niedriger Ebene ( $a_{ll}$ ) auswählt, um Ziele auf hoher Ebene ( $g_{hl}$ ) zu erreichen. Die Lerneingaben bestehen aus:

LL-Demonstrationen: Trajektorien von Zuständen und Aktionen, gepaart mit HL-Zielen.
Abstraktionssprache ( $D$ ): Eine Domänentheorie, die Prädikate und Aktionsschemata definiert.
Kennzeichnungsfunktion ( $L$ ): Eine Abbildung von LL-Beobachtungen auf symbolische HL-Zustände.

Das Ziel ist es, eine Strategie zu erlernen, die in einer Zero-Shot-Manier auf ungesehene Zustände und Ziele generalisiert, wobei beliebige Anzahlen von Objekten und Open-World-Bedingungen berücksichtigt werden.

Methodik

Die Autoren schlagen BISON vor, ein System, das zweistufige Strategien $(\pi_{hl}, \pi_{ll})$ erlernt, indem es neuronales Imitationslernen mit symbolischer Abstraktion und induktiver Generalisierung kombiniert.

1. Architektur der zweistufigen Strategie

Das System zerlegt das Problem in zwei distincte Strategien:

Strategie auf hoher Ebene (HL) ( $\pi_{hl}$ ): Eine symbolische Strategie, die auf abstrakten Zuständen ( $s_{hl}$ ) und Zielen ( $g_{hl}$ ) operiert, um HL-Aktionen ( $a_{hl}$ ) vorzuschlagen.
Strategie auf niedriger Ebene (LL) ( $\pi_{ll}$ ): Eine neuronale Strategie (Graph-Neuronales Netzwerk), die den aktuellen LL-Zustand ( $s_{ll}$ ), den vorgeschlagenen HL-Aktionsvorschlag ( $a_{hl}$ ) und das Ziel ( $g_{hl}$ ) entgegennimmt, um kontinuierliche LL-Aktionen ( $a_{ll}$ ) auszugeben.

Die Strategien sind so zusammengesetzt, dass $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$ gilt.

2. Erlernen der Strategie auf hoher Ebene ( $\pi_{hl}$ )

Die HL-Strategie wird aus LL-Demonstrationen durch einen dreistufigen Prozess erlernt (illustriert in Abbildung 2):

Erstellung von HL-Spuren: Die Kennzeichnungsfunktion $L$ wird auf LL-Demonstrationen angewendet, um abstrakte HL-Spuren (Sequenzen von HL-Zuständen und -Aktionen) zu extrahieren.
Zielregression: Die Autoren wenden eine Zielregression (eine Technik zur Vorabbild-Umschreibung) auf diese Spuren an. Dies berechnet die minimalen Bedingungen, unter denen eine Aktion ein Ziel erreicht. Durch das Rückwärtsregressieren von Zielen durch Aktionsspuren extrahiert das System konkrete Bedingungs-Aktions-Regeln.
Induktive Generalisierung: Die konkreten Regeln werden durch Ersetzen spezifischer Objekte durch Variablen in Prädikatenlogik erster Stufe gehoben. Dies ergibt einen kompakten Satz von Bedingung $\mapsto$ Aktions-Regeln mit Prioritätswerten basierend auf der Zielnähe. Diese Regeln sind interpretierbar und können auf beliebige Anzahlen von Objekten generalisieren.

Die resultierende HL-Strategie ist ein Satz von Regeln erster Stufe. Die Ausführung besteht darin, die anwendbare Regel mit dem niedrigsten Prioritätswert (höchste Priorität) zu finden, die den aktuellen Zustand und die nicht erreichten Zielbedingungen erfüllt.

3. Erlernen der Strategie auf niedriger Ebene ( $\pi_{ll}$ )

Die LL-Strategie wird als Graph-Neuronales Netzwerk (GNN) mit weniger als 33.000 Parametern implementiert.

Input-Codierung: Das GNN codiert den LL-Zustand (Agentenzustand und Objektzustände), das HL-Aktionsschema und die HL-Zieltatsachen.
Architektur: Es nutzt Nachrichtenweiterleitung zwischen Objektknoten, Aktionsknoten und einem globalen Knoten, um Informationen zu aggregieren.
Training: Das GNN wird durch Imitationslernen (Behavior Cloning) auf dem Datensatz von Tupeln $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ trainiert, die aus den Demonstrationen abgeleitet wurden, wobei der mittlere quadratische Fehler (MSE) zwischen vorhergesagten und tatsächlichen Aktionen minimiert wird.

4. Theoretische Garantien

Die Arbeit etabliert die Nichtdeterministische Abwärtsverfeinerungseigenschaft (NDRP), die sicherstellt, dass jede Lösung des HL-Problems zu einer Lösung des LL-Problems verfeinert werden kann. Ferner beweist Satz 1, dass unter Bedingungen der C-beschränkten Zielunabhängigkeit (wobei Zielkomponenten in beliebiger Reihenfolge mit beschränkter Strategiengröße unabhängig erreicht werden können), die erlernte HL-Strategie auf Probleme mit beliebig vielen Objekten und Horizonten generalisiert.

Hauptbeiträge

BISON-System: Ein Ansatz zum Erlernen zweistufiger Strategien $(\pi_{hl}, \pi_{ll})$ aus LL-Demonstrationen, gepaart mit HL-Zielen, unter Verwendung einer Domänentheorie und einer Kennzeichnungsfunktion.
Symbolisches HL-Lernen: Die Anwendung von Zielregression und induktiver Generalisierung zum Erlernen kompakter, ausdrucksstarker HL-Strategien. Diese Strategien werden als Bedingungs-Aktions-Regeln erster Stufe dargestellt, was den Betrieb in Open-World- und teilweise beobachtbaren Umgebungen ermöglicht und eine Generalisierung auf beliebige Objektanzahlen erlaubt.
Effizientes LL-Lernen: Die Realisierung von LL-Strategien durch ein kompaktes GNN (unter 33.000 Parametern), konditioniert auf HL-Aktionen.
Empirische Validierung: Umfassende Experimente (21.600 Episoden) auf erweiterten MetaWorld-Benchmarks, die eine überlegene Effizienz, Generalisierung und Langzeitplanungs-Fähigkeiten im Vergleich zu Vision-Language-Action (VLA)-Modellen, End-to-End-Methoden und symbolischen Planungs-Baselines belegen.

Experimentelle Ergebnisse

Die Autoren evaluierten BISON gegen 8 Baselines (einschließlich SmolVLA, PureNN, PddlNN und verschiedener Neuplanungsstrategien) über 8 Umgebungen mit variierender Unsicherheit (exogen, endogen, Zustandsunsicherheit).

Generalisierung: BISON generalisierte erfolgreich auf Umgebungen mit mehr Objekten (bis zu 10) und längeren Horizonten als im Training gesehen (3 Objekte) und übertraf End-to-End-GNN-Baselines, deren Leistung jenseits von 6 Objekten signifikant nachließ.
Robustheit: BISON erzielte die höchsten durchschnittlichen Erfolgsquoten in den meisten Umgebungen, insbesondere in komplexen Szenarien, in denen Neuplanungs-Baselines Schwierigkeiten hatten oder scheiterten.
Effizienz: BISON zeigte eine überlegene Zeit- und Speichereffizienz sowohl beim Training als auch beim Inferenz im Vergleich zu End-to-End- und Neuplanungsmethoden.
Skalierbarkeit: Unter Vernachlässigung der LL-Ausführung lösten Bisons symbolische HL-Strategien Planungsprobleme mit 10.000 Objekten in unter einer Minute und übertrafen damit deutlich den State-of-the-Art-PDDL-Planer LAMA, der bei einigen hundert Objekten Schwierigkeiten hatte.
VLA-Leistung: Vorgefertigte VLA-Modelle (SmolVLA) konnten keine der Aufgaben in den Benchmarks lösen, was die Schwierigkeit unterstreicht, sie direkt auf Langzeit-Manipulation mit mehreren Objekten ohne spezifische architektonische Anpassungen anzuwenden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BISON eine neuartige Lösung für die langjährige Herausforderung der Langzeitplanung bietet, indem es die Lücke zwischen neuronalem Imitationslernen und symbolischem Reasoning effektiv überbrückt.

Suchfreies Planen: Im Gegensatz zu traditionellen zweistufigen Planungssystemen, die nach HL-Plänen über symbolischen Abstraktionen suchen, bevor sie diese verfeinern, generalisiert BISON HL-Strategien induktiv direkt aus Demonstrationen und eliminiert damit die Notwendigkeit einer Suche während der Ausführung.
Open-World-Fähigkeit: Die Kodierung von Strategien als Bedingungs-Aktions-Regeln erster Stufe erleichtert die Planung in Open-World-Umgebungen und behandelt partielle Beobachtbarkeit, wodurch die Einschränkungen rein symbolischer Planer adressiert werden.
Effizienz und Skalierbarkeit: Der Ansatz erzeugt kompakte Strategien, die recheneffizient sind und auf massive Objektanzahlen skalieren können, eine Fähigkeit, die oft sowohl rein neuronalen als auch rein symbolischen Ansätzen fehlt.

Die Autoren erkennen Einschränkungen an und stellen fest, dass der Ansatz die Abhängigkeit von der Qualität der HL-Abstraktion (ob erlernt oder vorgegeben) erbt und keine Optimalität für die LL-Strategien garantiert. Sie betonen jedoch, dass die Methode ein robustes Framework für verkörperte Agenten bietet, um komplexe Langzeitaufgaben mit variierenden Objektanzahlen zu lösen.