💻 computer science

Bilevel Planning with Learned Symbolic Abstractions from Interaction Data

Dieser Beitrag schlägt ein zweistufiges neuro-symbolisches Framework vor, das erlernte probabilistische symbolische Regeln für eine schnelle hochrangige Planung mit erlernten kontinuierlichen Wirkungsmodellen für die niedrigrangige Verifikation kombiniert, wodurch Roboter in der Lage sind, in komplexen Umgebungen effizient Pläne zu generieren und zu validieren, indem sie diskrete Abstraktionen und kontinuierliche Dynamiken effektiv überbrücken.

Ursprüngliche Autoren: Fatih Dogangun, Burcu Kilic, Serdar Bahar, Emre Ugur

Veröffentlicht 2026-03-10

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fatih Dogangun, Burcu Kilic, Serdar Bahar, Emre Ugur

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen unordentlichen Raum voller Spielzeug aufzuräumen. Der Roboter verfügt über zwei Denkweisen: Das große Ganze (symbolisch) und Die feinen Details (kontinuierlich).

Dieser Artikel beschreibt ein neues „Gehirn" für Roboter, das beide Denkweisen gemeinsam nutzt, wie ein Team aus einem strategischen General und einem Präzisionsingenieur.

Das Problem: Warum Roboter stecken bleiben

Roboter leben in einer Welt kontinuierlicher Bewegung (Millimeter, Winkel, Kräfte). Wenn ein Roboter versucht, jeden möglichen Zug in dieser komplexen Welt zu berechnen, wird er überwältigt – wie der Versuch, jeden Sandkorn an einem Strand zu zählen, um zu entscheiden, welchen Weg man gehen soll.

Um dies zu lösen, bringen Wissenschaftler Robotern normalerweise bei, Symbole zu verwenden (wie „Block A liegt auf Block B"). Dies ist schnell und einfach, wie die Nutzung einer Karte, auf der nur Städtenamen verzeichnet sind. Doch Karten sind unvollkommen. Eine Karte könnte sagen „Fahre zum Park", weiß aber nicht, dass ein riesiges Schlagloch oder ein umgestürzter Baum die Straße blockiert. Folgt der Roboter der Karte blind, stürzt er ab.

Die Lösung: Ein zweistufiges Team

Die Autoren entwickelten ein System, das auf zwei Ebenen arbeitet und je nach Bedarf zwischen der „Karte" und der „realen Welt" wechselt.

Ebene 1: Der strategische General (symbolische Planung)

Dies ist der schnelle, hochrangige Denker.

Funktionsweise: Er lernt aus der eigenen Spielzeit des Roboters. Der Roboter stößt gegen Dinge, hebt sie auf und lässt sie fallen. Das Gehirn des Roboters beobachtet dies und lernt einfache Regeln: „Wenn ich den roten Block aufhebe, landet er normalerweise auf dem blauen Block."
Das Upgrade: Frühere Roboter lernten nur das wahrscheinlichste Ergebnis (z. B. „Der rote Block landet auf dem blauen Block"). Dieses neue System lernt die Wahrscheinlichkeiten. Es weiß: „In 90 % der Fälle landet der rote Block auf dem blauen, aber in 10 % der Fälle könnte er abrutschen."
Die Analogie: Stellen Sie sich einen Schachspieler vor, der nicht nur den besten Zug plant, sondern auch die „Was-wäre-wenn"-Szenarien berücksichtigt, in denen der Gegner einen seltsamen Zug macht. Dies macht den Plan robuster.

Die Sicherheitsprüfung: Der Inspektor

Bevor der Roboter sich tatsächlich bewegt, führt das System eine Simulation durch.

Es nimmt den Plan des „Generals" und führt ihn durch einen Präzisionsingenieur (ein zweites, hochgenaues KI-Modell).
Die Analogie: Denken Sie daran wie an einen Flugsimulator. Der Pilot (General) sagt: „Wir fliegen nach Paris." Der Simulator (Ingenieur) prüft das Wetter, den Treibstoff und die Motorphysik. Wenn der Simulator sagt: „Nein, wir werden gegen einen Berg krachen", wird der Plan bevor sich der Roboter auch nur einen Muskel bewegt, verworfen.
Dieser Schritt fängt Pläne auf, die auf der Karte gut aussehen, aber in der Realität scheitern.

Ebene 2: Der Präzisionsingenieur (kontinuierliche Suche)

Wenn der Plan des Generals die Sicherheitsprüfung nicht besteht oder wenn das Problem für eine einfache Karte zu komplex ist, schaltet das System auf Ebene 2 um.

Funktionsweise: Dies ist die „Brute-Force"-Methode. Anstatt einfache Symbole zu verwenden, berechnet sie die genaue Physik jedes einzelnen Zuges in Echtzeit.
Der Kompromiss: Dies ist sehr genau, aber sehr langsam und rechenintensiv. Es ist wie die Berechnung der Flugbahn jedes einzelnen Blattes im Wind, um einen Weg zu finden.
Die Strategie: Der Roboter verwendet diese Hochleistungsmethode nur, wenn die schnelle, symbolische Methode versagt. Es ist wie der Aufruf eines Spezialchirurgen, nur wenn ein Hausarzt das Problem nicht lösen kann.

Was sie herausfanden

Die Forscher testeten dies an einem Roboterarm, der Blöcke unterschiedlicher Größe bewegte.

Besser als nur eine Karte: Das neue System löste mehr Probleme als Roboter, die nur den „General"-Ansatz (symbolisch) verwendeten.
Besser als nur der Ingenieur: Es war fast so gut wie Roboter, die nur die langsame, schwere „Ingenieur"-Methode verwendeten, aber es war viel schneller, da es die meisten Probleme mit der schnellen „General"-Methode löste.
Das Sicherheitsnetz funktioniert: Der „Inspektor" verhinderte erfolgreich, dass der Roboter Pläne versuchte, die scheitern würden, und sparte so Zeit und verhinderte Abstürze.

Das Fazit

Dieser Artikel präsentiert ein Roboterhirn, das schnell ist, weil es einfache Regeln verwendet, klug ist, weil es Wahrscheinlichkeiten (Chancen, dass Dinge schiefgehen) versteht, und sicher ist, weil es seine Pläne vor dem Handeln mit einem Physiksimulator doppelt überprüft. Es verlangsamt sich nur, um die schwere Mathematik zu betreiben, wenn es absolut notwendig ist, was es zu einer sehr effizienten Methode für Roboter macht, in der realen Welt zu lernen und zu handeln.

Technische Zusammenfassung: Bilevel-Planung mit gelernten symbolischen Abstraktionen aus Interaktionsdaten

Problemdefinition

Roboteragenten, die in kontinuierlichen Umgebungen operieren, sehen sich einem grundlegenden Zielkonflikt gegenüber: Die direkte Reasoning in hochdimensionalen kontinuierlichen Zustandsräumen ist aufgrund der unendlichen oder enormen Anzahl möglicher Lösungen rechnerisch nicht handhabbar, während rein symbolisches Reasoning oft scheitert, da es kritische geometrische und dynamische Informationen verwirft, was zu Ausführungsausfällen führt. Bestehende Methoden, die symbolische Abstraktionen aus unüberwachter Roboterkundgebung lernen, verlassen sich typischerweise auf deterministische Domänen, verfügen über keine Mechanismen zur Verifizierung, ob ein symbolischer Plan in der kontinuierlichen Welt erfolgreich sein wird, und bieten keinen Ausweichmechanismus, wenn die Abstraktion unzureichend ist. Dieser Beitrag adressiert die Notwendigkeit eines Planungsrahmens, der die Effizienz des hochrangigen symbolischen Reasonings mit der Präzision der Verifikation kontinuierlicher Dynamiken verbindet.

Methodik

Die Autoren schlagen ein bilevel neuro-symbolisches Planungsframework vor, das über zwei distincte Ebenen operiert, unterstützt durch eine Dual-Modell-Architektur, die auf unüberwachtem Interaktionsdaten trainiert wurde.

1. Dual-Modell-Architektur

Das Framework nutzt zwei spezialisierte neuronale Netzwerkmodelle, die aus einer Encoder-Decoder-Architektur abgeleitet sind, die trainiert wurde, um Aktionseffekte vorherzusagen:

Symbolisches Modell ( $M_{sym}$ ): Verwendet eine Gumbel-Sigmoid-Aktivierungsfunktion in seinen Bottleneck-Schichten. Dieses Modell ist darauf ausgelegt, diskrete unäre Objektsymbole und relationale Symbole (z. B. „auf", „neben") zu entdecken, um symbolische Operatoren für die hochrangige Planung zu generieren.
Dynamik-Modell ( $M_{dyn}$ ): Verwendet eine Standard-Sigmoid-Aktivierungsfunktion in seinen Bottleneck-Schichten. Obwohl es dieselbe Architektur teilt, ist dieses Modell für eine genaue Vorhersage kontinuierlicher Effekte optimiert und dient als Vorwärtsdynamik-Modell für die Verifikation und die niedrigrangige Suche.

2. Lernprozess

Das System lernt aus einem Datensatz von Interaktionsstichproben $(X, a, X')$ , wobei $X$ den kontinuierlichen Zustand (Objektpositionen und -typen) darstellt und $a$ parametrisierte Greif-und-Platzieren-Fertigkeiten repräsentiert.

Symbolextraktion: Das symbolische Modell bildet kontinuierliche Zustände auf diskrete Symbole ab. Relationale Symbole werden unter Verwendung eines Self-Attention-Mechanismus berechnet, der mit Gumbel-Sigmoid angepasst wurde, um das differentiable Lernen diskreter Symbole zu ermöglichen.
Operator-Extraktion: Kontinuierliche Übergänge werden in symbolische Datensätze umgewandelt. Operatoren werden als Mengen von Voraussetzungen und Effekten definiert, basierend auf den häufigsten post-aktiven Zuständen, die in den Daten beobachtet wurden.
Probabilistische Domänenkonstruktion: Anstelle von deterministischen Operatoren konstruiert das Framework eine PPDDL (Probabilistic PDDL)-Domäne. Jeder Operator enthält eine Wahrscheinlichkeitsverteilung über mögliche symbolische Effekte basierend auf ihrer empirischen Häufigkeit, was die Stochastizität realer Interaktionen erfasst.

3. Der Bilevel-Planungsalgorithmus

Der Planungsprozess verläuft auf zwei Ebenen:

Ebene 1: Probabilistische symbolische Planung mit Verifikation
- Das System generiert ein Ensemble von $N$ PDDL-Domänen durch Stichprobenziehung von Effekten aus den gelernten probabilistischen Verteilungen.
- Ein klassischer KI-Planer (Fast-Downward) sucht in diesen Domänen nach Plänen.
- Kontinuierliche Verifikation: Kandidaten für symbolische Pläne werden nach Wahrscheinlichkeit gerankt. Das Dynamik-Modell ( $M_{dyn}$ ) wird als Vorwärtssimulator verwendet, um das kontinuierliche Ergebnis jedes Kandidatenplans vorherzusagen. Wenn der vorhergesagte Endzustand innerhalb einer Toleranzschwelle ( $\tau_{verify}$ ) des Ziels liegt, wird der Plan akzeptiert.
Ebene 2: Kontinuierliche Vorwärtssuche als Ausweichmechanismus
- Wenn kein symbolischer Plan die Verifikation besteht, ruft das System eine gewichtete $A^*$ -Suche im kontinuierlichen Zustandsraum auf.
- Diese Suche verwendet das Dynamik-Modell für Zustandsübergänge und eine Heuristik basierend auf dem euklidischen Abstand zum Ziel.
- Um die Handhabbarkeit sicherzustellen, employs die Suche eine heuristische Aktionsausdünnung, die nur zielorientierte Aktionen generiert (z. B. das Bewegen falsch platzierter Objekte in Richtung ihrer Zielpositionen), anstatt den gesamten Aktionsraum zu erkunden.

Hauptbeiträge

Bilevel-Framework: Eine neuartige Architektur, die probabilistische symbolische Planung auf hoher Ebene mit kontinuierlicher Vorwärtssuche als Ausweichmechanismus integriert und so die Lücke zwischen abstraktem Reasoning und kontinuierlicher Dynamik schließt.
Dual-Modell-Schema: Die Einführung von zwei spezialisierten Modellen – eines für die Entdeckung diskreter Symbole und ein anderes für die präzise Vorhersage kontinuierlicher Effekte – zeigt, dass ein einzelnes Modell beide Zwecke nicht optimal erfüllen kann.
Verifikationsmechanismus: Eine Methode, die das kontinuierliche Dynamik-Modell nutzt, um symbolische Pläne vor der Ausführung zu verifizieren und effektiv Pläne herauszufiltern, die symbolisch gültig, aber dynamisch nicht durchführbar sind.
Probabilistisches Operator-Lernen: Der Schritt über deterministische Domänen hinaus, um Operatoren mit stochastischen Effekten zu lernen, was es dem Planer ermöglicht, weniger wahrscheinliche, aber potenziell erfolgreiche Pfade zu erkunden.

Experimentelle Ergebnisse

Das Framework wurde an Aufgaben zur Manipulation mehrerer Objekte in einer simulierten Tischumgebung mit 2 bis 4 Objekten und Aktionssequenzen der Länge 1 bis 5 evaluiert.

Modellvalidierung: Das Dynamik-Modell erreichte einen niedrigeren mittleren Fehler bei der Vorhersage von Effekten (1,96 cm) im Vergleich zum symbolischen Modell (3,33 cm), was die Notwendigkeit separater Modelle für kontinuierliche Vorhersagen validiert.
Probabilistisch vs. Deterministisch: Der probabilistische Planer übertraf den deterministischen Baseline signifikant (z. B. 73,0 % vs. 64,67 % Erfolgsrate für 1-Schritt-Aufgaben), was zeigt, dass die Berücksichtigung der gesamten Verteilung der Ergebnisse die Robustheit verbessert.
Verifikationsleistung: Der kontinuierliche Planverifizierer erreichte eine mittlere Genauigkeit von 0,91 und einen F1-Score von 0,90. Verifizierte Pläne hatten eine Erfolgsrate von 94,5 %, während unverifizierte Pläne eine Ausfallrate von 87,3 % aufwiesen, was die Zuverlässigkeit des Mechanismus beim Herausfiltern gescheiterter Pläne bestätigt.
Gesamtleistung: Der vorgeschlagene Bilevel-Planer erreichte Planungserfolgsraten, die statistisch vergleichbar mit der vollständigen kontinuierlichen Vorwärtssuche waren ( $p=0,71$ ). Allerdings löste er die Mehrheit der Probleme unter Verwendung effizienten symbolischen Reasonings und griff nur bei Bedarf auf die rechenintensive kontinuierliche Suche zurück.

Bedeutung

Der Beitrag behauptet, dass dieser Ansatz die Einschränkungen rein symbolischer Planung (Verlust geometrischer Details) und rein kontinuierlicher Planung (rechnerische Unhandhabbarkeit) erfolgreich mildert. Durch die Kombination der Effizienz symbolischen Reasonings mit der Präzision gelernter kontinuierlicher Dynamiken bietet das Framework eine robuste Lösung für die robotische Manipulation. Es zeigt, dass Agenten eine Planungsleistung auf hoher Ebene erreichen können, die mit einer erschöpfenden kontinuierlichen Suche vergleichbar ist, während sie gleichzeitig die rechnerische Effizienz beibehalten, sofern sie symbolische Pläne gegen gelernte physikalische Dynamiken verifizieren können. Die Arbeit unterstreicht die Bedeutung probabilistischer Modellierung und Verifikation, um gelernte symbolische Abstraktionen für die Ausführung in der realen Welt zuverlässig zu machen.