🤖 AI

Differentiable Learning of Lifted Action Schemas for Classical Planning

Dieser Beitrag stellt eine neuartige neuronale Netzwerkarchitektur vor, die gehobene Aktions-Schemata robust erlernt und nicht beobachtete Aktionsargumente aus vollständig beobachteten Zustandsspuren ableitet, wobei sie als differenzierbare Komponente für neuro-symbolische Planungsmodelle dient.

Ursprüngliche Autoren: Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Veröffentlicht 2026-05-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonas Reiter, Jakob Elias Gebler, Hector Geffner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Spiel wie Sokoban (Kisten schieben) oder Tower of Hanoi (Scheiben verschieben) zu spielen, aber Sie haben eine sehr spezifische Einschränkung: Sie können das Spielfeld vor und nach jedem Zug sehen, und Sie wissen, welcher Zug ausgeführt wurde (z. B. „den Block bewegen"), aber Sie können die internen Anweisungen des Roboters nicht einsehen, welche spezifischen Blöcke er ausgewählt hat, um sie zu bewegen.

Dies ist das Rätsel, das der Artikel „Differentiable Learning of Lifted Action Schemas for Classical Planning" zu lösen versucht. Die Autoren Jonas Reiter, Jakob Elias Gebler und Hector Geffner haben eine neue Art von KI entwickelt, die DIAS (Differentiable Induction of Action Schemas) genannt wird, um die verborgenen Regeln des Spiels allein durch das Beobachten der Veränderungen auf dem Spielfeld zu ermitteln.

Hier ist eine einfache Aufschlüsselung, wie sie es taten, unter Verwendung alltäglicher Analogien.

1. Das Problem: Der „Black Box"-Koch

Stellen Sie sich einen Meisterkoch vor, der ein komplexes Gericht zubereitet. Sie können die Zutaten auf der Theke sehen, bevor sie beginnen (Zustand A), und das fertige Gericht auf dem Teller danach (Zustand B). Sie wissen auch, dass der Koch die Aktion „Schneiden" verwendet hat.

Allerdings wissen Sie nicht, welche spezifische Karotte der Koch geschnitten hat. Hat er die große geschnitten? Die kleine? Die, die bereits geschält war?

Alte Methoden verlangten normalerweise, dass Sie der KI genau mitteilen, welche Karotte geschnitten wurde.
DIAS muss herausfinden: „Basierend darauf, wie sich der Haufen Karotten verändert hat, muss der Koch die große geschnitten haben."

Das Ziel ist es, die allgemeine Regel (das „Schema") zu lernen, die auf jede Karotte zutrifft, nicht nur auf die spezifische im Video. Das ist wie das Erlernen des Rezepts „Schneiden Sie jedes Gemüse" anstatt nur „Schneiden Sie diese spezifische Karotte".

2. Die Lösung: Das „Detektiv"-Neuronale Netz

Die Autoren haben ein neuronales Netz geschaffen, das wie ein Detektiv funktioniert. Es arbeitet in zwei Hauptphasen:

Phase 1: Der „Wer hat es getan?"-Detektiv (Auswahl)

Die KI betrachtet die „Vorher"- und „Nachher"-Bilder des Spielfelds. Sie verwendet ein Graph Neural Network (GNN) – stellen Sie sich dies als ein superkluges Auge vor, das die Beziehungen zwischen Objekten erkennt (z. B. „Block A liegt auf Block B").

Die KI erstellt einen „Fingerabdruck" (Embedding) für jedes Objekt auf dem Spielfeld.
Dann fragt sie: „Welcher dieser Fingerabdrücke passt zur 'Position' für die Aktion 'Bewegen'?"
Sie verwendet einen mathematischen Trick namens Sinkhorn (stellen Sie sich eine sehr effiziente Methode vor, um Karten in Stapel zu sortieren), um die richtigen Objekte den richtigen Rollen in der Aktion zuzuweisen. Es ist, als würde die KI sagen: „Ich bin zu 90 % sicher, dass der Roboter den roten Block bewegt hat, nicht den blauen."

Phase 2: Der „Was ist passiert?"-Detektiv (Effekte)

Sobald die KI erraten hat, welche Objekte beteiligt waren, versucht sie, die Regeln des Spiels zu lernen:

Vorbedingungen: Was musste vor dem Zug wahr sein? (z. B. „Der Block muss oben frei sein").
Effekte: Was hat sich aufgrund des Zugs verändert? (z. B. „Der Block liegt nun auf dem Tisch").

Die KI schreibt diese Regeln in einem symbolischen Format auf (wie einen Computercode namens PDDL). Sie simuliert dann den Zug unter Verwendung dieser geratenen Regeln, um zu sehen, ob sie das „Nachher"-Bild korrekt vorhersagt. Wenn die Simulation mit dem echten „Nachher"-Bild übereinstimmt, erhält die KI ein „Gut gemacht"-Signal. Wenn nicht, justiert sie ihre Vermutungen und versucht es erneut.

3. Der „magische" Bestandteil: Differentiable Learning

Normalerweise ist das Herausfinden, „welches Objekt bewegt wurde", eine binäre Wahl (es ist entweder der rote Block oder der blaue Block). Dies ist für eine KI schwer zu lernen, da man die Antwort nicht leicht „halbwegs" verschieben kann.

Der Durchbruch des Artikels besteht darin, diesen Prozess differentierbar zu machen.

Analogie: Stellen Sie sich vor, Sie versuchen, ein Radio auf einen klaren Sender abzustimmen. Anstatt von Sender 1 zu Sender 2 zu springen, können Sie den Drehknopf langsam gleiten lassen.
DIAS rät nicht einfach nur „Roter Block". Es rät „80 % Roter Block, 20 % Blauer Block". Dies ermöglicht es der KI, Gradient Descent (eine Standardtechnik des maschinellen Lernens) zu verwenden, um ihre Vermutungen langsam in Richtung der perfekten Antwort zu gleiten, anstatt in einer Schleife falscher Vermutungen stecken zu bleiben.

4. Was sie fanden (Die Ergebnisse)

Das Team testete DIAS an 13 verschiedenen klassischen Planungsdomänen (wie Blocksworld, Logistics und Hanoi).

Perfekte Ergebnisse: Wenn sie der KI die vollständige Liste der Argumente gaben (ihr genau mitteilten, welche Blöcke sich bewegten), lernte sie die Regeln jedes Mal perfekt.
Der Schwierige Modus: Wenn sie die Argumente versteckten (nur den Aktionsnamen gaben, wie „bewegen"), lernte sie die Regeln in 8 von 13 Domänen immer noch perfekt. In den anderen war sie sehr nah dran.
Rauschresistenz: Sie testeten es mit „verrauschten" Daten (bei denen einige Fakten über das Spielfeld zufällig umgekehrt wurden, z. B. indem man sagte, ein Block sei frei, obwohl er tatsächlich bedeckt ist). DIAS ging damit überraschend gut um, obwohl zu viel Rauschen es schließlich verwirrte.
Vergleich: Sie verglichen ihre Methode mit einer traditionellen symbolischen Methode (L1). DIAS war viel besser darin, die korrekten Regeln zu finden, insbesondere in komplexen Domänen, bei denen die alte Methode versagte, alle notwendigen Bedingungen zu finden.

5. Warum das wichtig ist (Ohne übertriebene Versprechungen)

Der Artikel behauptet, dies sei eine Vereinfachung eines viel schwierigeren Problems: das direkte Lernen von Planungsregeln aus Bildern (wie das Beobachten eines Videos, in dem ein Roboterarm Blöcke bewegt).

Die aktuelle Leistung: Sie haben den „mittleren Schritt" perfekt gelöst. Sie bewiesen, dass, wenn man den symbolischen Zustand (die Liste der Fakten) sehen kann, aber nicht die Argumente, man die Regeln dennoch mit einem neuronalen Netz lernen kann.
Das zukünftige Ziel: Die Autoren hoffen, dieses „DIAS"-Modul schließlich in ein größeres System einzubauen, das rohe Bilder betrachtet und die Regeln direkt lernt, ohne dass ein Mensch das Bild zuerst in eine Liste von Fakten übersetzen muss.

Kurz gesagt: Der Artikel stellt einen neuen KI-Detektiv vor, der ein Spiel beobachten, erraten können, welche Teile sich bewegt haben, und die universellen Regeln des Spiels ableiten kann – alles durch einen glatten, mathematisch basierten Lernprozess, der verhindert, dass er in Sackgassen stecken bleibt.

Technische Zusammenfassung: Differentiable Learning of Lifted Action Schemas for Classical Planning

Problemformulierung

Der Artikel adressiert die Herausforderung, lifted action schemas für klassische Planungsdomänen aus beobachteten Verläufen zu lernen. Konkret behandeln die Autoren ein Szenario, in dem Zustände vollständig beobachtet werden (dargestellt als grounded STRIPS-Atome), Aktionenargumente jedoch unbeobachtet bleiben. Die Eingabe besteht aus Triplets $\langle s, a, s' \rangle$ , wobei $s$ und $s'$ grounded Zustände sind und $a$ entweder ein vollständiger Aktionsname, eine STRIPS+-Aktion (mit einigen beobachteten Argumenten) oder lediglich ein Aktionsname ist.

Die Kernschwierigkeit liegt im isomorphie-harten Problem der gleichzeitigen Inferenz von:

Aktionsargumenten: Identifizierung, welche Objekte im Zustand an die Parameter einer Aktion gebunden werden.
Lifted Schemas: Lernen der Voraussetzungen (preconditions) und Effekte (add/delete lists) für jedes Action-Schema in einer lifted, symbolischen Form.

Dieses Problem wird als Vereinfachung der realistischeren Aufgabe des Lernens aus Bildsequenzen und Aktionslabels formuliert, mit dem Ziel, den Schritt der symbolischen Abstraktion mit nahezu perfekter Genauigkeit zu lösen, um eine Integration in größere neuro-symbolische Systeme zu ermöglichen.

Methodik: DIAS-Architektur

Die Autoren schlagen DIAS (Differentiable Induction of Action Schemas) vor, eine neuronale Architektur, die Action Schemas mittels Gradientenabstieg lernt. Der Ansatz arbeitet in zwei Hauptphasen und nutzt weiche, differentiable Operationen, um ein End-to-End-Training zu ermöglichen.

1. Objektauswahl via Graph Neural Networks (GNN)

Graphkonstruktion: Der Zustand $s$ und der Übergang zu $s'$ werden als gerichteter Graph $G$ kodiert. Knoten repräsentieren Objekte, und Kanten repräsentieren Prädikate (Atome), die im Zustand wahr sind oder während des Übergangs hinzugefügt/gelöscht werden.
Embedding: Ein Relational Graph Convolutional Network (R-GCN) verarbeitet den Graphen, um $d$ -dimensionale Embedding-Vektoren (Schlüssel $K$ ) für jedes Objekt zu generieren.
Slot-Zuweisung: Für jeden Aktionsnamen $a$ unterhält das Modell lernbare Query-Vektoren $Q_a$ , die einer festen Anzahl von „Slots" (einer Obergrenze für die Arität der Aktion) entsprechen.
Weiches Matching: Eine Korrespondenzmatrix wird mittels skaliertem Dot-Product-Attention zwischen Objektschlüsseln und Aktions-Queries berechnet. Anschließend wird ein rechteckiger Sinkhorn-Algorithmus angewendet, um eine weiche Zuweisungsmatrix $\tilde{S}_a$ zu erzeugen, die Objekte probabilistisch auf Aktionsargument-Slots abbildet. Lernbare Slot-Gewichte $w_a$ bestimmen die Aktivierungswahrscheinlichkeit jedes Slots und ermöglichen dem Modell, die Arität der Aktion zu inferieren.

2. Lernen von Voraussetzungen und Effekten

Lifted Parameter: Das Modell unterhält lernbare Wahrscheinlichkeitstensoren für jedes lifted Atom $p(x_i, x_j)$ , um zu bestimmen, ob es eine positive/negative Voraussetzung, ein Add-Effekt oder ein Delete-Effekt ist.
Grounding: Die weiche Zuweisung $\tilde{S}_a$ projiziert diese lifted Wahrscheinlichkeiten in den Raum der grounded Adjazenzmatrizen und liefert Wahrscheinlichkeiten dafür, dass spezifische Atome Voraussetzungen oder Effekte im aktuellen Zustand sind.
Zustandsvorhersage:
- Voraussetzungsprüfung: Das Modell berechnet die Wahrscheinlichkeit $p_{pre}$ , dass alle Voraussetzungen erfüllt sind, indem es die Konjunktion der einzelnen Atomwahrscheinlichkeiten bewertet. Um ein Verschwinden der Gradienten durch zufällige Initialisierung zu vermeiden, wird eine Strategie des geometrischen Mittelwerts verwendet, die schrittweise zum wahren Produkt übergeht.
- Effektanwendung: Der vorhergesagte Nachfolgezustand $\hat{A}'$ wird berechnet, indem die grounded Add/Delete-Wahrscheinlichkeiten auf die aktuelle Zustandsadjazenzmatrix $A$ angewendet und mit $p_{pre}$ skaliert werden.

3. Verlustfunktion und Optimierung

Das Trainingsziel minimiert einen zusammengesetzten Verlust:

Hauptverlust ( $L_{adj}$ ): Binäre Kreuzentropie zwischen dem vorhergesagten Nachfolgezustand $\hat{A}'$ und dem wahren Nachfolgezustand $A'$ . Dies treibt das Modell an, Argumente korrekt auszuwählen und Zustandsänderungen vorherzusagen.
Hilfsverlust ( $L_{aux}$ ): Fördert minimale Effekte und maximale Voraussetzungen. Dies verhindert, dass das Modell triviale Lösungen lernt (z. B. Annahme, dass alle Atome Effekte sind oder keine Voraussetzungen existieren), indem inaktive Effekte und inaktive Voraussetzungen bestraft werden.
Gradientenprojektion: Um sicherzustellen, dass das primäre Ziel der Zustandsvorhersage nicht durch die Hilfsziele beeinträchtigt wird, setzen die Autoren PCGrad (Gradient Surgery) ein. Der Hilfsgradient wird auf die Hyperebene projiziert, die orthogonal zum Hauptgradienten steht, falls sie kollidieren, wodurch die Optimierung von $L_{main}$ Vorrang erhält.

Schlüsselergebnisse

Die Autoren evaluierten DIAS auf 13 standardisierten IPC-Planungsdomänen (z. B. Blocks, Logistics, Hanoi, Sokoban) unter Verwendung dreier Beobachtungsvarianten: vollständige STRIPS-Aktionen, STRIPS+-Aktionen und nur Aktionsnamen.

Perfekte Wiederherstellung: In 8 von 13 Domänen lernte DIAS die ground-truth lifted action schemas in allen 10 Trainingsläufen über alle drei Beobachtungsvarianten hinweg perfekt.
Robustheit:
- Rauschen: Das Modell zeigte Robustheit gegenüber Beobachtungsrauschen (zufällig umgekehrte Atome) bis zu 2 Umkehrungen pro Übergang für die meisten Domänen. Die Leistung verschlechterte sich signifikant bei 8 Umkehrungen.
- Vergleich mit symbolischen Methoden: Im Vergleich zum L1-Algorithmus (ein SAT-basierter Ansatz) erzielte DIAS überlegene oder vergleichbare Leistung, insbesondere in Domänen, in denen L1 scheiterte, Voraussetzungen wiederherzustellen, die Variablen betrafen, die nicht in den Effekten vorhanden waren.
- Fehleranalyse: Misserfolge wurden primär folgenden Faktoren zugeschrieben:
  - Sackgassen: Domänen wie Sokoban, bei denen zufällige Spaziergänge (random walks) kritische Zustandsregionen nicht erkunden.
  - Struktur des Zustandsraums: Die Sierpinski-Dreieck-Struktur der Hanoi-Domäne begrenzt die Abdeckung durch zufällige Spaziergänge.
  - Redundante Aktionen: Die Satellite-Domäne, bei der Aktionen wie take_image oft zu keiner Zustandsänderung führen und das Lernen von Effekten verwirren.
MLP-Ablation: Eine Ablation, bei der STRIPS-Effekte durch ein Multi-Layer Perceptron (MLP) ersetzt wurden, zeigte, dass die Architektur zwar zustandsabhängige Dynamiken lernen kann, aber keine symbolischen Schemas produziert, die für klassisches Planen geeignet sind. Dies unterstreicht die Notwendigkeit der lifted STRIPS-Formulierung für die Generalisierung.

Bedeutung und Behauptungen

Der Artikel behauptet, dass DIAS einen bedeutenden Schritt hin zum Lernen von Planungsdomänen aus rohen Beobachtungen (wie Bildern) darstellt, indem das Zwischenproblem der symbolischen Abstraktion mit hoher Genauigkeit gelöst wird.

Differentiabilität: Der primäre Beitrag ist eine robuste differentiable Komponente, die lifted action schemas lernen kann, ohne explizite Aktionsargumente zu benötigen, und so die Lücke zwischen neuronaler Beobachtungsverarbeitung und symbolischer Planung schließt.
Generalisierung: Im Gegensatz zu slot-basierten dynamischen Modellen (z. B. RIMs), die mit variierenden Anzahlen von Objekten Schwierigkeiten haben, lernt DIAS lifted Repräsentationen, die sich auf beliebige Anzahlen von Objekten verallgemeinern lassen – eine Eigenschaft, die STRIPS inhärent ist, aber schwer aus Daten zu lernen ist.
Bescheidener Umfang: Die Autoren rahmen diese Arbeit explizit als Vereinfachung der breiteren Herausforderung des Lernens aus Bildern. Sie behaupten nicht, das Bild-zu-Planungs-Problem direkt zu lösen, argumentieren jedoch, dass das Erreichen einer „nahezu perfekten" Leistung beim Schritt der symbolischen Abstraktion eine notwendige und herausfordernde Voraussetzung für solche Systeme ist.
Limitationen: Der Ansatz setzt reine STRIPS-Domänen voraus (keine konditionalen Effekte oder numerische Merkmale) und beruht auf der Annahme, dass Aktionsargumente injektiv an Objekte gebunden sind. Die Methode hat zudem Schwierigkeiten mit Domänen, bei denen die Stichprobenziehung durch zufällige Spaziergänge eine unzureichende Abdeckung des Zustandsraums bietet.