🤖 AI

Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies

Dieses Paper schlägt ein neuro-symbolisches Framework vor, das Constraints der Linearen Temporalen Logik über endliche Spuren (LTLf) in Transformer-basierte autoregressive Reinforcement-Learning-Policies integriert, indem es Spezifikationen in differenzierbare deterministische endliche Automaten kompiliert, wodurch die Einhaltung von Constraints verbessert wird, während gleichzeitig wettbewerbsfähige Erträge in Offline-RL-Aufgaben beibehalten werden.

Ursprüngliche Autoren: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ashkan Ansarifard (Sapienza University of Rome), Matteo Mancanelli (Sapienza University of Rome), Elena Umili (Sapienza University of Rome), Fabio Patrizi (Sapienza University of Rome)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Robotern beibringen, Regeln zu folgen, ohne durch Versuch und Irrtum zu lernen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, durch ein Labyrinth zu navigieren. In der realen Welt lernt der Roboter: „Autsch, das mache ich nicht noch einmal“, wenn er gegen eine Wand stößt. Aber beim Offline Reinforcement Learning darf der Roboter die reale Welt nicht berühren. Er darf nur ein riesiges Fotoalbum studieren, das aus vergangenen Versuchen einer anderen Person besteht.

Das Problem? Der Roboter im Fotoalbum hat vielleicht Fehler gemacht. Wenn Sie dem Roboter einfach nur sagen: „Hol die meisten Punkte“, lernt er vielleicht, diese Fehler zu kopieren, weil sie in der Vergangenheit zu hohen Punktzahlen geführt haben, selbst wenn sie gefährlich waren.

Dieses Paper stellt eine neue Methode vor, um diese Roboter zu lehren: Neuro-symbolische Injektion. Betrachten Sie es als das Geben eines „Regelbuchs“ an den Roboter, das in einer strengen, logischen Sprache (LTLf) verfasst ist, und das Erzwingen, dass der Roboter dieses Regelbuch studiert, während er aus dem Fotoalbum lernt.

Das Kernproblem: Die „Belohnungsfalle“

Standard-KI-Modelle (wie die in diesem Paper verwendeten, genannt Transformer) sind wie brillante Studenten, die besessen davon sind, eine Eins zu bekommen (die Belohnung zu maximieren). Sie betrachten das Fotoalbum und sagen: „Okay, ich sehe, dass der Roboter in diesem Bild auf eine Bombe getreten ist, aber danach hat er später eine riesige Belohnung bekommen. Das werde ich auch so machen!“

Aber in sicherheitskritischen Situationen (wie bei selbstfahrenden Autos oder medizinischen Robotern) bedeutet das Betreten einer Bombe ein „Game Over“. Man kann nicht einfach sagen: „Nun ja, ich habe später eine Belohnung bekommen.“ Man muss sicherstellen, dass der Roboter niemals auf die Bombe tritt, selbst wenn das bedeutet, einen längeren Weg in Kauf nehmen zu müssen.

Die Lösung: Der „Verkehrspolizist“ und die „Logik-Engine“

Die Autoren bauten ein System, das wie ein Verkehrspolizist fungiert, der neben dem studentischen Roboter steht, während dieser studiert.

Das Regelbuch (LTLf): Anstatt vager Anweisungen wie „Sei vorsichtig“ verwenden die Forscher Linear Temporal Logic. Dies ist wie ein präziser rechtlicher Vertrag.
- Schlechte Anweisung: „Versuche, Bomben zu vermeiden.“
- LTLf-Anweisung: „Du musst immer Bomben vermeiden und du musst schließlich das Ziel erreichen.“
- Dies deckt die gesamte Reise ab, nicht nur den nächsten Schritt.
Der Verkehrspolizist (Der DFA): Der Computer übersetzt diesen rechtlichen Vertrag in einen Deterministischen Endlichen Automaten (DFA). Stellen Sie sich das wie ein Flussdiagramm oder eine Brettspiel-Landkarte vor.
- Jedes Mal, wenn der Roboter in seinem Training einen Schritt macht, prüft der Verkehrspolizist das Flussdiagramm.
- „Hast du auf eine Bombe getreten? Nein? Gut, bewege dich zum nächsten Feld auf der Karte.“
- „Hast du auf eine Bombe getreten? Ja? STOPP. Du bist jetzt in der ‚Fail‘-Zone.“
Der „sanfte“ Stoß (Differentiable Loss): Hier liegt der magische Trick. Normalerweise ist ein Flussdiagramm starr: Entweder man ist sicher oder man ist tot. Aber ein Roboter lernt, indem er winzige Anpassungen an seinem Gehirn vornimmt (mathematisch gesehen). Man kann einen „toten“ Zustand nicht anpassen.
- Die Autoren haben den Verkehrspolizisten differenzierbar gemacht. Das bedeutet, der Cop sagt nicht nur „Fehlgeschlagen“; er sagt: „Du bist zu 90 % sicher, aber du kommst der Gefahrenzone näher. Bitte passe dein Gehirn leicht an, um dich von der Gefahr weg zu bewegen.“
- Dies erzeugt einen Logic Loss. Es ist wie ein Lehrer, der einem Schüler nicht nur die Note für den Abschlusstest gibt, sondern bei jeder einzelnen Aufgabe seiner Hausaufgaben, indem er ihn sanft korrigiert, bevor er einen fatalen Fehler begeht.

Wie sie es getestet haben: Das „ColourBomb“-Spiel

Sie testeten dies in einem Grid-World-Spiel namens ColourBomb.

Das Ziel: Den farbigen Ausgang erreichen.
Die Gefahr: Rote „Bomben“-Zellen, die das Spiel sofort beenden.
Die Herausforderung: Der Roboter musste lernen, den Ausgang zu erreichen, ohne jemals auf eine Bombe zu treten.

Sie verglichen zwei Arten von KI-Modellen:

Decision Transformer (DT): Ein Modell, das den nächsten Schritt basierend auf der Historie entscheidet.
Trajectory Transformer (TT): Ein Modell, das den gesamten Pfad auf einmal vorhersagt.

Die Ergebnisse: Von „Chaos“ zu „Champion“

Ohne den Logik-Cop (Die Baseline):
Die Roboter waren katastrophal. Sie traten ständig auf Bomben, weil sie nur versuchten, basierend auf den chaotischen Daten, die sie bekamen, die Punkte zu maximieren. Sie scheiterten fast 100 % der Zeit daran, das Ziel sicher zu erreichen.

Mit dem Logik-Cop (Die neue Methode):
Durch das Hinzufügen des „Logic Loss“ (den sanften Stößen des Verkehrspolizisten) änderten sich die Ergebnisse dramatisch:

Sicherheit: Die Roboter traten nicht mehr auf Bomben. Sie erreichten in den besten Einstellungen eine Sicherheit von 100 %.
Erfolg: Sie erreichten erfolgreich das Ziel.
Leistung: Sie wurden nicht nur sicher; sie erzielten sogar bessere Punktzahlen als die unsicheren Roboter, weil sie keine Zeit mit Sterben und Neustarten verschwendeten.

Der Kompromiss: Das Goldlöckchen-Prinzon finden

Die Forscher fanden eine „Goldlöckchen“-Zone.

Wenn der Logik-Cop zu schwach war (zu wenig „Stoß“), ignorierte der Roboter die Regeln und trat auf Bomben.
Wenn der Logik-Cop zu stark war, wurde der Roboter so verängstigt vor den Regeln, dass er erstarrte und sich nie bewegte (er war sicher, erreichte aber nie das Ziel).
Durch die Abstimmung der „Stärke“ des Cops (ein Parameter namens $\alpha$ ) fanden sie das perfekte Gleichgewicht, bei dem der Roboter sowohl sicher als auch erfolgreich war.

Zusammenfassung

Dieses Paper zeigt, dass man einer KI beibringen kann, strengen, komplexen Sicherheitsregeln zu folgen (wie „vermeide immer X, aber erreiche schließlich Y“), selbst wenn man sie nicht in der realen Welt üben lassen kann. Indem man diese Regeln in ein mathematisches „Flussdiagramm“ übersetzt und es verwendet, um den Lernprozess der KI sanft zu korrigieren, schufen sie Roboter, die viel sicherer und zuverlässiger sind als solche, die nur durch Belohnung trainiert werden.

Wichtigste Erkenntnis: Man muss nicht das gesamte Gehirn des Roboters oder die Daten, die er studiert, umschreiben. Man muss nur eine „Logikschicht“ hinzufügen, die wie ein ständiger, sanfter Wegweiser wirkt und sicherstellt, dass der Roboter von Anfang an die richtigen Gewohnheiten lernt.

Technisches Resümee: Neuro-symbolische Injektion von LTLf-Constraints in autoregressive Reinforcement Learning Policies

Problemstellung
Im Offline Reinforcement Learning (RL) lernen Agenten Richtlinien (Policies) ausschließlich aus vorab gesammelten Datensätzen, ohne direkte Interaktion mit der Umgebung. Jüngste Sequenzmodellierungsansätze wie Trajectory Transformer (TT) und Decision Transformer (DT) haben RL erfolgreich als Sequenzgenerierungsproblem formuliert, optimieren jedoch typischerweise ausschließlich auf den kumulativen Reward. Dies schafft eine kritische Lücke in sicherheitskritischen Domänen (z. B. Robotik, autonome Navigation), in denen Richtlinien hochgradig zeitlich ausgedehnte Bedingungen einhalten müssen, wie etwa „erreiche schließlich das Ziel, während Hindernisse stets vermieden werden“. Die Standard-Reward-basierte Optimierung kann nicht garantieren, dass eine Richtlinie komplexe temporale Logikvorgaben erfüllt, insbesondere wenn Verstöße in einem Offline-Szenario nicht durch Trial-and-Error-Exploration korrigiert werden können.

Methodik
Die Autoren schlagen ein neuro-symbolisches Framework vor, das LTL $_f$ -Constraints (Linear Temporal Logic over finite traces) direkt in den Trainingsprozess von autoregressiven Transformer-basierten Policies injiziert. Die Kernmethodik besteht aus drei Hauptkomponenten:

LTL $_f$ zu DFA-Kompilierung: Hochgradige temporale Spezifikationen werden in deterministische endliche Automaten (DFA) kompiliert. Diese Übersetzung ermöglicht es, logische Bedingungen als Zustandsübergangssysteme darzustellen, die Sequenzen von Token verarbeiten können.
Differenzierbarer Logik-Loss: Um diese diskreten Automaten in die kontinuierliche Optimierung neuronaler Netze zu integrieren, verwenden die Autoren eine differenzierbare Repräsentation.
- Soft-Satisfaction-Signale: Anstelle von Hard-Sampling verwendet das Framework Gumbel-Softmax-Sampling, um während des Trainings differenzierbare, nahezu One-Hot-Tokenvektoren zu erzeugen.
- DeepDFA-Integration: Diese Soft-Token werden in ein „DeepDFA“ eingespeist, eine neuronale Relaxation des Standard-DFA. Dieses Modul berechnet ein probabilistisches Sättigungssignal, das die Wahrscheinlichkeit angibt, mit der die generierte Trajektorie die LTL $_f$ -Formel erfüllt.
- Regularisierung: Eine Logik-Loss-Funktion ( $L_\phi$ ) wird aus der negativen Log-Wahrscheinlichkeit der Erfüllung abgeleitet. Diese wird über eine gewichtete Summe mit dem Standard-Supervised-Sequence-Modeling-Loss ( $L_{\mathcal{D}}$ ) kombiniert: $L = \alpha L_\phi + (1 - \alpha) L_{\mathcal{D}}$ , wobei $\alpha$ ein Trade-off-Parameter ist.
Architektur-Agnostizismus: Das Framework ist innerhalb der Klasse der autoregressiven Sequenzmodelle modellagnostisch konzipiert. Es nutzt einen gemeinsamen „Logic Adapter“, um Token-zu-Symbol-Mappings und DFA-Rollouts zu handhaben, wodurch es sowohl für TT- als auch für DT-Architekturen anwendbar ist, ohne deren zugrunde liegende Strukturen zu verändern.

Wesentliche Beiträge
Das Paper skizziert drei primäre Beiträge:

Unified Neuro-Symbolic Framework: Eine Methode zur Injektion von LTL $_f$ -Constraints in Transformer-basierte Offline-RL-Policies unter Verwendung von Automaten-basierten Modulen, die architekturoff (architecture-agnostic) sind.
Kanonischer Evaluations-Stack: Eine konsistente End-of-Episode-Evaluations-Pipeline, die Datenserialisierung, Token-zu-Symbol-Mapping und logische Evaluierung abstimmt, um semantische Mismatch zwischen Training und temporaler Logik-Bewertung zu verhindern.
Empirische Analyse: Eine systematische Evaluierung in Navigationsdomänen, die die Trade-offs zwischen Aufgabenleistung (Return) und Constraint-Erfüllung unter variierenden Ebenen der logischen Führung aufzeigt.

Experimentelle Ergebnisse
Das Framework wurde in der ColourBomb-Navigationsumgebung getestet, wobei zwei Spezifikationstypen untersucht wurden: Invariant Safety ( $G(\neg \text{bomb})$ ) und Reach-while-Safe ( $G(\neg \text{bomb}) \land F(\text{goal})$ ).

Decision Transformer (DT):
- Vanilla DTs (oh eyes Logik-Regularisierung) scheiterten vollständig, trafen Bomben-Zellen und erreichten die Ziele nicht.
- Die Einführung der Logik-Regularisierung mit einem hohen Trade-off-Parameter ( $\alpha = 0.8$ ) erreichte eine 100%ige Erfüllung sowohl für die Safety- als auch für die Reach-while-Safe-Spezifikationen.
- Entscheidend war, dass diese High-Constraint-Einstellung auch den durchschnittlichen Return (von -1.460 auf -0.780) verbesserte, indem sie katastrophale Ausfälle (Bomben-Treffer) eliminierte, was zeigt, dass die Erfüllung von Constraints in Offline-Settings mit der Performance korrelieren kann.
Trajectory Transformer (TT):
- Vanilla TTs zeigten eine teilweise Einhaltung der Sicherheit, aber eine geringe Zielerreichung.
- Logik-Regularisierung verbesserte die Erfüllungsraten und reduzierte die Rate der Bomben-Treffer. Für die Invariant-Safety-Aufgabe lieferte $\alpha = 0.8$ die besten Ergebnisse. Für die komplexere Reach-while-Safe-Aufgabe bot ein niedrigeres Gewicht ( $\alpha = 0.1$ ) das optimale Gleichgewicht und verbesserte sowohl die Erfüllung als auch den Return im Vergleich zur Baseline.
- Die Autoren merken an, dass zwar Verbesserungen beobachtet wurden, diese in TTs jedoch moderater ausfielen als in DTs – eine Diskrepanz, die für zukünftige Untersuchungen offen bleibt.

Bedeutung und Behauptungen
Das Paper behauptet, dass die direkte Integration von symbolischem Hintergrundwissen in das Lernziel – anstatt die Datenrepräsentation zu modifizieren oder sich auf Reward Shaping zu verlassen – ein vielversprechender Weg zur Verbesserung der Zuverlässigkeit von Policies in sicherheitskritischen Offline-RL-Szenarien ist.

Zentrale Behauptungen zur Bedeutung der Methode sind:

Direkte Constraint-Injektion: Im Gegensatz zu Ansätzen, die auf Shielding basieren (welches explizite Umgebungsmodelle erfordert) oder auf Reward Shaping (das schwierig zu konstruieren sein kann), injiziert diese Methode das temporale Logikwissen direkt in den Trainings-Loss.
Generalisierbarkeit: Das Framework unterstützt beliebige LTL $_f$ -Formeln und geht damit über das reine „Safety Fragment“ hinaus, um auch Liveness und komplexe temporale Kombinationen einzuschließen.
Leistungserhaltung: Die Ergebnisse legen nahe, dass die Durchsetzung strikter logischer Constraints die Aufgabenleistung nicht zwangsläufig verschlechtert; in den getesteten Szenarien verbesserte es die Returns sogar, indem es katastrophale Ausgänge verhinderte, denen Vanilla-Modelle häufig begegneten.

Die Autoren bewahren einen bescheidenen Ton und räumen ein, dass der Ansatz derzeit auf Offline-Settings beschränkt ist und die beobachteten Verbesserungen in TTs weniger ausgeprägt waren als in DTs. Sie identifizieren zukünftige Arbeiten als die Erweiterung der Evaluierung auf zusätzliche Benchmarks, Modellarchitekturen sowie die Durchführung umfassender End-to-End-Vergleiche mit etablierten Safe-RL-Frameworks.