🤖 machine learning

Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

Dieser Beitrag stellt den Masking Reward Behavior Tree (MRBT) vor, ein neurosymbolisches Framework, das große Sprachmodelle und SMT-Löser nutzt, um automatisch verifizierbare, modulare und reaktive Reward-Shaping- und Action-Masking-Funktionen zu generieren und dadurch die Effizienz und Erfolgsquoten des Reinforcement Learning für zusammengesetzte Aufgaben mit variierenden Objekten erheblich verbessert.

Ursprüngliche Autoren: Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein unordentliches Haus zu reinigen. Wenn Sie dem Roboter nur sagen „Reinigen Sie das Haus" und ihm erst eine große Belohnung geben, wenn die gesamte Aufgabe erledigt ist, wird der Roboter wahrscheinlich verwirrt sein. Er könnte den Boden fegen, dann den Staubsauger fallen lassen, dann versuchen, die Fenster zu waschen, und die Aufgabe tatsächlich nie abschließen. Es ist wie der Versuch, einen komplexen Tanz zu lernen, indem man nur am Ende des Songs einen Preis erhält; man weiß nicht, welche Schritte unterwegs richtig oder falsch waren.

Dieser Beitrag stellt eine intelligentere Methode vor, um Robotern (oder autonomen Agenten) beizubringen, komplexe, mehrstufige Aufgaben zu bewältigen. Die Autoren bezeichnen ihre Lösung als MRBT (Masking Reward Behavior Tree). Hier ist die Funktionsweise, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „Black Box" der Belohnungen

Beim traditionellen Robotertuning (Reinforcement Learning) muss man manuell ein „Belohnungssystem" entwerfen. Man muss genau festlegen, wofür der Roboter einen „Punkt" erhält und wofür er eine „Strafe" bekommt.

Der schwierige Teil: Wenn der Roboter einen kleinen Schritt verfehlt (z. B. einen Schlüssel fallen lässt), weiß ein einfaches Belohnungssystem möglicherweise nicht, dem Roboter zu sagen, dass er zurückgehen und es erneut versuchen soll. Er könnte einfach ziellos weiterwandern.
Das Modularitätsproblem: Wenn man die Aufgabe leicht verändert (z. B. statt eines roten Schlüssels einen blauen Schlüssel verwendet), muss man oft das gesamte Belohnungssystem von Grund auf neu schreiben.

2. Die Lösung: Ein „intelligentes Coach" mit einer Checkliste

Die Autoren verwenden einen Behavior Tree (Verhaltensbaum). Stellen Sie sich dies als einen Flussdiagramm oder eine Checkliste vor, die der Roboter befolgt. Er zerlegt die große Aufgabe in kleine, handhabbare Schritte (Unteraufgaben).

Der „Masking"-Trick: Stellen Sie sich vor, der Roboter hat eine Hand voller Werkzeuge. Manchmal muss er die Werkzeuge, die er gerade nicht braucht, verstecken (maskieren). Wenn der Roboter beispielsweise zu einer Tür gehen soll, „maskiert" (versteckt) das System den „Aufheben"-Knopf, damit der Roboter nicht versehentlich versucht, die Luft aufzuheben. Dies verhindert, dass der Roboter Zeit mit nutzlosen Aktionen verschwendet.
Der „Reward"-Trick: Das System gibt kleine Belohnungen für das Abschließen jedes Schritts auf der Checkliste, nicht nur für das Endziel. Wenn der Roboter den Schlüssel fallen lässt, sagt das System sofort: „Oh nein, Sie haben ihn fallen lassen! Gehen Sie zurück zum Anfang dieses Schritts", anstatt den Roboter davonwandern zu lassen.

3. Der magische Bestandteil: Der KI-„Architekt" (LLM)

Das manuelle Entwerfen dieser Checklisten und Regeln ist schwierig. Daher nutzten die Autoren ein Large Language Model (LLM) – dieselbe Art von KI, die Chatbots antreibt –, um die schwere Arbeit zu erledigen.

Sie geben der KI eine Vorlage (wie ein leeres Formular) und eine Beschreibung der Aufgabe (z. B. „Holen Sie den Schlüssel aus dem roten Raum").
Die KI füllt die Lücken aus: Sie schreibt die Logik für „Ist die Tür offen?", „Ist der Schlüssel in der Nähe?" und entscheidet, welche Tasten in jedem Schritt ausgeblendet werden sollen.
Das Sicherheitsnetz (SMT Solver): Da KI Fehler machen kann, fügten die Autoren einen „Logikprüfer" (einen SMT-Solver) hinzu. Dies ist wie ein strenger Mathematiklehrer, der die Arbeit der KI überprüft. Wenn die KI eine Regel schreibt, die keinen Sinn ergibt (z. B. „Die Tür ist offen", aber der Roboter ist noch weit entfernt), fängt der Prüfer dies auf, sagt der KI „Das ist falsch" und bittet sie, es erneut zu versuchen.

4. Die Ergebnisse: Ein Roboter, der schneller lernt

Das Team testete dies in zwei verschiedenen „Spielplätzen":

MiniGrid: Eine einfache Gitterwelt, in der ein Roboter Schlüssel finden, Türen öffnen und ein Ziel erreichen muss.
MuJoCo Fetch: Eine realistischere Simulation eines Roboterarms, der Blöcke aufhebt.

Sie stellten fest, dass Roboter, die mit ihrem MRBT-System trainiert wurden:

Viel schneller lernten: Sie erreichten das Ziel in weniger Versuchen.
Erfolgreicher waren: Bei den schwierigsten Aufgaben hatten sie eine Erfolgsquote von über 80 %, während andere Methoden unter 70 % blieben.
Besser mit Fehlern umgingen: Wenn der Roboter einen Gegenstand fallen ließ, führte das System ihn sofort zurück, um den Fehler zu beheben, anstatt ihn verloren gehen zu lassen.

5. Warum dies wichtig ist (laut dem Papier)

Die Autoren heben drei Hauptsuperkräfte ihres Systems hervor:

Transferierbarkeit: Sie trainierten einen Roboter in einer einfachen Gitterwelt, und er funktionierte überraschend gut, als er in einen realistischen Drohnensimulator (AirSim) verlegt wurde. Es ist wie das Erlernen des Fahrens auf einem Parkplatz und dann das Fahren auf einer echten Autobahn.
Modularität: Wenn Sie einen neuen Schritt zur Aufgabe hinzufügen möchten (z. B. „Fenster waschen" nach „Boden reinigen"), können Sie ihn einfach in den Baum einfügen, ohne das gesamte System neu aufbauen zu müssen. Es ist wie das Hinzufügen eines neuen Kapitels zu einem Buch, ohne die gesamte Geschichte neu zu schreiben.
Überprüfbarkeit: Da sie den „Logikprüfer" verwendeten, können sie mathematisch beweisen, dass die von der KI generierten Regeln korrekt sind, anstatt nur darauf zu hoffen, dass sie funktionieren.

Kurz gesagt: Der Beitrag zeigt, wie man KI nutzt, um automatisch einen „intelligenten Coach" für Roboter zu schreiben. Dieser Coach zerlegt große Aufgaben in kleine Schritte, blendet nutzlose Tasten aus und korrigiert Fehler sofort, wodurch Roboter komplexe Aufgaben viel schneller und zuverlässiger lernen als zuvor.

Technische Zusammenfassung: Reward Shaping und Action Masking für kompositionelle Aufgaben mittels Behavior Trees und LLMs

1. Problemstellung

Autonome Agenten stehen häufig vor komplexen Aufgaben, die eine Zerlegung eines übergeordneten Ziels in eine Sequenz einfacherer Teilaufgaben erfordern, wie etwa das Navigieren zu einem Objekt, dessen Manipulation und das Weiterbewegen zu einem Ziel. Obwohl Reinforcement Learning (RL) Strategien für diese Teilaufgaben optimieren kann, leidet es ohne wohldefinierte Reward-Funktionen und Action Masks an einer geringen Sample-Effizienz. Das manuelle Entwerfen dieser Komponenten ist herausfordernd, da es Folgendes erfordert:

Identifizierung geeigneter Teilaufgaben.
Sicherstellung von Reaktivität auf das Scheitern von Teilaufgaben (z. B. wenn ein Agent einen Schlüssel fallen lässt, muss er zurückgehen, um ihn wieder aufzunehmen, anstatt fortzufahren).
Wahrung der Modularität über verschiedene Aufgabenobjekte hinweg (z. B. muss dieselbe Logik gelten, unabhängig davon, ob das Objekt ein „roter Schlüssel" oder ein „blauer Schlüssel" ist).

Bestehende automatisierte Ansätze, die Large Language Models (LLMs) oder Vision-Language Models (VLMs) verwenden, generieren oft Reward-Code oder endliche Zustandsautomaten, versagen jedoch darin, Reaktivität auf Fehler, Modularität für kompositionelle Aufgaben oder die gemeinsame Optimierung von Reward und Action Masking vollständig zu adressieren.

2. Methodik

Die Autoren schlagen Masking Reward Behavior Trees (MRBTs) vor, eine symbolische Struktur, die sowohl als Reward-Shaping-Funktion als auch als Action-Masking-Funktion dient. Die Methodik integriert drei Kernkomponenten: einen Behavior-Tree-Template, logische Spezifikationen zur Verifikation und eine automatisierte Pipeline unter Verwendung eines LLM und eines SMT-Solvers.

2.1. Masking Reward Behavior Tree (MRBT)

Ein MRBT ist ein Behavior Tree (BT), bei dem die Blattknoten Masking Behavior Reward Machines (MBRMs) sind.

Struktur: Der BT koordiniert die Ausführung über Kontrollknoten (Sequence → und Fallback ?).
Blätter: Jedes Blatt ist ein MBRM, das basierend auf dem Zustand und der Aufgabe des Agenten einen skalaren Reward und eine diskrete Action Mask ausgibt.
Reaktivität: Die BT-Struktur ermöglicht ein Zurückverfolgen (Backtracking). Wenn eine Teilaufgabe fehlschlägt (z. B. eine Interaktion misslingt), kehrt der BT zu einem vorherigen Zustand zurück und stellt sicher, dass der Agent den notwendigen Schritt wiederholt, anstatt einen Reward für eine unvollständige Sequenz zu erhalten.
Modularität: Der MRBT verwendet Platzhalter für Teilaufgaben und logische Formeln, wodurch er sich an verschiedene Objektattribute (z. B. Farben) innerhalb eines definierten Aufgabenraums anpassen lässt.

2.2. MRBT-Template

Die Autoren entwerfen ein spezifisches Template für sequenzielle Objekt-Interaktionsaufgaben. Für eine Sequenz von $k$ Teilaufgaben umfasst das Template:

Logische Formeln: Für jede Teilaufgabe $i$ definiert es eine Abschlussformel ( $\psi_i$ ) und eine Objekt-Nähe-Formel ( $\phi_i$ ).
Action Masks: Zwei Masks pro Teilaufgabe: $\eta_{i,1}$ für die Navigation und $\eta_{i,2}$ für die Interaktion.
Ausführungslogik: Der BT führt eine Sequenz von MBRMs aus. Ist eine Teilaufgabe abgeschlossen, geht er zur nächsten über; befindet sich der Agent in der Nähe des Objekts, aktiviert er die Interaktion; andernfalls aktiviert er die Navigation. Falls eine Teilaufgabe fehlschlägt (Zustandsübergang zu Failure), führt der BT ein Backtracking durch.

2.3. Automatisierte Generierungs- und Verifikationspipeline

Um die Erstellung von MRBTs zu automatisieren, entwickelten die Autoren eine Pipeline (Abbildung 1), die Folgendes beinhaltet:

LLM-Generierung: Ein LLM (ChatGPT-5) nimmt eine Aufgabenbeschreibung, das MRBT-Template und Umgebungsprädikate als Eingabe. Es generiert die spezifischen Teilaufgaben, logischen Formeln ( $\psi_i, \phi_i$ ) und Action Masks ( $\eta_{i,1}, \eta_{i,2}$ ).
SMT-Verifikation: Ein symbolisches Modell der Umgebungs dynamik ( $E_{sym}$ $E_{sy m}$ ) wird in einem SMT-Solver (Z3) konstruiert. Der Solver überprüft die generierten logischen Formeln gegen drei Spezifikationen:
- Abschlusskorrektheit: Stellt sicher, dass, wenn die Endaufgabe abgeschlossen ist, alle Teilaufgaben abgeschlossen waren.
- Objektnähe: Stellt sicher, dass der Agent unmittelbar vor dem Abschluss einer Teilaufgabe in der Nähe des Objekts ist.
- Nicht-regressiver maximaler Reward: Stellt sicher, dass eine Teilaufgabe nach ihrem Abschluss als abgeschlossen gilt (keine Regression), um den maximalen Reward zu erreichen.
Verfeinerung: Findet der SMT-Solver ein Gegenbeispiel (z. B. eine Trajektorie, bei der der Agent die Aufgabe abschließt, ohne eine Bedingung der Teilaufgabe zu erfüllen), generiert er einen Debug-Prompt. Das LLM wird mit diesem Gegenbeispiel erneut promptet, um die logischen Formeln zu verfeinern, bis sie erfüllbar sind.
Neurosymbolisches RL-Training: Der verifizierte MRBT wird in eine neurosymbolische RL-Schleife (unter Verwendung von PPO) integriert, um den Agenten zu trainieren. Der MRBT liefert das Rewardsignal und schränkt den Aktionsraum in jedem Schritt ein.

3. Hauptbeiträge

MRBT-Framework: Einführung einer symbolischen Struktur, die gemeinsam Rewards und Action Masks ausgibt und speziell für Reaktivität und Modularität in kompositionellen Aufgaben entwickelt wurde.
MRBT-Template & Spezifikationen: Ein systematisches Template zum Aufbau von MRBTs für sequenzielle Objekt-Interaktionsaufgaben, ergänzt durch logische Spezifikationen zur Verifikation der Korrektheit (Abschluss, Nähe und Nicht-Regression) mittels eines SMT-Solvers.
Automatisierte Pipeline: Ein System, das ein LLM zur Generierung von MRBTs und einen SMT-Solver zur Verifikation und Verfeinerung einsetzt, um Robustheit über einen Aufgabenraum mit variierenden Objekten hinweg sicherzustellen.
Umfassende Evaluation: Experimente in fünf Aufgabenräumen in zwei Umgebungen (MiniGrid und MuJoCo Fetch) unter sowohl deterministischen als auch stochastischen Dynamiken.
Vorteilsanalyse: Nachweis der Übertragbarkeit von MRBTs (auf AirSim), Modularität (bessere Skalierbarkeit als Hierarchical Reward Machines) und Verifizierbarkeit (theoretische Garantien durch Z3).

4. Experimentelle Ergebnisse

Die Autoren bewerteten den MRBT-Ansatz gegenüber zwei Baselines:

Aufgabe: Ein binärer Reward, der nur bei vollständigem Aufgabenabschluss gegeben wird.
Verfahren: Eine Reward Machine basierend auf VLM-CaR, die Rewards für den Abschluss von Teilaufgaben vergibt, aber kein reaktives Backtracking und keine Action Masking bietet.
RBT (Ablation): Ein MRBT ohne Action Masking.

Wichtige Erkenntnisse:

Trainings-Effizienz & Erfolg: MRBTs erreichten konsistent eine höhere Trainingseffizienz und Aufgaben-Erfolgsraten im Vergleich zu den Baselines und der RBT-Ablation.
Umgang mit Komplexität: Im komplexesten Aufgabenraum (LockedRoom, 4 Teilaufgaben, 36 Varianten) erreichten MRBTs eine durchschnittliche Erfolgsrate von $\ge 80\%$ , während die Baselines $\le 70\%$ erreichten.
Stochastik: MRBTs behielten in stochastischen Umgebungen (z. B. zufälliges Fallenlassen von Schlüsseln) eine hohe Leistung bei, was den Wert des reaktiven Backtrackings demonstriert.
Übertragbarkeit: Strategien, die mit MRBTs in MiniGrid trainiert wurden, übertrugen sich erfolgreich auf einen realistischen Quadcopter-Simulator (AirSim) und erreichten eine Erfolgsrate von 97 % unter deterministischen Bedingungen und 94 % unter stochastischen Bedingungen, wodurch sie alle Ablationen übertrafen.
Modularität: Die MRBT-Struktur skaliert modularer als Hierarchical Reward Machines (HRMs); das Hinzufügen einer Teilaufgabe zu einem MRBT erfordert $O(1)$ Speicherplatz, während HRMs $O(k)$ Speicherplatz für Rückwärtskanten benötigen.
Verifikation: Der SMT-Solver verfeinerte generierte logische Formeln erfolgreich (z. B. Korrektur von Näheschwellenwerten oder Persistenzbedingungen) für die meisten Aufgaben in weniger als 10 Minuten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MRBTs eine robuste Lösung zur Automatisierung von Reward Shaping und Action Masking in kompositionellen Aufgaben bieten. Die Bedeutung liegt in drei Hauptvorteilen:

Übertragbarkeit: Die symbolische Natur von MRBTs ermöglicht es, dass Strategien, die in Simulationen trainiert wurden, effektiv auf realistische Simulatoren (AirSim) und variierende Aufgabenobjekte übertragen werden können.
Modularität: Im Gegensatz zu endlichen Zustandsautomaten oder Reward Machines ermöglicht die Baumstruktur von MRBTs eine einfachere Skalierung und Modifikation, wenn die Aufgabenkomplexität zunimmt.
Verifizierbarkeit: Durch die Integration von SMT-Solvern bietet der Ansatz theoretische Garantien dafür, dass die Logik von Reward und Action Mask in Bezug auf die Aufgabenspezifikationen korrekt ist, eine Eigenschaft, die bei rein datengetriebenen oder demonstrationsbasierten Ansätzen fehlt.

Die Autoren kommen zu dem Schluss, dass der Ansatz zwar einen SMT-Solver für die Verifikation erfordert, die resultierenden MRBTs jedoch die Lerneffizienz und den Aufgabenerfolg signifikant verbessern, insbesondere in komplexen, mehrstufigen Umgebungen, in denen Reaktivität auf Fehler entscheidend ist. Als zukünftige Arbeit wird eine weitere Verallgemeinerung des MRBT-Templates erwähnt.