ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning

Die Arbeit stellt ARM-FM vor, ein Framework, das Foundation Models nutzt, um automatische Reward Machines aus natürlichen Sprachbeschreibungen zu generieren und so eine compositional Reinforcement Learning mit Zero-Shot-Verallgemeinerung ermöglicht.

Das Wesentliche

🤖 Das Problem: Der verlorene Schatzjäger

Stell dir vor, du möchtest einem Roboter beibringen, einen komplexen Schatz zu finden. Aber du darfst ihm keine detaillierte Landkarte geben. Du darfst ihm nur sagen: "Wenn du den Schatz findest, bekommst du einen Keks."

Das ist das Problem beim maschinellen Lernen (Reinforcement Learning):

• Der Roboter ist blind: Er weiß nicht, ob er sich auf dem richtigen Weg befindet, solange er den Schatz nicht findet.
• Der Keks kommt zu spät: Wenn der Schatz erst nach 1000 Schritten gefunden wird, vergisst der Roboter, was er davor getan hat. Er lernt nichts.
• Falsche Abkürzungen: Manchmal findet der Roboter einen Weg, der ihm viele Kekse gibt, aber nicht zum Schatz führt (z. B. er dreht sich im Kreis, um schnell Punkte zu sammeln). Das nennt man "Reward Hacking" (Belohnungshackerei).

Bisher mussten Menschen diese Roboter mühsam programmieren: "Wenn du eine Tür siehst, gib ihm 1 Punkt. Wenn du einen Schlüssel hast, gib ihm 2 Punkte." Das ist extrem schwer und fehleranfällig.

💡 Die Lösung: ARM-FM (Der KI-Architekt)

Die Forscher haben eine neue Methode namens ARM-FM entwickelt. Die Idee ist genial einfach: Wir nutzen eine super-intelligente KI (ein "Foundation Model", wie ein sehr fortschrittliches Chatbot), um dem Roboter die Landkarte zu zeichnen.

Stell dir vor, du hast einen genialen Architekten (die KI), der sich ausmalen kann, wie man ein Haus baut. Du sagst ihm nur: "Ich möchte ein Haus mit drei Zimmern und einem Dach."
Der Architekt (ARM-FM) macht dann drei Dinge:

1. Er entwirft den Bauplan (Die "Reward Machine"):
   Statt nur "Keks am Ende" zu sagen, baut der Architekt eine Art Stempelkarte für den Roboter.

   • Schritt 1: Schlüssel finden -> Stempel! (Kleiner Keks).
   • Schritt 2: Tür öffnen -> Stempel! (Mittlerer Keks).
   • Schritt 3: Zimmer betreten -> Stempel! (Großer Keks).
   • Schritt 4: Schatz finden -> JACKPOT!

   Diese Stempelkarte nennt man im Paper Reward Machine. Sie zerlegt die riesige Aufgabe in kleine, machbare Etappen.

2. Er schreibt die Anleitung auf Deutsch (Natürliche Sprache):
   Der Architekt schreibt nicht nur trockenen Code, sondern beschreiben jeden Schritt in normaler Sprache: "Geh jetzt zum blauen Schlüssel." oder "Öffne die rote Tür."

3. Er erstellt eine "Gedanken-Brille" (Language Embeddings):
   Das ist der coolste Teil. Der Architekt gibt dem Roboter eine Art Gedanken-Brille. Wenn der Roboter den Schritt "Geh zum blauen Schlüssel" liest, bekommt er durch die Brille ein Gefühl dafür, was das bedeutet.

   • Wenn er später "Geh zum roten Schlüssel" sieht, erkennt die Brille sofort: "Aha! Das ist fast das Gleiche wie beim blauen Schlüssel!"
   • Der Roboter kann also gelernte Fähigkeiten übertragen. Er muss nicht alles von vorne lernen, wenn sich nur die Farbe ändert.

🛠️ Wie funktioniert das in der Praxis?

Das System läuft wie ein Coaching-Team:

1. Der Trainer (Die KI): Du gibst der KI einen Auftrag auf Deutsch: "Finde den Diamanten im Minecraft-ähnlichen Spiel."
2. Der Entwurf: Die KI erstellt automatisch die Stempelkarte (Reward Machine) und den Code, der prüft, ob der Roboter einen Schritt gemacht hat.
3. Der Test (Selbstverbesserung): Die KI prüft sich selbst: "Habe ich einen Schritt vergessen? Was passiert, wenn der Roboter den Schlüssel fallen lässt?" Sie verbessert ihren Plan, bis er perfekt ist. (Manchmal schaut ein Mensch kurz drüber, aber oft reicht die KI allein).
4. Das Training: Der Roboter spielt nun. Er bekommt bei jedem kleinen Erfolg (Stempel) eine Belohnung. Er lernt schnell, weil er weiß, wo er gerade steht.

🌍 Was haben sie herausgefunden?

Die Forscher haben das System in verschiedenen Welten getestet:

• Labyrinth-Spiele (MiniGrid): Hier scheitern normale Roboter oft, weil sie sich verirren. Mit ARM-FM finden sie den Weg sofort, weil sie die Stempelkarte nutzen.
• 3D-Welten (Craftium/Minecraft): Hier muss man erst Holz, dann Stein, dann Eisen sammeln, um einen Diamanten zu finden. Ein normaler Roboter würde verzweifeln. Der ARM-FM-Roboter baut sich automatisch den Plan und schafft es.
• Roboter-Arme (Meta-World): Ein Roboterarm soll einen Gegenstand greifen und ablegen. Statt den Arm mühsam zu programmieren, sagt die KI dem Roboter einfach, was er tun soll, und er lernt es schnell.

🚀 Das große Wunder: Null-Shot Generalisierung

Das Beste an ARM-FM ist, dass der Roboter nicht für jede neue Aufgabe neu trainiert werden muss.

Stell dir vor, der Roboter hat gelernt, wie man einen blauen Schlüssel benutzt.
Jetzt kommt eine neue Aufgabe: "Benutze den roten Schlüssel."
Da der Roboter durch seine "Gedanken-Brille" versteht, dass "roter Schlüssel" und "blauer Schlüssel" semantisch ähnlich sind (beide sind Schlüssel, beide öffnen Türen), kann er die neue Aufgabe sofort lösen, ohne jemals einen roten Schlüssel gesehen zu haben. Er verallgemeinert sein Wissen.

📝 Zusammenfassung in einem Satz

ARM-FM ist wie ein genialer KI-Architekt, der aus einer einfachen Sprachanweisung automatisch eine detaillierte Schritt-für-Schritt-Anleitung (mit Belohnungen für Teilerfolge) für einen Roboter erstellt, damit dieser komplexe Aufgaben nicht nur löst, sondern auch versteht und sein Wissen auf neue Situationen übertragen kann.

Es ist der Brückenschlag zwischen dem, was Menschen sagen (Sprache), und dem, was Roboter tun (Handeln).

Technische Zusammenfassung

1. Problemstellung

Ein zentrales Hindernis für den breiten Einsatz von Reinforcement Learning (RL) ist die Design-Schwierigkeit effektiver Belohnungsfunktionen (Reward Functions).

• Sparsity-Problem: Bei komplexen Aufgaben sind Belohnungen oft selten (sparse rewards), was zu einem unzureichenden Lernsignal führt und das Training erschwert.
• Reward Hacking: Selbst handgefertigte, dichte Belohnungen können unbeabsichtigte Lücken aufweisen, die Agenten ausnutzen, ohne die eigentliche Aufgabe zu lösen.
• Lücke zwischen Sprache und RL: Foundation Models (FMs) wie Large Language Models (LLMs) können komplexe Aufgaben aus natürlicher Sprache hervorragend verstehen und zerlegen. Es fehlt jedoch eine Methode, dieses abstrakte Verständnis in konkrete, strukturierte Belohnungssignale für RL-Agenten zu übersetzen.
• Manueller Aufwand: Reward Machines (RMs) bieten zwar eine formale, automatenbasierte Methode zur Aufgabenzerlegung, ihre manuelle Erstellung erfordert jedoch Expertenwissen und ist zeitaufwendig.

2. Methodik: ARM-FM Framework

Die Autoren stellen ARM-FM (Automated Reward Machines via Foundation Models) vor, ein Framework, das FMs nutzt, um Reward Machines automatisch aus natürlichen Sprachbeschreibungen zu generieren.

Kernkomponenten:

1. Language-Aligned Reward Machines (LARMs):

   • Eine RM ist ein endlicher Automat, der komplexe Aufgaben in eine Folge von Subzielen (Zuständen) zerlegt.
   • Ein LARM erweitert dies um natürlichsprachliche Anweisungen ($l_u$) für jeden Zustand des Automaten.
   • Diese Anweisungen werden durch ein Embedding-Modell ($\phi(\cdot)$) in Vektoren ($z_u$) transformiert.
   • Dies schafft einen semantisch fundierten Skill-Raum, in dem ähnliche Subaufgaben (z. B. „Schlüssel holen" vs. „Schlüssel fallen lassen") im Embedding-Raum nah beieinander liegen.

2. Automatisierte Generierung durch FMs:

   • Das System verwendet einen Self-Improvement-Loop mit einem Generator-FM und einem Critic-FM.
   • Der Generator erstellt basierend auf einer Sprachbeschreibung und visuellen Beobachtungen die RM-Struktur (Zustände, Übergänge), die ausführbaren Labeling-Funktionen (Python-Code zur Erkennung von Ereignissen) und die Sprachbeschreibungen.
   • Der Critic bewertet die Korrektheit und schlägt Verbesserungen vor. Optional kann ein Mensch eingreifen (Human-in-the-Loop).

3. Integration in das RL-Training:

   • Der Agent lernt in einem augmentierten Zustandsraum $S \times U$ (MDP-Zustand $\times$ RM-Zustand).
   • Die Policy $\pi(s_t, z_{u_t})$ wird nicht nur auf den Umgebungsstatus, sondern auch auf das Sprach-Embedding des aktuellen RM-Zustands konditioniert.
   • Die Gesamtbelohnung setzt sich zusammen aus der ursprünglichen Umgebungsbelohnung ($R_t$) und der RM-Belohnung ($R^{RM}_t$), die durch die Labeling-Funktionen ausgelöst wird, wenn ein Subziel erreicht wird.

3. Hauptbeiträge

1. Automatisierte Generierung von LARMs: Ein Framework, das vollständige Aufgaben specifications (Automatenstruktur, Labeling-Funktionen, Sprachanweisungen) direkt aus natürlicher Sprache generiert, ohne manuelle Experteneingabe.
2. Semantisch fundierter Skill-Raum: Durch die Konditionierung der Policy auf Sprach-Embeddings der RM-Zustände wird eine gemeinsame Repräsentation für Subaufgaben geschaffen. Dies ermöglicht Experience Reuse und Policy Transfer über verwandte Aufgaben hinweg.
3. Empirische Validierung: Umfassende Experimente zeigen, dass das Framework komplexe, langfristige Aufgaben in verschiedenen Domänen löst, die für Standard-RL-Methoden unlösbar sind, einschließlich Zero-Shot-Generalisierung auf neue Aufgabenkombinationen.

4. Ergebnisse

Die Evaluation erfolgte in vier verschiedenen Umgebungen:

• MiniGrid & BabyAI (2D-Gitterwelten):
  • Der ARM-FM-Agent löste komplexe Exploration-Aufgaben (z. B. UnlockToUnlock, BlockedUnlockPickup), bei denen Baselines (DQN, ReAct, ICM) versagten.
  • Die Methode zeigte eine drastisch verbesserte Sample-Effizienz durch die Umwandlung von spärlichen in dichte, strukturierte Belohnungssignale.
• Craftium (3D Minecraft-ähnliche Welt):
  • In einer prozedural generierten 3D-Umgebung musste der Agent Holz, Stein, Eisen und schließlich einen Diamanten sammeln.
  • Ein PPO-Agent mit LARM schloss die gesamte Aufgabenkette erfolgreich ab, während der reine PPO-Agent (mit spärlicher Belohnung) kaum Fortschritte machte.
• Meta-World (Robotik):
  • In kontinuierlichen Kontrollaufgaben (z. B. Greifen und Platzieren) ermöglichte das LARM-Design eine effiziente Lernkurve, ohne dass manuelle, low-level Belohnungsfunktionen entworfen werden mussten.
• XLand-MiniGrid (Generalisierung):
  • Zero-Shot Generalisierung: Ein Agent, der auf Aufgaben A und B trainiert wurde, konnte eine völlig neue, zusammengesetzte Aufgabe C lösen, ohne weiteres Training.
  • Dies gelang, weil die Subaufgaben von C semantisch denen von A und B ähnelten und die Policy die entsprechenden Embeddings wiedererkannte.
  • Ablationsstudie: Es wurde gezeigt, dass sowohl die dichten LARM-Belohnungen als auch die Sprach-Embeddings für die Generalisierung essenziell sind; das Entfernen einer Komponente führte zu einem Leistungsabfall.

5. Bedeutung und Fazit

ARM-FM schließt die Lücke zwischen der semantischen Reasoning-Fähigkeit von Foundation Models und der niedrigschwelligen Kontrolle von RL-Agenten.

• Interpretierbarkeit: Die generierten Reward Machines sind strukturiert und durch natürliche Sprache erklärbar, was eine menschliche Überprüfung und Feinjustierung ermöglicht.
• Skalierbarkeit: Das Framework skaliert von einfachen 2D-Gittern bis hin zu komplexen 3D-Umgebungen und Robotik.
• Paradigmenwechsel: Anstatt FMs als direkte Agenten zu nutzen (die oft an der Umgebungsschnittstelle scheitern), nutzt ARM-FM FMs, um die Lernstruktur (Reward Machine) zu definieren. Dies erlaubt es dem RL-Agenten, generalisierbare Fähigkeiten zu erlernen, die auf neuen, aber semantisch ähnlichen Aufgaben angewendet werden können.

Zusammenfassend etabliert ARM-FM Language-Aligned Reward Machines als ein leistungsfähiges Werkzeug, um menschliche Absichten in generalisierbares, interpretierbares und effizientes RL-Verhalten zu übersetzen.