🤖 machine learning

Discovering Reinforcement Learning Interfaces with Large Language Models

Dieser Beitrag stellt LIMEN vor, ein von großen Sprachmodellen geleiteter evolutionärer Rahmen, der automatisch vollständige Schnittstellen für Reinforcement-Learning-Aufgaben synthetisiert – einschließlich sowohl Abbildungen von Beobachtungen als auch Belohnungsfunktionen – aus rohen Simulationszuständen und Erfolgsmetriken auf Trajektorienebene und zeigt, dass die gemeinsame Optimierung dieser Komponenten für den Erfolg in unterschiedlichen Domänen unerlässlich ist.

Ursprüngliche Autoren: Akshat Singh Jaswal, Ashish Baghel, Paras Chopra

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akshat Singh Jaswal, Ashish Baghel, Paras Chopra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, zu laufen, einen Becher aufzuheben oder ein Labyrinth zu lösen. In der Welt des Reinforcement Learning (RL) lernt der Roboter nicht einfach „von selbst"; er benötigt einen Lehrer, der ihm zwei sehr spezifische Dinge mitteilt:

Worauf er achten soll: Soll er auf die Farbe des Bodens achten? Auf die Entfernung zur Wand? Auf den Winkel seines eigenen Knies? (Dies ist die Beobachtung).
Wie er sich gut fühlen soll: Wenn er einen Schritt macht, erhält er dann einen goldenen Stern? Einen winzigen Punkt? Oder gar nichts? (Dies ist die Belohnung).

Normalerweise müssen menschliche Experten wochen- oder monatelang manuell diese „Worauf-achten"- und „Wie-sich-gut-fühlen"-Regeln entwerfen. Wenn sie es falsch machen, lernt der Roboter nie.

Diese Arbeit stellt ein neues System namens LIMEN (Learning Interfaces via MDP-guided EvolutioN) vor. Betrachten Sie LIMEN als einen kreativen Architekten und einen strengen Trainer, die zusammenarbeiten, angetrieben von einem Large Language Model (LLM), um automatisch den perfekten Lehrer für den Roboter zu entwerfen.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „blinde" Roboter

Stellen Sie sich vor, Sie setzen einen Roboter in ein Labyrinth.

Der alte Weg: Sie sagen dem Roboter: „Achte auf die rohen Pixel der Kamera" (was wie ein verschwommener, verwirrender Farbenmix ist) und „Erhalte nur einen Punkt, wenn du den Ausgang erreichst." Der Roboter ist blind und verwirrt. Er lernt möglicherweise nie.
Der neue Weg (LIMEN): LIMEN bittet eine KI (das LLM), ein Computerprogramm zu schreiben, das als Filter fungiert. Dieses Programm sagt: „Ignoriere die verschwommenen Farben. Achte stattdessen nur auf die Entfernung zur nächsten Wand und den Winkel der Tür." Es schreibt auch eine neue Regel: „Erhalte einen kleinen Punkt jedes Mal, wenn du näher an die Tür kommst, und einen großen Punkt, wenn du sie betrittst."

2. Die Methode: Evolution durch Versuch und Irrtum

LIMEN rät nicht einfach nur einmal. Es nutzt einen Prozess, der der natürlichen Evolution ähnelt, aber anstatt Tiere zu entwickeln, entwickelt es Computercode.

Die Generierung: Das LLM schreibt eine Reihe verschiedener „Lehrer"-Programme (einige sagen „achte auf den Boden", andere sagen „achte auf die Decke").
Der Test: Der Roboter versucht, mit jedem Lehrer zu lernen.
Das Feedback: Wenn der Roboter scheitert, sagt das System zum LLM: „Dieser Lehrer war schlecht, weil der Roboter die Tür nicht sehen konnte." Wenn der Roboter es einigermaßen gut macht, sagt das System: „Gut gemacht, aber versuche, das Punktesystem ermutigender zu gestalten."
Die Mutation: Das LLM nimmt die besten Lehrer und passt sie an (mutiert sie), um sie noch besser zu machen. Es wiederholt diesen Zyklus 30 Mal und verfeinert langsam den perfekten Regelsatz.

3. Die große Entdeckung: Sie brauchen beides

Die überraschendste Erkenntnis in der Arbeit ist, dass man nicht nur einen Teil des Problems beheben kann. Man muss sowohl das „Worauf-achten" als auch das „Wie-sich-gut-fühlen" gleichzeitig beheben.

Die Autoren testeten dies mit zwei Arten von Aufgaben:

Das Labyrinth (Gridworld): Hier scheiterte der Roboter, weil er die Beziehungen zwischen Objekten nicht sehen konnte (wie „der Schlüssel ist neben der Tür"). Wenn man nur das Punktesystem reparierte, aber die „Vision" chaotisch ließ, scheiterte der Roboter weiterhin. Er benötigte eine bessere „Linse", um die Welt zu sehen.
Der Roboterarm (Kontinuierliche Steuerung): Hier konnte der Roboter alles perfekt sehen, scheiterte aber, weil die „Punkte" zu spärlich waren (er erhielt nur am ganz Ende einen Punkt). Er benötigte einen besseren „Trainer", der ihm unterwegs Feedback gab.

Die Analogie:

Wenn Sie versuchen, einem Schüler Klavierspielen beizubringen, indem Sie ihm nur bessere Noten geben (Beobachtung), aber kein Feedback zu seinem Spiel geben (Belohnung), wird er sich möglicherweise nicht verbessern.
Wenn Sie ihm einen großartigen Lehrer geben, der jede Note kritisiert (Belohnung), aber die Noten mit Unsinn gekritzt sind (Beobachtung), kann er immer noch nicht lernen.
LIMEN erkannte, dass man, um erfolgreich zu sein, die Noten neu schreiben und gleichzeitig den perfekten Lehrer einstellen muss.

4. Die Ergebnisse

Das Team testete LIMEN an fünf verschiedenen Aufgaben, von einfachen Labyrinthen bis hin zu komplexen Robotergleichgewichtsübungen.

Das Ergebnis: Wenn LIMEN sowohl das Sehsystem als auch das Belohnungssystem gemeinsam entwarf, lernten die Roboter, die Aufgaben mit hohen Erfolgsquoten zu lösen (bis zu 99 % bei Labyrinthen).
Das Scheitern von Halbherzigkeit: Wenn sie versuchten, nur die Vision oder nur die Belohnung zu entwickeln, scheiterten die Roboter bei mindestens einer der Aufgaben katastrophal.

Zusammenfassung

Kurz gesagt zeigt diese Arbeit, dass wir aufhören können, die Regeln für Roboter manuell zu entwickeln. Stattdessen können wir eine KI verwenden, um automatisch den Code zu schreiben, der dem Roboter sagt, was er sehen soll und wie er belohnt wird. Durch die gemeinsame Entwicklung dieser beiden Dinge entdeckt das System clevere, menschähnliche Strategien (wie „achte auf die Entfernung zum Ziel" oder „verleihe einen Bonus für das Aufrechtbleiben"), die das Lernen viel schneller und zuverlässiger machen.

Es ist wie die Automatisierung des Jobs des „Spieldesigners" für KI, um sicherzustellen, dass das Spiel spielbar und fair ist, damit der KI-Spieler tatsächlich gewinnen kann.

Technische Zusammenfassung: Entdeckung von Reinforcement-Learning-Schnittstellen mit Large Language Models

Problemformulierung

Reinforcement-Learning-(RL-)Systeme verlassen sich auf Umgebungs-Schnittstellen – spezifisch Beobachtungsmapping ( $\phi$ ) und Belohnungsfunktionen ( $R$ ) –, um den Markov-Entscheidungsprozess (MDP) zu definieren, den ein Agent erfährt. Während jüngste Fortschritte Large Language Models (LLMs) zur Automatisierung des Belohnungsdesigns genutzt haben, gehen diese Ansätze typischerweise von einem festen, vorab abgestimmten Beobachtungsraum aus. In vielen Szenarien enthalten Rohzustände des Simulators schlecht strukturierte Informationen, die das Lernen behindern, und das manuelle Engineering sowohl von Beobachtungen als auch von Belohnungen bleibt ein erheblicher Flaschenhals.

Dieses Papier adressiert das Problem der Entdeckung von RL-Schnittstellen aus dem Rohzustand des Simulators. Das Ziel ist die gemeinsame Synthese einer Beobachtungsmapping $\phi: S \to O$ und einer Belohnungsfunktion $R: S \times A \times S \to \mathbb{R}$ , um eine Erfolgsmetrik auf Trajektorienebene $F$ zu maximieren. Die Autoren formalisieren dies als ein zweistufiges Optimierungsproblem, bei dem die äußere Schleife nach der optimalen Schnittstelle $(\phi, R)$ sucht und die innere Schleife einen RL-Agenten $\pi$ auf dem induzierten MDP $M_I = (O, A, T_\phi, R)$ trainiert, um die Leistung zu bewerten. Der Suchraum besteht aus ausführbaren Programmen, die direkt auf Simulatorzustandsvariablen operieren.

Methodik: LIMEN

Die Autoren schlagen LIMEN (Learning Interfaces via MDP-guided EvolutioN) vor, ein LLM-gesteuertes evolutionäres Framework, das entwickelt wurde, um effektive Schnittstellen zu entdecken.

Kernkomponenten

Repräsentation als ausführbare Programme: Sowohl das Beobachtungsmapping als auch die Belohnungsfunktion werden als Python-Programme unter Verwendung von JAX-kompatiblen numerischen Operationen dargestellt. Dies ermöglicht es der Suche, die Dimensionalität, Struktur und Semantik des Eingaberaums des Agents und des Belohnungssignals zu verändern, anstatt lediglich Embeddings innerhalb eines festen Raums zu lernen.
LLM-gesteuerte Evolution: Das Framework behandelt das LLM als strukturierten Mutationsoperator. Ausgehend von einer Aufgabenbeschreibung generiert das System Kandidatenschnittstellen. In nachfolgenden Iterationen erhält das LLM einen Prompt, der die Aufgabenbeschreibung, eine aus einem Archiv ausgewählte Elternschnittstelle und Feedback von erfolgreichsten und gescheiterten Kandidaten (einschließlich Fehlerprotokollen) enthält. Dieser Feedback-Kreislauf lenkt das LLM von negativen Code-Mustern weg.
Qualitätsvielfalt-Suche (MAP-Elites): Um zu verhindern, dass die Suche in eine einzelne Strategie kollabiert, verwendet LIMEN ein MAP-Elites-Archiv. Das Archiv ist durch zwei Verhaltensdeskriptoren strukturiert:
- Beobachtungsdimensionalität: In einheitliche Bereiche eingeteilt (z. B. 1–50, 51–100 Merkmale).
- Strukturelle Komplexität der Belohnung: Gemessen durch die Anzahl der Knoten im Abstract Syntax Tree (AST).
  Dies gewährleistet die Aufrechterhaltung strukturell vielfältiger Lösungen (z. B. kompakte Beobachtungen mit einfachen Belohnungen versus komplexe Beobachtungen mit detaillierter Formgebung).
Bewertungskaskade: Um die Rechenkosten zu steuern, durchlaufen Kandidaten einen „Kurzbudget"-Kaskadenfilter. Schnittstellen müssen einen minimalen Erfolgsschwellenwert in einer gekürzten Trainingslaufzeit überschreiten, bevor sie zur vollständigen Bewertung mit mehreren Seeds weitergeleitet werden. Die Fitness ist als die mittlere Erfolgsrate über die Bewertungs-Definiert.

Experimenteller Aufbau

Die Autoren bewerteten LIMEN über fünf neuartige Aufgaben hinweg, die diskutes Reasoning und kontinuierliche Steuerung abdecken:

XLand-MiniGrid (Diskret): Drei Aufgaben mit zunehmender kompositorischer Komplexität (Einfach: Objektaufnahme; Mittel: relationale Platzierung; Schwer: mehrstufige Regelketten). Standardbeobachtungen sind flache egozentrische Gitter.
MuJoCo Robotics (Kontinuierlich): Zwei Aufgaben (Go1 Push Recovery: Quadruped-Balance unter Krafteinwirkung; Panda Tracking: Manipulator-Trajektorienverfolgung). Diese Aufgaben weisen spärliche Belohnungen und hochdimensionale Steuerung auf.

Die Experimente verglichen die gemeinsame Entdeckung (LIMEN) mit drei Baselines:

Sparse: Rohbeobachtungen mit binären Erfolgsbelohnungen.
Obs-Only: Evolution von Beobachtungen mit einer festen Belohnung.
Reward-Only: Evolution von Belohnungen mit festen Rohbeobachtungen (Implementierung von Methoden wie Eureka).

Wichtige Ergebnisse

Überlegenheit der gemeinsamen Optimierung: LIMEN schnitt bei allen Baselines konsistent besser ab. Es erreichte hohe Erfolgsraten über alle Aufgaben hinweg (99 % bei Einfach/Mittel, 85 % bei Schwer, 45 % bei Panda, 48 % bei Go1).
Katastrophales Versagen der Einzelkomponenten-Optimierung:
- Reward-Only scheiterte bei kompositorischen Gridworld-Aufgaben (19 % bei Mittel, 1 % bei Schwer), was darauf hindeutet, dass selbst gut strukturierte Belohnungen in diesen Domänen nicht für unstrukturierte Beobachtungen kompensieren können.
- Observation-Only scheiterte vollständig bei der Panda-Tracking-Aufgabe (0 % Erfolg), was zeigt, dass Rohbeobachtungen unzureichend sind, wenn das Belohnungssignal zu spärlich ist, um das Lernen zu leiten.
- Dies bestätigt, dass verschiedene Domänen aus grundlegend unterschiedlichen Gründen versagen, was ein Co-Design erfordert.
Notwendigkeit evolutionären Feedbacks: Eine unabhängige LLM-Sampling-Baseline (30 zufällige Proben ohne evolutionäre Selektion) schnitt signifikant schlechter ab als LIMEN (z. B. 2,1 % vs. 97 % bei Mittel). Dies zeigt, dass die Prior des LLM über Schnittstellendesigns allein nicht ausreicht; die iterative Schleife aus Bewertung und Verfeinerung ist essenziell, um den kombinatorischen Raum zu navigieren.
Robustheit: Evolvierte Schnittstellen behielten die aufgabenrelevante Struktur unter Verteilungsverschiebungen (z. B. erhöhte Schubkräfte oder Verfolgungsgeschwindigkeiten) bei und verschlechterten sich graduell statt zu kollabieren, was auf die Entdeckung generalisierbarer struktureller Muster hindeutet.

Analyse der entdeckten Schnittstellen

Die Analyse der evolvierten Programme deckte konsistente, interpretierbare Muster auf, die manuellen RL-Engineering-Strategien ähneln:

Beobachtungen: Häufige Konstruktion relativer geometrischer Merkmale (normalisierte Abstände, Richtungsindikatoren), mehrskalige Kodierungen und explizite Aufgabenphasenindikatoren.
Belohnungen: Einbeziehung potentialbasierter Formgebung, Meilenstein-Boni für Phasenübergänge und Glättungsstrafen.
Strukturelle Entdeckung: Bei der Go1-Aufgabe entdeckte die Evolution eine strukturelle Änderung in der Belohnungsfunktion (Entfernen eines „Aufrechtestand-Gates" bei Positionsbelohnungen), die die Lern-Dynamik erheblich verbesserte. Dies demonstriert die Fähigkeit des Systems, die Struktur der Belohnung zu modifizieren, nicht nur ihre Parameter.

Bedeutung und Behauptungen

Das Papier behauptet, dass die automatische Konstruktion von RL-Schnittstellen aus dem Rohzustand den manuellen Engineering-Aufwand erheblich reduzieren kann. Der Hauptbeitrag ist der Nachweis, dass Beobachtungs- und Belohnungskomponenten oft von einem Co-Design profitieren, da ihre isolierte Optimierung in mindestens einer Domäne innerhalb der Evaluierungssuite zu einem katastrophalen Versagen führt.

Die Autoren positionieren LIMEN als einen Schritt hin zur Automatisierung der „induktiven Bias" von RL-Problemen. Durch die Suche über ausführbare Programme, die den induzierten MDP selbst definieren, erzeugt die Methode interpretierbare und übertragbare Code-Artefakte anstelle von gelernten neuronalen Embeddings. Die Arbeit hebt hervor, dass sich aktuelle Methoden zwar auf das Belohnungsdesign konzentrieren, die Beobachtungsschnittstelle jedoch ebenso kritisch ist und oft den limitierenden Faktor bei komplexen, kompositorischen Aufgaben darstellt.

Einschränkungen: Die Autoren erkennen an, dass der Ansatz den Zugriff auf strukturierte Simulatorzustandsvariablen (privilegierte Informationen) und eine zuverlässige Erfolgsmetrik auf Trajektorienebene voraussetzt. Darüber hinaus bleibt die Rechenkosten ein Flaschenhals, der mit den Anforderungen an das RL-Training skaliert, obwohl JAX-basierte Parallelisierung dies für die aktuellen Experimente mildert. Für zukünftige Arbeiten werden größere Umgebungen und visionbasierte Beobachtungen vorgeschlagen.