🤖 AI

LaGO: Latent Action Guidance for Online Reinforcement Learning

Das Paper schlägt LaGO vor, ein Framework, das vortrainierte Large Language Models als latente Aktions-Priors nutzt, um Online-Reinforcement-Learning sanft zu leiten, wobei es im Vergleich zu Standard-PPO signifikante Verbesserungen der Erfolgsraten und Belohnungen sowohl bei diskreten als auch bei kontinuierlichen Steuerungs-Benchmarks demonstriert.

Ursprüngliche Autoren: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er ein komplexes Labyrinth durchquert oder ein bestimmtes Objekt aufhebt. Sie haben zwei Hauptwerkzeuge zur Verfügung: einen brillanten, aber tollpatschigen Experten (ein Large Language Model, oder LLM) und einen sturen, aber schnellen Lerner (einen Reinforcement Learning Agenten).

Lange Zeit versuchten Forscher, den „tollpatschigen Experten“ den Roboter direkt steuern zu lassen. Sie baten den Experten, genau zu sagen, welchen Knopf man drücken oder in welche Richtung man sich bewegen muss. Das Problem war: Der Experte ist großartig im Reden und Planen, aber schlecht darin, präzise, blitzschnelle Anweisungen zu geben. Wenn der Experte einen winzigen Fehler macht, stürzt der Roboter ab und die gesamte Mission scheitert.

LaGO (Latent Action Guidance) ist ein neues Framework, das diese Dynamik verändert. Anstatt den Experten das Auto fahren zu lassen, lässt LaGO den Experten auf dem Beifahrersitz sitzen und Richtungen zuflüstern.

So funktioniert es, unterteilt in einfache Schritte:

1. Der Aufbau: Zwei Phasen

Das Paper beschreibt einen zweistufigen Prozess, um den Roboter effektiv lernen zu lassen.

Phase 1: Die „Lernsitzung“ (Offline)
Zuerst nimmt das System einen „tollpatschigen Experten“ (eine vortrainierte KI wie Llama) und zeigt ihm eine Reihe von Videos, in denen Menschen die Aufgabe erfolgreich bewältigen (Experten-Demonstrationen). Es bittet den Experten noch nicht, das Auto zu steuern. Stattdessen lehrt es den Experten, Muster zu erkennen. Es ist, als würde man einem Schachgroßmeister tausend Schachpartien zeigen und ihn bitten, das Gefühl für einen guten Zug zu verstehen, anstatt von ihm zu verlangen, sofort ein perfektes Spiel zu spielen. Der Experte lernt ein „Bauchgefühl“ oder einen latenten Prior darüber, welche Aktionen normalerweise funktionieren.
Phase 2: Die „Fahrstunde“ (Online)
Jetzt beginnt das eigentliche Lernen. Ein separater, schnell lernender Roboter (die RL-Policy) interagiert mit der realen Welt. Er probiert Dinge aus, scheitert, erhält Belohnungen und lernt daraus.
- Der Clou: Während der Roboter lernt, sitzt der „tollpatschige Experte“ immer noch daneben. Aber anstatt Befehle zu brüllen, gibt er dem Roboter sanfte Stupser. Er sagt: „Hey, basierend auf dem, was ich gesehen habe, wirst du wahrscheinlich in diese Richtung wollen gehen.“
- Der Robot hört auf diesen Hinweis, ist aber nicht gezwungen, ihm zu gehorchen. Wenn der Roboter einen neuen Zug ausprobiert und eine große Belohnung erhält, ignoriert er den Hinweis und macht so weiter wie bisher. Wenn der Roboter die Orientierung verliert, hilft der Hinweis ihm, einen besseren Weg zu finden.

2. Die Analogie: Das GPS vs. Der Co-Pilot

Den alten Weg (LLMs als direkte Steuerungen zu nutzen) kann man sich wie das Fahren eines Autos mit einem GPS vorstellen, das exakte, starre Anweisungen gibt wie „Biegen Sie in 3,42 Zoll nach links ab“. Wenn das GPS nur leicht daneben liegt, fährt man gegen einen Baum.

LaGO ist wie ein wissender Co-Pilot. Der Co-Pilot greift nicht das Lenkrad, sondern sagt: „Ich glaube, da drüben gibt es eine Abkürzung“ oder „Diese Straße sieht gefährlich aus“.

Wenn der Co-Pilot recht hat, nimmt man die Abkürzung und kommt schneller ans Ziel.
Wenn der Co-Pilot falsch liegt, ignoriert man ihn und fährt einfach weiter.
Das Ergebnis: Man profitiert von seiner Erfahrung, ohne das Risiko einzugehen, dass er die Kontrolle übernimmt und das Auto gegen einen Baum fährt.

3. Die Ergebnisse: Funktioniert es?

Die Forscher haben dies in zwei verschiedenen „Labyrinthen“ getestet:

CLEVR-Robot: Ein Spiel, bei dem ein Roboter Bälle auf einem Gitter bewegen muss (diskrete Schritte).
Meta-World: Eine komplexe Simulation, in der ein Roboterarm Türen öffnen, Knöpfe drücken und Objekte aufheben muss (kontinuierliche, fließende Bewegungen).

Das Ergebnis:
In beiden Fällen lernten die Roboter unter Verwendung von LaGO wesentlich besser als Roboter, die alleine lernten.

Beim Ball-Bewegungs-Spiel stieg die Erfolgsquote von 15 % auf 27 %.
Beim komplexen Roboterarm-Spiel schoss die Erfolgsquote von 2,7 % auf 15,2 % hoch.

Dies ist eine große Sache, denn der „tollpatschige Experte“ war nicht perfekt. Tatsächlich hätte er, wenn man ihn einfach direkt den Roboter steuern ließe, kläglich versagt. Aber indem man den Experten als sanften Wegweiser nutzt, lernte der Roboter, viel häufiger erfolgreich zu sein.

4. Die Geheimzutat: Ein smarterer Experte

Das Paper fand auch heraus, dass die Qualität des „tollpatschigen Experten“ entscheidend ist.

Wenn sie eine kleinere, schwächere KI als Guide verwendeten, lernte der Roboter nicht so gut.
Wenn sie eine größere, intelligentere KI verwendeten (Llama 2 7B vs. TinyLlama), war die Anleitung viel besser und der Roboter lernte sogar schneller.

Dies deutet darauf hin, dass KI-Modelle in Zukunft automatisch bessere „Co-Piloten“ für Roboter werden, wenn sie intelligenter werden – selbst wenn sie selbst keine perfekten Fahrer sind.

Zusammenfassung

LaGO ist eine clevere Methode, das enorme Wissen großer KI-Modelle zu nutzen, um Robotern beim Lernen zu helfen, ohne diese Modelle die präzise, schwierige Arbeit der Robotersteuerung übernehmen zu lassen. Es verwandelt eine „besserwisserische, aber tollpatschige“ KI in einen hilfreichen Wegweiser, der das Lernen beschleunigt und dem Roboter hilft, öfter erfolgreich zu sein.

Technische Zusammenfassung: LaGO – Latent Action Guidance für Online-Reinforcement Learning

Problemstellung
Obwohl Large Language Models (LLMs) signifikantes Potenzial beim Planen und bei sequenziellen Entscheidungsprozessen gezeigt haben, verlassen sich bestehende Ansätze oft darauf, sie als direkte Controller, explizite High-Level-Planer oder Weltmodell-Simulatoren zu nutzen. Diese Methoden erfordern von LLMs, dass sie präzise Aktionen, detaillierte Pläne oder genaue zukünftige Trajektorien generieren. Diese Anforderung ist in der Praxis jedoch oft zu streng; die Fähigkeiten von LLMs variieren erheblich, und selbst kleine Vorhersagefehler können sich über die Zeit akkumulieren, was zu einer schlechten Steuerungsleistung in Reinforcement Learning (RL)-Umgebungen führt, die eine präzise Ausführung und langfristiges Denken erfordern. Folglich bleibt das direkte Vertrauen auf ein LLM als primären Controller unzuverlässig, insbesondere in vektorisierten Umgebungen, in denen Beobachtungen und Aktionen nicht natürlich in Sprache oder visueller Form vorliegen.

Methodik
Um diese Herausforderungen zu adressieren, schlagen die Autoren LaGO (Latent Action Guidance for Online Reinforcement Learning) vor, ein zweistufiges Framework, das ein vortrainiertes LLM nicht als expliziten Controller, sondern als Quelle für „weiche“ Führung mittels latenter Aktions-Priors nutzt.

Stufe 1: Offline Prior Learning
Das Framework beginnt mit dem Training eines latenten Policy-Priors aus einem Offline-Experten-Datensatz ( $D$ ). Ein vortrainiertes LLM-Backbone ( $F_\phi$ ) wird verwendet, wobei nicht-textuelle Zustands-Aktions-Sequenzen aus Demonstrationen über lernbare Projektionsmodule ( $E_s$ und $E_a$ ) in latente Repräsentationen umgewandelt werden. Diese Embeddings werden zusammen mit einer textuellen Aufgabenbeschreibung ( $x$ ) in das LLM eingespeist. Ein neu hinzugefügter Action-Head ( $G_\theta$ ) wird mittels Supervised Fine-Tuning trainiert, um die nächste Aktion ( $a_{t+1}$ ) gegeben die Trajektorien-Präfix ( $\tau_t$ ) und die Aufgabenbeschreibung vorherzusagen. Das Ziel ist es, die negative Log-Likelihood der Experten-Daten zu minimieren, wodurch ein latenter Policy-Prior $\pi_K(a_{t+1} | x, \tau_t)$ entsteht, der einen groben Verhaltens-Prior statt eines optimalen Controllers erfasst.
Stufe 2: Online RL mit latenter Führung
In der zweiten Stufe wird der trainierte latente Prior $\pi_K$ eingefroren und dazu verwendet, eine Online-RL-Policy $\pi_\psi(a|s)$ (z. B. PPO oder SAC) zu führen. Der RL-Agent interagiert mit der Umgebung, um Rollouts zu sammeln, aber die Policy-Optimierung wird in Richtung des latenten Priors regularisiert. Der gesamte Trainingsverlust ist definiert als:
$L_{online} = L_{PG} + \beta L_{prior}$
wobei $L_{PG}$ der Standard-Policy-Gradient-Term ist und $\beta$ den Einfluss des Priors steuert.
- Für diskrete Aktionsräume ist der Prior-Verlust die negative Log-Likelihood der vom Prior vorhergesagten Aktion.
- Für kontinuierliche Aktionsräume wird der Prior-Verlust als Cross-Entropy-Term zwischen der Prior-Verteilung und der aktuellen Policy implementiert, was als äquivalentes Optimierungssignal zur KL-Divergenz-Regularisierung dient (bis auf die Entropie des fixierten Priors).

Dieses Design ermöglicht es der RL-Policy, vom im LLM kodierten strukturellen Wissen zu profitieren, ohne dass das LLM während der Interaktion exakte Entscheidungen treffen muss.

Wesentliche Beiträge

Neuartiges Framework: LaGO führt eine Methode ein, um das Wissen vortrainierter LLMs als latenten Verhaltens-Prior für Online-RL zu nutzen, wodurch die strengen Genauigkeitsanforderungen an die Verwendung von LLMs als direkte Controller gelockert werden.
Zweistufiges Architektur: Die Trennung von Offline-Prior-Learning (via Supervised Fine-Tuning auf Experten-Daten) und Online-Policy-Optimierung (via Regularisierung) ermöglicht es dem System, LLM-Wissen auch dann zu nutzen, wenn der Prior nicht präzise genug ist, um als eigenständiger Agent zu agieren.
Generalisierung: Das Framework ist so konzipiert, dass es sowohl in diskreten als auch in kontinuierlichen Kontrolldomänen funktioniert, indem der Prior-Regularisierungsterm an den spezifischen Aktionsraum angepasst wird.

Experimentelle Ergebnisse
Die Autoren evaluierten LaGO auf zwei Benchmarks: CLEVR-Robot (diskrete Steuerung) und Meta-World (kontinuierliche Steuerung). In den Experimenten wurde LaGO gegen „Vanilla PPO“ über vier Aufgabenkategorien hinweg verglichen: Real, Rephrase, Easy und Hard.

Leistungssteigerungen: LaGO übertraf Vanilla PPO konsistent sowohl in Bezug auf die Belohnung (Reward) als auch die Erfolgsrate.
- Auf CLEVR-Robot stieg die durchschnittliche Erfolgsrate von 15,1 % auf 27,2 %.
- Auf Meta-World stieg die durchschnittliche Erfolgsrate von 2,7 % auf 15,2 %.
Generalisierung: Verbesserungen wurden in allen Aufgabenkategorien beobachtet, einschließlich der „Easy“ und „Hard“ ungesehenen Aufgaben, was darauf hindeutet, dass der Prior eine generalisierbare Führung bietet und nicht bloßes Auswendiglernen ist.
Einfluss der LLM-Qualität: Eine Ablationsstudie, die einen Llama-2-7B Prior mit einem TinyLlama-1.1B Prior auf Meta-World verglich, zeigte, dass stärkere vortrainierte Modelle effektivere latente Priors liefern. LaGO mit Llama-2-7B erreichte konsistent die höchste Leistung, während der TinyLlama-Prior zeitweise unter die Leistung von Vanilla PPO fiel, was die Bedeutung der Qualität des Foundation-Modells hervorhebt.

Bedeutung und Ansprüche
Das Paper behauptet, dass LaGO ein einfaches und praktisches Framework zur Integration von vortrainiertem LLM-Wissen in Reinforcement Learning bietet. Die primäre Bedeutung liegt in dem Nachweis, dass LLMs die Online-Entscheidungsfindung und -planung verbessern können, selbst wenn sie nicht genau genug sind, um als direkte Controller zu dienen. Indem das Framework das LLM als Quelle für weiche, latente Führung statt als expliziten Planer behandelt, mildert es die Risiken der Fehlerakkumulation ab und nutzt gleichzeitig die reichhaltigen induktiven Biases und das während des Pretrainings erworbene Weltwissen.

Die Autoren kommen zu dem Schluss, dass das in vortrainierten LLMs kodierte Wissen und die Generalisierungsfähigkeit als starke Priors für Planung und RL dienen können. Sie legen ferner nahe, dass mit der Verbesserung der Foundation Models die Effektivität dieser Führung natürlich zunehmen wird, was einen skalierbaren Weg eröffnet, um LLMs in komplexen Entscheidungsaufgaben einzusetzen, ohne während der Interaktion eine präzise Aktionsgenerierung zu erfordern.