🤖 machine learning

Yes, Q-learning Helps Offline In-Context RL

Dieser Artikel zeigt, dass die Integration von Reinforcement-Learning-Zielen, insbesondere mit Konservatismus, in offline In-Context-Reinforcement-Learning bestehende überwachte Methoden wie Algorithm Distillation in vielfältigen Umgebungen und unter verschiedenen Datensatzbedingungen signifikant übertrifft.

Ursprüngliche Autoren: Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Igor Kiselev, Vladislav Kurenkov

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Igor Kiselev, Vladislav Kurenkov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einen Roboter unterrichten, indem man ihm Videos zeigt, versus ihn aus Fehlern lernen lassen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, ein Labyrinth zu navigieren. Sie haben zwei Hauptmöglichkeiten, dies zu tun:

Der „überwachte" Weg (Die alte Methode): Sie zeigen dem Roboter Tausende von Videos eines Menschen, der das Labyrinth löst. Die Aufgabe des Roboters besteht darin, genau zu memorieren, was der Mensch in jedem Schritt getan hat. Wenn der Mensch in dem Video einen Fehler gemacht hat, lernt der Roboter, denselben Fehler zu machen. Das ist wie ein Schüler, der versucht, eine Prüfung zu bestehen, indem er den Lösungsschlüssel auswendig lernt, ohne zu verstehen, warum die Antworten richtig sind.
Der „Bestärkungs-Lern"-Weg (Die neue Methode): Sie zeigen dem Roboter immer noch die Videos, aber anstatt nur die Bewegungen zu kopieren, sagen Sie dem Roboter: „Ihr Ziel ist es, so viele Punkte wie möglich zu erhalten." Der Roboter betrachtet die Videos, stellt fest, welche Bewegungen zu hohen Punktzahlen geführt haben und welche zu niedrigen, und lernt eine Strategie, um seine eigenen Punkte zu maximieren, selbst wenn der Mensch im Video nicht perfekt war.

Die Entdeckung des Papers:
Die Forscher stellten fest, dass der zweite Ansatz (Bestärkungs-Lernen) deutlich besser ist, insbesondere wenn der Roboter nicht in der realen Welt üben kann (was als „Offline"-Lernen bezeichnet wird). Sie testeten dies in über 150 verschiedenen Szenarien, von einfachen Gitter-Labyrinthen bis hin zu komplexen Bewegungen eines Roboterarms.

Das Ergebnis:
Die neue Methode verbesserte die Leistung im Durchschnitt um etwa 30 % im Vergleich zur alten „Auswendiglern"-Methode. In einem sehr schwierigen Test verdoppelte sie die Leistung tatsächlich.

Wichtige Konzepte mit Analogien erklärt

1. Offline In-Context Learning (ICRL)

Die Analogie: Stellen Sie sich einen Koch vor, der noch nie ein bestimmtes Gericht gekocht hat, aber ein Kochbuch voller Rezepte gelesen und Videos anderer Köche beim Kochen gesehen hat. Wenn ein Kunde dieses Gericht bestellt, betrachtet der Koch den „Kontext" (die Rezepte und Videos) und findet in diesem Moment heraus, wie man es kocht, ohne zurück zur Schule gehen zu müssen, um die Grundlagen neu zu lernen.
Im Paper: Dies ist ein System, das lernt, sich sofort an neue Aufgaben anzupassen, indem es eine Historie vergangener Daten betrachtet, ohne während der eigentlichen Aufgabe sein internes „Gehirn" (Parameter) zu verändern.

2. Das Problem mit „Algorithm Distillation" (AD)

Die Analogie: Die alte Methode (Algorithm Distillation) ist wie ein Papagei. Sie zeigen dem Papagei ein Video eines Menschen, der ein Rätsel löst, und der Papagei lernt, die genauen Worte und Handlungen des Menschen zu wiederholen.

Der Fehler: Wenn der Mensch im Video verwirrt war, eine falsche Abzweigung nahm oder stecken blieb, lernt der Papagei, dasselbe zu tun. Er versteht nicht das Ziel (das Rätsel zu lösen); er versteht nur das Muster (den Menschen nachzuahmen).
Im Paper: Die Autoren zeigten, dass dieser „Papagei"-Ansatz Schwierigkeiten hat, wenn die Daten nicht perfekt sind oder wenn der Roboter schlauer sein muss als die Person im Video.

3. Warum Q-Learning (RL-Ziele) hilft

Die Analogie: Stellen Sie sich nun vor, Sie geben dem Koch einen Punktekatalog. Anstatt den Menschen einfach zu kopieren, betrachtet der Koch das Video und sagt: „Ah, als der Mensch nach links abbiegte, erhielt er eine Belohnung. Als er gegen die Wand lief, erhielt er eine Strafe." Der Koch lernt die Prinzipien des Gewinns, nicht nur die spezifischen Bewegungen.
Im Paper: Durch das Hinzufügen eines „Punktekatalogs" (eines RL-Ziels) zum Training lernt das Modell, Belohnungen zu maximieren. Es wird robust genug, um schlechte Beispiele in den Daten zu ignorieren und sich auf das zu konzentrieren, was tatsächlich zum Erfolg führt.

4. „Konservatismus" (Das Sicherheitsnetz)

Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Wenn er eine Frage sieht, die gar nichts mit dem zu tun hat, was er gelernt hat, wird ein „konservativer" Schüler sagen: „Ich bin mir nicht sicher, ich bleibe bei dem, was ich als sicher kenne", anstatt wild zu raten und zu durchfallen.
Im Paper: Die Forscher stellten fest, dass das Hinzufügen von „Konservatismus" (eine Technik, um zu verhindern, dass die KI bei Daten, die sie nicht gesehen hat, wilde Vermutungen anstellt), das System noch zuverlässiger machte. Es hinderte die KI daran, mit unvollständigen Informationen zu sehr clever zu sein.

Was sie getestet haben (Das „Labor")

Die Forscher sprachen nicht nur über Theorie; sie führten massive Experimente durch:

Die Spiele: Sie verwendeten einfache Gitter-Welt-Spiele (wie ein digitales Pac-Man) und komplexe Physiksimulationen (wie die Steuerung eines virtuellen Roboterarms).
Die Daten: Sie erstellten über 150 verschiedene Datensätze. Einige enthielten perfekte Daten (Experten), einige hatten unordentliche Daten (Anfänger) und einige hatten sehr wenige Daten.
Die Überraschung: Selbst wenn die Daten unordentlich waren oder dem Roboter ein zufälliges Durcheinander von Videos gegeben wurde (anstatt einer logischen Geschichte), übertraf die „Punktekatalog"-Methode (RL) die „Papagei"-Methode (AD) immer noch.

Das Fazit

Das Paper argumentiert, dass Sie, wenn Sie eine KI bauen wollen, die aus vergangenen Daten lernt, um neue Probleme zu lösen, nicht einfach nur das Vergangene nachahmen lassen sollten. Stattdessen sollten Sie ihr beibringen, das Ziel zu verstehen (Belohnungen zu maximieren).

Alte Methode: „Kopiere, was der Mensch getan hat." (Gut für perfekte Daten, schlecht für unordentliche Daten).
Neue Methode: „Lerne, wie man basierend auf dem, was der Mensch getan hat, die höchste Punktzahl erreicht." (Funktioniert in fast jeder Situation besser, auch bei unordentlichen oder begrenzten Daten).

Die Autoren schließen daraus, dass die Ausrichtung des Lernziels der KI auf das tatsächliche Ziel der Aufgabe (Belohnungen erhalten) das Geheimnis ist, um diese Systeme in der realen Welt funktionieren zu lassen.

Technische Zusammenfassung: Ja, Q-Learning hilft beim Offline In-Context RL

Problemstellung

Offline In-Context Reinforcement Learning (ICRL) zielt darauf ab, Agenten zu trainieren, die sich zur Einsatzzeit rein durch kontextuelles Lernen an neue Aufgaben anpassen können, ohne Parameterupdates oder Online-Interaktion mit der Umgebung zu benötigen. Diese Fähigkeit ist für sicherheitskritische Bereiche wie Robotik und Gesundheitswesen entscheidend, wo eine Online-Exploration nicht durchführbar ist.

Bestehende Offline-ICRL-Methoden, wie Algorithm Distillation (AD) und Decision-Pretrained Transformer (DPT), verlassen sich jedoch vorwiegend auf überwachte Trainingsziele (z. B. die Vorhersage der nächsten Aktion basierend auf einer Lernhistorie). Die Autoren argumentieren, dass dieser Ansatz das fundamentale Ziel des Reinforcement Learning übersieht: die explizite Maximierung der kumulativen Belohnung. In Offline-Szenarien, in denen die Daten feststehen und potenziell suboptimal oder spärlich sind, kann die ausschließliche reliance auf überwachte Imitation zu Einschränkungen bei der Handhabung von Out-of-Distribution (OOD)-Zuständen, Daten geringer Qualität und komplexen Dynamiken führen. Die zentrale Frage lautet, ob die Integration expliziter RL-Ziele in das Offline-ICRL-Framework signifikante Leistungsverbesserungen gegenüber überwachten Baselines erzielen kann.

Methodik

Die Studie schlägt eine systematische empirische Untersuchung vor, die RL-Ziele in eine Transformer-basierte Architektur integriert und Algorithm Distillation (AD) als Baseline-Backbone verwendet.

Architektur und Training

Backbone: Die Autoren behalten die in AD verwendete Transformer-Architektur bei, die Sequenzen von Trajektorien (Lernhistorien) verarbeitet, um Kontext zu inferieren.
RL-Integration: Anstelle eines einzelnen Heads zur Vorhersage der nächsten Aktion wird das Modell mit Value-Funktion-Heads ( $V$ und $Q$ ) und, für kontinuierliche Steuerung, einem Policy-Head ( $\pi$ ) erweitert.
Verlustfunktionen: Das Trainingsziel verschiebt sich von reinem überwachten Lernen hin zur Minimierung standardmäßiger RL-Verluste:
- Diskrete Umgebungen: Die Autoren implementieren IC-DQN (standard TD-Fehler), IC-CQL (Conservative Q-Learning mit Pessimismus-Regularisierung) und IC-IQL (Implicit Q-Learning mit Expectile-Verlust). Für IQL wird ein CQL-Term zum Verlust hinzugefügt, um die Robustheit zu erhöhen.
- Kontinuierliche Umgebungen: Die Studie nutzt IC-TD3, IC-TD3+BC (Behavior-Cloning-Strafe) und IC-IQL.
Gradientenfluss: Gradienten von den Value-Heads ( $Q$ und $V$ ) werden in den gemeinsamen Transformer-Backbone zurückpropagiert, um die Kontextrepräsentation zu trainieren. Gradienten vom Policy-Head (in kontinuierlichen Settings) werden getrennt (detached), um die Trainingsstabilität zu gewährleisten.
Input-Erweiterung: Zur Leistungsverbesserung werden Eingabetupel mit Episoden-Ende-Flags (done) und aktuellen Episodenschrittzahlen angereichert.

Experimentelles Setup

Die Evaluation umfasst über 150 Datensätze, die abgeleitet sind aus:

Diskrete GridWorlds: Dark Room (DR) und Dark Key-to-Door (K2D) in verschiedenen Rastergrößen (9x9, 19x19, 13x13) und Komplexitäten.
Kontinuierliche MuJoCo: HalfCheetahVel, AntDir, HopperParams und Walker2DParams.
Herausfordernde Benchmarks: XLand-MiniGrid (winziger Datensatz) und Janus (gemischte Dynamiken).
Datenregime: Die Experimente variieren hinsichtlich der Datensatzabdeckung (Anzahl der Trainingsziele), Expertise-Level (frühe, mittlere, späte, vollständige Trajektorien) und Datenstruktur (geordnete Lernhistorien vs. zufällige/unstrukturierte Trajektorien).

Hauptbeiträge

Empirische Validierung von RL-Zielen: Die Studie liefert den ersten systematischen empirischen Nachweis, dass die explizite Optimierung von RL-Zielen im Offline-ICRL die überwachte Algorithm Distillation signifikant übertrifft. In diskreten Umgebungen erzielten RL-basierte Methoden eine durchschnittliche Verbesserung von 30% in der Normalisierten Fläche unter der Kurve (NAUC) im Vergleich zu AD.
Überlegenheit offline-regulierter Methoden: Die Ergebnisse zeigen, dass offline-regulierte Varianten (CQL, IQL) im Allgemeinen robuster sind als unbeschränkte Gegenstücke (DQN, TD3) und die überwachte Baseline, insbesondere unter Bedingungen eingeschränkter Datenabdeckung, geringerer Datenqualität und unstrukturierter Trajektorienreihenfolge.
Robustheit gegenüber Datenstruktur: Im Gegensatz zu AD, das stark auf strukturierte, fortschreitende Lernhistorien angewiesen ist, behalten RL-basierte Ansätze ihre Leistung bei, selbst wenn Lernhistorien fehlen oder zufällig gemischt sind. In der XLand-MiniGrid-Umgebung verdoppelten RL-Ziele die Leistung von AD, obwohl ein Datensatz verwendet wurde, der 100-mal kleiner war als der in früheren AD-Studien eingesetzte.
Erweiterung auf kontinuierliche Räume: Die Erkenntnisse erstrecken sich auf kontinuierliche Zustands- und Aktionsräume, wo Offline-RL-Methoden (TD3+BC, IQL) sowohl die überwachte Baseline als auch Online-RL-Methoden (TD3), die auf festen Offline-Daten trainiert wurden, konsistent übertreffen.

Ergebnisse

Gesamtleistung: Bei diskreten Testzielen zeigte IC-CQL eine durchschnittliche Verbesserung von 28,8% gegenüber AD, gefolgt von IC-IQL (23,7%) und IC-DQN (16,6%).
Datenabdeckung & Expertise: RL-Methoden zeigten eine höhere Dateneffizienz. Während die AD-Leistung signifikant sank, wenn mehrere Lernhistorien pro Ziel nicht verfügbar waren oder die Datenqualität gering war (frühe Datensätze), behielten RL-Methoden eine stabile Leistung bei.
Gemischte Dynamiken: In der Janus-Umgebung (Test der Anpassung an gemischte Dynamiken) bewahrten RL-Methoden die Leistung besser als AD, obwohl die Autoren feststellen, dass Offline-Regularisierung OOD-Herausforderungen in hochasymmetrischen gemischten Dynamik-Settings nicht vollständig löst.
Modellskalierung: Ablationsstudien zur Modellgröße (Breite und Tiefe) enthüllten einen „Sweet Spot" (Breite 256–512, Tiefe 2–4). Im Gegensatz zu großen Sprachmodellen garantierte eine einfache Vergrößerung des Modells in diesem Setting keine bessere Leistung, was die Notwendigkeit einer Abstimmung der Kapazität auf Daten und Zielsetzung nahelegt.

Bedeutung und Behauptungen

Die Studie behauptet, dass die Ausrichtung der ICRL-Lernziele am intrinsischen Ziel der Belohnungsmaximierung entscheidend für die Weiterentwicklung des Offline-ICRL ist. Die Autoren betonen, dass:

Offline RL eine vielversprechende Richtung ist: Die Integration von Offline-RL-Techniken (Pessimismus, implizite Regularisierung) in Transformer-basierte ICRL-Frameworks adressiert die Einschränkungen rein überwachter Ansätze.
Praktische Implikationen: Praktiker sollten offline-beschränkte RL-Ziele bevorzugen, wenn sie großskalige ICRL-Agenten trainieren, insbesondere in Szenarien, in denen die Datenabdeckung unvollständig ist oder Lernhistorien unstrukturiert vorliegen.
Einschränkungen: Die Studie räumt ein, dass sich die Leistung zwar verbessert, die Methode jedoch OOD-Anpassungsherausforderungen nicht vollständig löst und der Ansatz nach wie vor große Modellkapazitäten und diverse Trainingsdaten erfordert. Die Erkenntnisse sind empirisch und spezifisch auf die getesteten Benchmarks und Hyperparameter-Budgets zugeschnitten, nicht jedoch theoretische Garantien.

Zusammenfassend argumentiert die Studie, dass „Ja, Q-Learning Offline In-Context RL hilft", und zeigt, dass der Schritt über die überwachte Imitation hinaus zur expliziten Belohnungsoptimierung robustere und leistungsfähigere Agenten in Offline-Szenarien hervorbringt.