🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Dieses Paper schlägt eine Methode vor, um die Sample-Effizienz von Online-Reinforcement-Learning durch die Steuerung von Weltmodellen mittels reichhaltiger, nicht kuratierter Offline-Daten durch Experience Rehearsal und Execution Guidance zu verbessern, wodurch Probleme des Distributional Shift überwunden werden und die Methode verschiedene Baselines bei diversen Visuomotorik-Aufgaben signifikant übertrifft.

Ursprüngliche Autoren: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, zu gehen, zu rennen oder eine Kaffeetasse aufzuheben. Traditionell müssten Sie daneben sitzen und den Roboter beobachten, und ihm jedes Mal sagen, wenn er etwas richtig oder falsch gemacht hat. Das ist langsam, teuer und erfordert viel menschliche Arbeit beim Labeln der Daten.

Dieses Paper stellt eine neue Methode namens NCRL (Non-curated offline data for efficient Reinforcement Learning) vor, die Roboter wesentlich schneller lehrt, indem sie einen „Vom-Müll-zum-Schatz“-Ansatz verfolgt. So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem: Das „Müll“-Daten-Dilemma

Normalerweise benötigt man für das Training eines Roboters einen sauberen, organisierten Datensatz, bei dem jede Aktion mit einer Bewertung versehen ist (z. B. „Gut gemacht!“ oder „Schlecht gemacht!“). Aber in der realen Welt haben wir Berge von unordentlichen, unorganisierten Daten.

Es gibt keine Bewertungen (belohnungsfrei/reward-free).
Es ist eine Mischung aus großartigen Bewegungen und schrecklichen Fehlern (gemischte Qualität).
Die Daten stammen von verschiedenen Arten von Robotern (Multi-Embodiment).

Stellen Sie sich das wie eine Bibliothek vor, die mit Millionen von Büchern gefüllt ist, aber keines davon hat einen Titel, eine Zusammenfassung oder eine Bewertung. Die meisten Menschen würden diese Bibliothek ignorieren, weil sie zu schwer zu nutzen ist. Frühere Methoden versuchten, diese Daten zu nutzen, scheiterten aber oft, weil sie davon ausgingen, dass die Daten ordentlich und beschriftet seien.

2. Die Lösung: Zuerst eine „mentale Landkarte“ aufbauen

Anstatt zu versuchen, die spezifische Aufgabe sofort zu lernen, baut die NCRL-Methode zuerst ein Weltmodell (World Model) auf.

Die Analogie: Stellen Sie sich einen Schüler vor, der das Autofahren lernen möchte. Anstatt sofort in ein Auto zu steigen und zum Supermarkt zu fahren, verbringt er erst Monate damit, alle Arten von Autofahrvideos anzusehen – einige von Rennwagen, einige von LKWs, einige von Leuten, die schlecht fahren, und einige von Experten. Er kennt das Ziel noch nicht; er lernt einfach nur, wie sich ein Auto bewegt, wie die Straße aussieht und wie das Lenken funktioniert.
Die Behauptung des Papers: Die Autoren trainierten ein einzelnes „Gehirn“ (das Weltmodell) auf diesen unordentlichen, unbeschrifteten Daten von 6 verschiedenen Robotertypen. Dieses Gehirn lernte die allgemeine Physik der Bewegung, ohne wissen zu müssen, was das endgültige Ziel ist.

3. Die Falle: Warum „einfaches Fine-Tuning“ scheitert

Die Forscher fanden heraus, dass es oft fehlschlägt, wenn man dieses vortrainierte Gehirn nimmt und sofort versucht, ihm eine spezifische neue Aufgabe beizubringen (wie „Gehe zur Tür gehen“).

Die Analogie: Es ist, als würde man einen Schüler, der allgemeine Autofahrvideos studiert hat, sofort in einen Rennwagen auf einer Rennstrecke setzen, die er noch nie gesehen hat. Der Schüler gerät in Panik, weil die spezifische Strecke ganz anders aussieht als die Videos, die er gesehen hat. Die „mentale Landkarte“, die er aufgebaut hat, passt nicht zur Realität der neuen Aufgabe.
Das Ergebnis der Forscher: Sie entdeckten, dass dies geschieht, weil es einen Distributional Shift (Verteilungsverschiebung) gibt. Die unordentlichen Daten, die für das Training verwendet wurden, sehen sehr anders aus als die spezifischen Daten, auf die der Roboter stößt, wenn er beginnt, die neue Aufgabe zu lösen.

4. Die Lösung: Zwei spezielle Techniken

Um dieses Missverhältnis zu beheben, fügten die Autoren zwei „Stützräder“ hinzu, um dem Roboter zu helfen, die Lücke zwischen der unordentlichen Vergangenheit und der spezifischen Gegenwart zu überbrücken.

Technik A: Experience Rehearsal (Die „Karteikarten“-Methode)

Wie es funktioniert: Wenn der Roboter beginnt, die neue Aufgabe zu lernen, schaut er nicht nur auf seine neue, winzige Menge an Erfahrungen. Er greift auf seine riesige Bibliothek unordentlicher Daten zurück und sucht nach den spezifischen Clips, die der aktuellen Situation ähneln.
Die Analogie: Stellen Sie sich vor, der Roboter steckt in einer bestimmten Kurve fest. Anstatt einfach zu raten, zieht er eine „Karteikarte“ aus seiner Bibliothek alter Videos, die eine ähnliche Kurve zeigt, selbst wenn dieses alte Video von einem anderen Roboter oder einem anderen Tag stammt. Er „revidiert“ diese relevanten Erinnerungen, um sich daran zu erinnern, wie die Dinge funktionieren, was verhindert, dass er das Gelernte zuvor vergisst.

Technik B: Execution Guidance (Die „Co-Pilot“-Methode)

Wie es funktioniert: Der Roboter hat einen „Co-Piloten“ (eine auf den unordentlichen Daten trainierte Policy), der weiß, wie man sicher bewegt, auch wenn es nicht perfekt ist. In der frühen Phase des Lernens wechselt der Roboter zwischen dem Ausprobieren seiner eigenen neuen Ideen und dem Überlassen des Steuer am Co-Piloten für ein paar Sekunden.
Die Analogie: Denken Sie an einen Fahranfänger mit einem Fahrlehrer auf dem Beifahrersitz. Der Fahranfänger versucht zu lenken, aber wenn er beginnt, von der Straße abzukommen, übernimmt der Fahrlehrer kurzzeitig das Steuer, um das Auto auf der Straße zu halten, und übergibt dann die Kontrolle zurück. Dies verhindert, dass der Roboter in „Sackgassen“ gerät, in denen er nichts lernen kann, und führt ihn zu Bereichen, in denen er mit höherer Wahrscheinlichkeit erfolgreich sein wird.

5. Die Ergebnisse: Zweimal so schnell

Das Paper testete dies an 72 verschiedenen Aufgaben, die von einem rennenden Gepard bis hin zu einem Roboterarm, der Blöcke stapelt, reichten.

Die Behauptung: Mit dieser Methode lernten die Roboter doppelt so schnell wie Roboter, die bei Null anfangen (Lernen ohne jegliche vorherige Daten).
Der Vergleich: Selbst im Vergleich zu anderen Methoden, die versuchten, Offline-Daten zu nutzen, gewann NCRL mit deutlichem Abstand, insbesondere bei schwierigen Aufgaben, bei denen der Roboter explorieren und die Dinge selbst herausfinden muss.

Zusammenfassung

Das Paper argumentiert, dass wir keine perfekten, beschrifteten Daten benötigen, um Roboter zu lehren. Wir können die „unordentlichen“ Daten verwenden, die wir bereits haben (Videos von Robotern, die sich ohne Bewertungen bewegen), wenn wir:

Zuerst ein allgemeines Verständnis der Welt aufbauen.
Ein „Suchsystem“ verwenden, um relevante alte Erinnerungen beim Lernen neuer Aufgaben zu finden (Experience Rehearsal).
Einen „Co-Piloten“ einsetzen, um den Roboter zu führen, damit er am Anfang nicht verloren geht (Execution Guidance).

Dies ermöglicht es Robotern, komplexe Fähigkeiten mit viel weniger Versuchen zu erlernen, was das KI-Training wesentlich effizienter macht.

Technisches Resümee: Effizientes Reinforcement Learning durch die Steuerung von Weltmodellen mit nicht kuratierten Daten

Problemstellung
Die Nutzung von Offline-Daten ist ein vielversprechender Weg, um die Stichproben-Effizienz (Sample Efficiency) von Online-Reinforcement-Learning (RL) zu verbessern. Bestehende Ansätze stützen sich jedoch überwiegend auf kuratierte Offline-Datensätze, die mit Belohnungen (Rewards) versehen und oft auf spezifische Aufgaben oder Embodiments beschränkt sind. Die Akquise solcher Daten ist kostspielig und arbeitsintensiv, insbesondere bei der robotergestützten Manipulation, bei der eine retrospektive Belohnungsannotation erforderlich ist. Während neuere Arbeiten untersucht haben, reichlich vorhandene „nicht kuratierte“ Daten zu nutzen – die durch Belohnungsfreiheit, gemischte Qualität und die Erhebung über mehrere Embodiments hinweg charakterisiert sind –, hat sich die naive Anwendung dieser Datensätze als unzureichend erwiesen. Speziell das Vortrainieren eines Weltmodells auf solchen Daten und das anschließende naive Fine-Tuning für Online-RL führt oft nicht zu einer Beschleunigung des Trainings. Die Autoren identifizieren die Ursache für dieses Scheitern als einen Distributional Shift (Verteilungsverschiebung) zwischen den Offline-Daten, die für das Vortraining verwendet wurden, und den Online-Daten, die während der Fine-Tuning-Phase gesammelt werden. Wenn die Offline-Verteilung die Datenverteilung der Downstream-Aufgabe nicht ausreichend abdeckt, hat das vortrainierte Weltmodell Schwierigkeiten, das Policy-Lernen zu unterstützen, was zu katastrophalem Vergessen oder einer Verschlechterung der Modellgenauigkeit führt.

Methodik: NCRL
Das Paper schlägt NCRL (Non-curated offline data for efficient RL) vor, eine zweistufigen Pipeline, die darauf ausgelegt ist, nicht kuratierte, belohnungsfreie Multi-Embodiment-Daten effektiv zu nutzen.

Multi-Embodiment Weltmodell-Vortraining:
Anstatt separate Modelle pro Aufgabe zu trainieren, pre-trainiert NCRL ein einzelnes, aufgabenagnostisches Weltmodell auf einem groß angelegten, nicht kuratierten Datensatz. Die Architektur basiert auf dem Recurrent State Space Model (RSSM) mit spezifischen Modifikationen zur Handhabung diverser Inputs:

Entfernung aufgabenspezifischer Verluste (Losses).
Zero-Padding von Aktionen, um die Dimensionen über verschiedene Embodiments hinweg zu vereinheitlichen.
Skalierung auf 280 Millionen Parameter.
Das Modell wird unter Verwendung von Standard-Prädiktions-, Dynamik- und Repräsentationsverlusten auf den rohen Offline-Trajektorien optimiert, ohne Reward-Labels.

RL-basiertes Fine-Tuning mit Rehearsal und Guidance:
Um den Distributional Shift zu adressieren und das vortrainierte Wissen effektiv zu transferieren, führt NCRL zwei Schlüsseltechniken während der Online-Fine-Tuning-Phase ein:

Experience Rehearsal (Erfahrungswiederholung): Anstatt die Offline-Daten nach dem Vortraining zu verwerfen, ruft NCRL aufgabenrelevante Trajektorien aus dem nicht kuratierten Datensatz während des Online-Trainings ab. Dies geschieht durch die Berechnung der neuronalen Feature-Distanz zwischen Initialbeobachtungen im Online-Buffer und Offline-Trajektorien unter Verwendung des vortrainierten Encoders. Diese abgerufenen Trajektorien werden abgespielt, um:
- Katastrophales Vergessen zu verhindern, indem das Weltmodell weiterhin auf relevanten Vortrainingsdaten trainiert wird.
- Die initiale Zustandsverteilung ( $p_0(s)$ ) für Modell-Rollouts zu augmentieren, was die Generierung vielversprechender Trajektorien für Policy-Updates ermöglicht.
- Als Regularisator gegen den Distributional Shift zu dienen.
Execution Guidance (Ausführungssteuerung): Um die Exploration in Regionen zu lenken, in denen das Weltmodell eine hohe Konfidenz aufweist (und in denen Offline-Daten existieren), trainiert NCRL eine Prior-Policy ( $\pi_{bc}$ ) mittels Behavioral Cloning auf den abgerufenen Offline-Daten. Während der Online-Datensammlung wechselt der Agent probabilistisch zwischen der RL-Policy ( $\pi_\phi$ ) und der Prior-Policy ( $\pi_{bc}$ ). Dieser Mixed-Policy-Ansatz steuert den Agenten früh im Training in hochwertige Regionen des Zustandsraums, was die Risiken einer schwierigen Exploration mildert.

Wesentliche Beiträge
Das Paper skizziert vier primäre Beiträge:

C1: Es schlägt ein realistischeres Setting zur Nutzung von Offline-Daten vor, indem es reward-freie, qualitativ gemischte und Multi-Embodiment-Datensätze nutzt und damit die Einschränkungen kuratierter, reward-labelierter Daten überwindet.
C2: Es zeigt auf, dass naives Weltmodell-Fine-Tuning bei vielen Aufgaben aufgrund des Distributional Shift zwischen Vortraining und Fine-Tuning-Daten scheitert.
C3: Es führt Experience Rehearsal und Execution Guidance als spezifische Techniken ein, um diese Verteilungsdifferenz zu mildern und die Exploration zu fördern.
C4: Es präsentiert das NCRL-Framework, das nicht kuratierte Daten sowohl in der Pre-Training- als auch in der Fine-Tuning-Phase integriert und im Vergleich zu bestehenden Ansätzen eine überlegene Performance über eine Vielzahl von Aufgaben hinweg demonstriert.

Experimentelle Ergebnisse
Die Autoren evaluieren NCRL auf 72 visuomotorischen Kontrollaufgaben, die Locomotion und robotergestützte Manipulation über 6 Embodiments hinweg umfassen (unter Verwendung von DMControl und Meta-World Benchmarks). Der Offline-Datensatz umfasst 60.000 Trajektorien (10 Millionen State-Action-Paare), die von unüberwachten Agenten und verrauschten Demonstrationen gesammelt wurden.

Sample Efficiency: Unter einem begrenzten Stichprobenbudget von 150.000 Online-Samples erreicht NCRL nahezu die doppelte aggregierte Punktzahl von Learning-from-scratch-Baselines (DrQ-v2 und DreamerV3). Es erreicht die Leistung dieser Baselines, die mit 3,3- bis 6,7-mal mehr Samples trainiert wurden.
Vergleich mit Offline-Methoden: NCRL übertrifft State-of-the-Art-Methoden, die Offline-Daten nutzen, signifikant, einschließlich R3M (visuelles Pre-Training), UDS-RLPD, ExPLORe und JSRL-BC. Bemerkenswert ist, dass während Methoden wie JSRL-BC Schwierigkeiten mit Nicht-Experten-Trajektorien haben, NCRL explorative und qualitativ gemischte Daten effektiv nutzt.
Vergleich mit modellbasierten Methoden: NCRL übertrifft andere Weltmodell-Pre-Training-Ansätze (z. B. iVideoGPT, vortrainiertes DreamerV3), die zwar auf neuartigen Architekturen basieren, aber keine Mechanismen zum Wiederverwenden von Offline-Daten während des Fine-Tunings besitzen. Entscheidend ist, dass NCRL dies ohne Rückgriff auf Tricks wie Reward Shaping oder Expert-Replay-Buffer-Initialisierung erreicht, die von einigen Baselines verwendet werden.
Aufgabenadaption: In einem Continual-Learning-Szenario ermöglicht NCRL Agenten, sich an neue Aufgaben (z. B. Ant-Robot-Aufgaben) signifikant schneller anzupassen als die PackNet-Baseline, wobei die Adaptation innerhalb von 100 Versuchen pro Aufgabe erreicht wird.

Bedeutung und Ansprüche
Das Paper behauptet, dass die primäre Bedeutung von NCRL darin liegt, das Potenzial reichlich vorhandener, nicht kuratierter Daten für RL freizusetzen. Durch die Identifizierung des Distributional Shift als Flaschenhals für naives Fine-Tuning und dessen Adressierung durch Experience Rehearsal und Execution Guidance zeigen die Autoren, dass Weltmodelle, die auf nicht kuratierten Daten vortrainiert wurden, die Sample Efficiency erheblich steigern können. Die Arbeit legt nahe, dass die in nicht kuratierten Datensätzen enthaltenen reichen Informationen (Dynamik, informative Zustände, Action Priors) durch aktuelle Methoden, die diese Daten nach dem Pre-Training verwerfen oder sie nicht mit Online-Zielen abgleichen, nicht vollständig ausgeschöpft werden. NCRL bietet eine praktische Pipeline, um diese Lücke zu schließen und effizientes RL über eine breitere Palette von Aufgaben und Embodiments hinweg zu ermöglichen, ohne die prohibitiven Kosten einer Reward-Annotation.