🤖 machine learning

Active Offline-to-Online Reinforcement Learning

Dieses Paper führt ein neuartiges Framework zur aktiven Policy-Selektion für Offline-to-Online-Reinforcement-Learning ein, das begrenzte Interaktionsbudgets optimiert, indem es dynamisch den Kompromiss zwischen der Evaluierung von Kandidaten-Policies und der Feinabstimmung der vielversprechendsten unter Verwendung von Upper-Confidence-Bounds aus lokal linearen Leistungsprognosen ausbalanciert.

Ursprüngliche Autoren: Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Roboter-Coach, der versucht, einer Gruppe von Rookie-Athleten das Marathonlaufen beizubringen. Sie besitzen eine riesige Bibliothek alter Rennvideos (den Offline-Datensatz), die zeigen, wie andere Läufer in der Vergangenheit sich bewegt haben. Und Sie haben eine sehr strenge Regel: Sie dürfen Ihre Rookies nur für eine winzige, begrenzte Zeit auf der tatsächlichen Laufbahn laufen lassen (das Online-Interaktionsbudget), da die Laufbahn gefährlich, teuer oder das Wetter schrecklich ist.

Das große Problem dabei: Nur weil ein Läufer auf den alten Aufnahmen gut aussah, heißt das noch lange nicht, dass er auf der echten Laufbahn auch gut sein wird. Tatsächlich könnten einige von ihnen sofort stolpern und hinfallen. Das ist die Welt des Offline-to-Online Reinforcement Learning (O2O-RL).

Der alte Weg: Zu früh einen Gewinner wählen

Traditionell würden Coaches die Aufnahmen anschauen, einen einzigen „am besten aussehenden“ Rookie basierend auf einer Vermutung auswählen und dann ihr gesamtes begrenztes Bahntraining nur für genau diesen einen Menschen aufwenden. Wenn diese Vermutung falsch war oder wenn dieser eine Rookie nur ein wenig mehr Zeit gebraucht hätte, um sein wahres Potenzial zu zeigen, hat der Coach das gesamte Budget verschwendet.

Andere Coaches begingen einen anderen Fehler: Sie teilten die winzige Bahntzeit gleichmäßig auf alle auf. Das bedeutete, dass kein einzelner Läufer genug Zeit bekam, um wirklich gut zu werden, selbst wenn einer von ihnen ein geborener Champion war.

Die neue Idee: Der „Smart Switch“-Coach

Die Autoren dieser Arbeit, Alper Kamil Bozkurt, Shangtong Zhang und Yuichi Motai, schlagen einen klügeren Weg vor. Sie nennen es Active Offline-to-Online Reinforcement Learning.

Anstatt einen Gewinner zu wählen oder die Zeit gleichmäßig aufzuteilen, behandeln sie das Training wie ein Spiel der Stuhlkreis-Musik mit einer Kristallkugel.

Die Truppe: Zuerst trainieren sie eine riesige, vielfältige Gruppe von Kandidaten (16 verschiedene „Rookies“ pro Umgebung) unter Verwendung der alten Aufnahmen. Jeder nutzt leicht unterschiedliche Trainingsregeln (Algorithmen und Einstellungen).
Die Kristallkugel: Während sie die Rookies auf der echten Laufbahn laufen lassen, schauen sie nicht nur zu; sie nutzen ein lokales lineares Regressionsmodell. Denken Sie an eine Kristallkugel, die die letzten paar Schritte eines Läufers betrachtet und eine gerade Linie zieht, um zu erraten, wo er in der Zukunft sein wird. Sie zeichnet auch eine „Unschärfezone“ (Konfidenzintervall) um diese Vermutung, um zu zeigen, wie unsicher sie ist.
Der Wechsel (The Switch): Der Coach hält nicht an einem Läufer fest. Stattdessen fragt er ständig: „Wer hat gerade das höchste Potenzial, unter Berücksichtigung der aktuellen Geschwindigkeit und der Frage, wie viel sich noch verbessern könnte?“
- Wenn ein Läufer schnell Fortschritte macht, lässt der Coach ihn weiter trainieren.
- Wenn ein Läufer stagniert oder anfängt, langsamer zu werden, wechselt der Coach sofort zu einem anderen Rookie, der eine bessere Zukunft zu haben scheint.
- Sie verwenden einen mathematischen Trick namens Upper Confidence Bounds (UCB). Das ist so, als würde man Läufern einen Bonuspunkt geben, die riskant sind, aber Superstars sein könnten, um sicherzustellen, dass der Coach nicht zu früh aufgibt, nur weil sie gerade einen schlechten Tag haben.

Was die Experimente zeigten

Das Team testete diese „Smart Switch“-Methode in einer Computersimulation der realen Welt (unter Verwendung von Umgebungen wie Swimmer, Hopper, Ant und Maze). Sie haben keinen physischen Roboter gebaut; sie führten diese Tests auf einem Computer mit 16 Prozessorkernen durch.

Hier ist das, was sie herausgefunden haben:

Es funktioniert besser: In fast jedem Test war ihre „Smart Switch“-Methode den alten Wegen überlegen. Zum Beispiel erreichte ihre Methode in den Maze-Aufgaben einen Wert von 97,3 % (auf einer Skala, bei der 100 % das absolut Beste ist), während die alte „Wähle einen aus“-Methode nur 67,0 % erreichte.
Es bewältigt das „Aufwärmen“: Einige Roboter (wie der Hopper oder Ant) müssen eine lange Zeit brauchen, um in Fahrt zu kommen, bevor sie schnell laufen können. Die alte „Teile die Zeit auf“-Methode scheiterte hier, weil sie keinem einzelnen Roboter genug Zeit gab, um aufzuwärmen. Die „Smart Switch“-Methode wartete ab, sah, wer gerade warm wurde, und investierte dann die gesamte Zeit in genau diesen einen.
Es ist nicht perfekt: Die Methode hatte Schwierigkeiten in den Swimmer- und Ant-Umgebungen, wenn das Budget sehr knapp war. Manchmal konnte die „Kristallkugel“ nicht unterscheiden, ob ein Läufer nur einen schlechten Start hatte oder ob er wirklich schlecht war, was dazu führte, dass der Coach Zeit damit verschwendete, einen Läufer zu retten, der nicht zu retten war.

Wozu sie „Nein“ sagten

Die Autoren waren sich sehr klar darüber, wozu ihre Methode nicht gehört:

Sie haben nicht erfunden, wie man die Roboter von Grund auf neu trainiert. Sie verwendeten bestehende Trainingsalgorithmen (wie CalQL, ReBRAC, IQL und AWAC) und fügten einfach ihre „Smart Switch“-Ebene darüber hinzu.
Sie haben nicht behauptet, dass das bloße Auswählen des besten Läufers zu Beginn (oh、ne zu wechseln) eine gute Idee ist. Ihre Daten zeigten, dass der am besten aussehende Läufer aus den Aufnahmen auf der echten Laufbahn oft schlechter abschnitt als eine Zufallsauswahl.
Sie sagten nicht, dass dies das Problem des „Distributional Shift“ (wo der Roboter anders handelt als die Daten, mit denen er trainiert wurde) allein löst. Sie zeigten lediglich, dass aktives Wechseln hilft, das Risiko zu managen.

Wie sicher sind sie?

Die Autoren sind sich ihrer Ergebnisse innerhalb der von ihnen durchgeführten Simulationen sicher. Sie haben dies über viele verschiedene Roboteraufgaben (Navigation, Balancieren, Laufen) hinweg getestet und die Experimente mit vier verschiedenen Zufallssäden (Random Seeds) wiederholt, um sicherzustellen, dass die Ergebnisse nicht nur Glück waren.

Sie weisen jedoch vorsichtig darauf hin, dass dies eine Simulation ist. Sie haben dies noch nicht an einem echten, physischen Roboter in einer echten Fabrik oder einer gefährlichen Umgebung getestet. Sie schlagen vor, dass ihre Methode zwar ein großer Schritt nach vorne ist, um Offline-Learning praktikabel zu machen, aber noch Arbeit nötig ist, um sie robust genug für die chaotische, unvorhersehbare reale Welt zu machen.

Kurz gesagt: Wenn Sie ein begrenztes Budget haben, um einen Roboter zu trainieren, setzen Sie nicht alles auf eine einzige Vermutung und verteilen Ihr Geld nicht zu dünn. Behalten Sie stattdessen Ihre Optionen offen, beobachten Sie, wer sich verbessert, und seien Sie bereit, Ihren Einsatz auf denjenigen zu verlagern, der das beste Zukunftspotenzial hat.

Technische Zusammenfassung: Aktives Offline-zu-Online Reinforcement Learning

Problemstellung
Offline Reinforcement Learning (RL) ermöglicht das Training von Policies aus statischen Datensätzen und vermeidet so die Kosten und Risiken einer anfänglichen Online-Exploration. Oft vortrainierte Policies leiden jedoch unter einem Distributional Shift, was zu unvorhersehbarem oder schlechtem Verhalten in realen Umgebungen führt. Das Offline-to-Online (O2O-RL) Paradigma adressiert dies, indem es ein begrenztes Budget an Online-Interaktionen nutzt, um vortrainierte Policies feinabzustimmen.

Bestehende O2O-RL-Ansätze konzentrieren sich typischerweise auf die Verbesserung der Offline-Vortrainierungsphase oder setzen voraus, dass eine einzelne Policy für die Feinabstimmung ausgewählt wird. Eine kritische Lücke besteht in der aktiven Policy-Selektion unter einem begrenzten Interaktionsbudget. Standard-Pipelines verpflichten sich oft auf eine einzige Policy für die Feinabstimmung oder teilen das Budget gleichmäßig unter allen Kandidaten auf. Dies ist riskant, weil:

Vortrainierte Policies in realen Umgebungen willkürlich schlecht performen können.
Die Leistung der Feinabstimmung hochsensibel gegenüber der Algorithmenwahl, Hyperparametern und Zufalls-Seeds ist.
Trajektorien der Feinabstimmung nicht-monoton verlaufen; sie können stagnieren, regredieren oder eine hohe Varianz aufweisen, was es schwierig macht, zu identifizieren, welche Policy letztlich erfolgreich sein wird, ohne das gesamte Budget für einen suboptimalen Kandidaten zu verschwenden.

Die Kernherausforderung liegt im Trade-off zwischen der Zuweisung von Online-Interaktionen zur Evaluierung mehrerer Kandidaten, um leistungsstarke Kandidaten zu identifizieren, versus der Feinabstimmung einer spezifischen Policy, um deren Leistung zu verbessern.

Methodik
Die Autoren schlagen einen aktiven O2O-RL-Framework vor, der die Policy-Selektion und die Feinabstimmung gemeinsam durchführt. Der Ansatz operiert in zwei Phasen:

Offline-Phase: Ein diverses Pool von $K$ Kandidaten-Policies wird unter Verwendung verschiedener Offline-RL-Algorithmen (z. B. AWAC, IQL, CalQL, ReBRAC) und Hyperparameter-Konfigurationen (z. B. Lernraten, Batch-Größen) auf dem statischen Datensatz trainiert.
Online-Phase (Aktive Selektion & Feinabstimmung):
- Lokale lineare Vorhersage: Für jede Kandidaten-Policy-Lineage pflegt das System eine Historie von Wertschätzungen, die durch Online-Evaluierung gewonnen wurden. Es passt ein lokales lineares Regressionsmodell an die jüngsten $w$ Wertschätzungen an, um zukünftige Leistungstrends vorherzusagen. Dieses Modell erfasst kurzfristige Aufwärts- oder Abwärtstrends und schätzt die zeitvariante Unsicherheit (Residuenvarianz).
- Upper Confidence Bound (UCB) Selektion: Das System berechnet eine Upper Confidence Bound (UCB) für die zukünftige Leistung jeder Policy. Die UCB wird aus dem vorhergesagten Wert plus einem skalierten Vorhersageintervall abgeleitet.
- Adaptive Exploration: Anstatt einen festen Explorationsparameter zu verwenden, passt die Methode den Grad der Exploration dynamisch basierend auf dem aktuell besten beobachteten Wert ( $v^*_j$ ) an. Sie wählt die Policy aus, die das minimale „Maß“ benötigt, um den aktuellen Bestwert zu erreichen, wodurch effektiv zwischen der Notwendigkeit, unsichere aber vielversprechende Policies zu explorieren, und der Ausbeutung (Exploitation) bekannter Hochleister abgewogen wird.
- Iterative Schleife: In jeder Iteration wird die Policy mit der höchsten UCB ausgewählt, für einen Schritt feinabgestimmt und online evaluiert. Die Wertschätzung wird der Lineage hinzugefügt, das lokale lineare Modell wird aktualisiert und die UCBs werden neu berechnet. Wenn die UCB einer anderen Policy den aktuellen Bestwert übersteigt, wechselt das System zu dieser Policy.

Wesentliche Beiträge

Neuartige Problemformulierung: Soweit den Autoren bekannt, ist dies die erste Arbeit, die die aktive Policy-Selektion für die Feinabstimmung unter einem begrenzten Interaktionsbudget in O2O-RL-Settings adressiert. Sie modelliert explizit den Trade-off zwischen Evaluierung und Feinabstimmung.
Aktiver Selektionsalgorithmus: Das Paper schlägt eine Methode vor, die eine lokale lineare Regression verwendet, um die zukünftige Leistung vorherzusagen, und ein UCB-Kriterium einsetzt, um aktiv zu entscheiden, welche Policy feinabzustimmen ist. Dies vermeidet eine vorzeitige Bindung an suboptimale Policies.
Empirische Validierung: Der Ansatz wird über eine diverse Suite von simulierten Robotik-Benchmarks evaluiert, einschließlich Navigation (Point Maze), klassischer Steuerung (Inverted Pendulum, Swimmer, Reacher, Pusher) und geländegängiger Fortbewegung (Hopper, HalfCheetah, Walker2d, Ant).

Ergebnisse
Die Experimente wurden mit einem Online-Interaktionsbudget von 1.000K Transitionen (und einem kleineren Budget von 750K in Ablationsstudien) durchgeführt. Die vorgeschlagene ACTIVE-Methode wurde mit mehreren Baselines verglichen:

RANDOM: Auswahl einer Policy per Zufall ohne Feinabstimmung.
BEST: Auswahl der am besten offline geschätzten Policy ohne Feinabstimmung.
FTS (Fine-Tuning Single): Feinabstimmung einer einzigen, zufällig ausgewählten Policy mit dem gesamten Budget.
FTA (Fine-Tuning All): Gleichmäßige Aufteilung des Budgets unter allen Kandidaten.

Erkenntnisse:

Konsistente Überlegenheit: Der ACTIVE-Ansatz übertraf alle Baselines in den meisten Umgebungen konsistent und erreichte eine durchschnittliche normalisierte Rendite von 82,3 %, verglichen mit 64,3 % für FTS und 63,1 % für FTA.
Anpassungsfähigkeit: In Umgebungen, in denen sich Policies langsam verbessern oder lange Warm-up-Phasen benötigen (z. B. geländegängige Fortbewegung), identifizierte ACTIVE erfolgreich vielversprechende Lineages und wies den Großteil des Budgets ihnen zu, wodurch es FTA übertraf, welches Ressourcen an schwache Kandidaten verschwendete. Umgekehrt, in Umgebungen, in denen Policies regredieren oder stagnieren konnten, wechselte ACTIVE von scheiternden Lineages ab und übertraf damit FTS, welches in lokalen Optima stecken bleiben würde.
Limitierungen: Die Methode hatte Schwierigkeiten in spezifischen Umgebungen wie Swimmer und Ant, in denen die Policy-Lineages über längere Zeiträume kaum Anzeichen einer Verbesserung zeigten. In diesen Fällen verbrauchte das System das Budget teilweise in dem Versuch, eine verbessernde Lineage zu identifizieren, die sich nie materialisierte.
Sensitivität: Eine Ablationsstudie zur Fenstergröße ( $w$ ) des lokalen linearen Modells zeigte, dass $w=3$ generell effektiv ist, größere Fenster jedoch die Leistung in hochdimensionalen, verrauschten Umgebungen (wie Ant) verbessern können, indem sie weniger verrauschte Vorhersagen liefern, wenngleich sie die Sensitivität gegenüber schnellen Änderungen verringern können.

Bedeutung und Behauptungen
Das Paper behauptet, dass sein Framework das Offline-RL in Richtung praktischer Implementierung in realen Systemen vorantreibt, in denen Online-Interaktion kostspielig oder riskant ist. Durch den Nachweis, dass aktive Selektion und dynamische Budgetallokation effektiver sind als die Bindung an eine einzige Policy oder die gleichmäßige Aufteilung von Ressourcen, bietet die Arbeit einen robusten Mechanismus zum Umgang mit der Volatilität der Feinabstimmung vortrainierter Policies.

Die Autoren merken bescheiden an, dass ihr Ansatz zwar starke Baselines übertrifft, es aber Raum für Verbesserungen gibt. Sie schlagen zukünftige Richtungen vor, wie etwa die Nutzung von Explorations-Rollouts zur Fortschrittsüberwachung, die Einbeziehung von Policy-Ähnlichkeiten und die Entwicklung von OPE-Methoden, die speziell auf O2O-RL zugeschnitten sind, um schlechte Kandidaten früher auszuschließen. Die Arbeit erweitert ihr vorangegangenes Konferenz-Paper durch eine umfassendere Analyse, erweiterte Experimente über mehr Aufgaben hinweg und detaillierte Ablationsstudien.