🤖 machine learning

Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

Dieser Artikel schlägt einen neuartigen adaptiven Ansatz für das Offline-zu-Online-Reinforcement-Learning vor, der unter begrenzten Interaktionsbudgets Kandidatenrichtlinien effizient auswählt und verfeinert, indem Offline-Leistungsschätzungen mit einer Upper-Confidence-Bound-Strategie kombiniert werden, um die Unzuverlässigkeit der Off-Policy-Evaluation und die Undurchführbarkeit exhaustiver Online-Tests zu überwinden.

Ursprüngliche Autoren: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der ein Team von Athleten auf ein großes Rennen vorbereitet. Sie besitzen eine massive Bibliothek alter Trainingsvideos (die Offline-Daten), die zeigen, wie verschiedene Athleten in der Vergangenheit performt haben. Ihr Ziel ist es, den besten Athleten auszuwählen und ihn auf das eigentliche Rennen vorzubereiten, aber Sie unterliegen einer strengen Regel: Sie dürfen ihn vor dem Start nur für eine sehr kurze, begrenzte Zeitspanne auf der echten Bahn laufen lassen (das Interaktionsbudget).

Dieser Artikel behandelt ein spezifisches Problem im Bereich des Reinforcement Learning (RL), bei dem es im Kern darum geht, Computern durch Versuch und Irrtum beizubringen, Entscheidungen zu treffen. Hier erläutern die Autoren das Problem unter Verwendung einfacher Analogien:

Das Problem: Die Falle des „Ratespiels"

In der Vergangenheit versuchten Trainer (Algorithmen), den Gewinner auf zwei Arten zu ermitteln, wobei beide Ansätze Mängel aufwiesen:

Der Ansatz des „Videoanalysten" (Offline-Evaluation): Sie schauten sich die alten Trainingsvideos an und versuchten, basierend auf Statistiken zu erraten, wer gewinnen würde.
- Der Mangel: Die Videos könnten irreführend sein. Ein Athlet mag im Video großartig aussehen, aber zusammenbrechen, sobald er auf die echte Bahn kommt, weil die Bedingungen anders sind. Sich ausschließlich auf das Video zu verlassen, ist riskant.
Der Ansatz „Jeden ausprobieren" (Online-Evaluation): Sie ließen jeden einzelnen Athleten ein wenig auf der echten Bahn laufen, um zu sehen, wer am schnellsten ist, und wählten dann den Gewinner.
- Der Mangel: Sie haben nur eine winzige Menge an Bahnzeit. Wenn Sie diese Zeit auf 20 Athleten aufteilen, bekommt niemand genug Übung, um sich tatsächlich zu verbessern. Sie verschwenden Ihre begrenzte Zeit lediglich damit, Personen zu testen, die vielleicht gut gewesen wären, aber mehr Übung gebraucht hätten, um zu glänzen.

Das eigentliche Problem: Manchmal sieht ein Athlet in den Videos schrecklich aus, wird aber nach ein wenig Übung zum Champion. In anderen Fällen sieht ein Athlet in den Videos fantastisch aus, wird aber nach der Übung schlechter (vielleicht wird er müde oder die Bahn ist anders). Sie können im Voraus nicht wissen, welcher Athlet sich verbessern wird und welcher schlechter werden wird.

Die Lösung: Die Strategie des „intelligenten Trainers"

Die Autoren schlagen eine neue Methode vor, die Adaptive Policy Selection and Fine-Tuning (Adaptive Auswahl und Feinabstimmung von Strategien) genannt wird. Stellen Sie sich dies als einen intelligenten Trainer vor, der die begrenzte Bahnzeit dynamisch verwaltet.

So funktioniert ihr „intelligenter Trainer":

Das Aufwärmen (Offline-Training): Zuerst trainiert der Trainer einen großen Pool von Athleten (Kandidaten-Strategien) mit Hilfe der alten Videos. Er probiert verschiedene Trainingsstile und Einstellungen aus, um eine vielfältige Gruppe zu erhalten.
Die erste Schätzung (OPE): Der Trainer schaut sich die Videos an, um eine grobe Vorstellung davon zu bekommen, wer vielleicht gut ist. Dies ist nur ein Ausgangspunkt, keine endgültige Entscheidung.
Der „Glaskugel"-Effekt (Vorhersage und Konfidenz): Dies ist die Kerninnovation. Anstatt einfach den aktuellen Führer auszuwählen, nutzt der Trainer eine mathematische „Glaskugel" (ein statistisches Modell), um die Zukunft vorherzusagen.
- Der Trainer fragt: „Wenn ich Athlet A noch 10 Minuten laufen lasse, wird er besser oder wird er abstürzen?"
- Der Trainer berechnet einen Konfidenzwert (Upper Confidence Bound). Dieser Wert bezieht sich nicht nur darauf, wie gut sie jetzt sind, sondern darauf, wie viel sie könnten, wenn sie mehr Zeit erhielten.
Das dynamische Wechseln (Die „Heiße-Kartoffel"-Regel):
- Der Trainer wählt den Athleten mit dem höchsten „Potenzialwert" aus und lässt ihn auf der Bahn laufen.
- Nach einem kurzen Lauf überprüft der Trainer die Ergebnisse.
- Wenn sich der Athlet verbessert: Der Trainer lässt ihn auf der Bahn, um noch mehr Leistung herauszuholen.
- Wenn der Athlet stagniert oder schlechter wird: Der Trainer stoppt ihn sofort. Er verschwendet keine Zeit. Stattdessen wechselt er zum nächsten Athleten auf der Liste, der einen hohen „Potenzialwert" hat.
- Es ist wie ein Staffelrennen, bei dem das Wort sofort an den Läufer übergeben wird, der den größten Spielraum für Wachstum zu haben scheint, anstatt bei dem zu bleiben, der aktuell gewinnt, aber nirgendwohin mehr gehen kann.

Warum dies wichtig ist

Der Artikel testete dies an virtuellen Robotern (wie Laufrobotern und rennenden Geparden) in einer simulierten Welt. Sie verglichen ihren „intelligenten Trainer" mit den alten Methoden.

Alte Methoden: Entweder wurde der falsche Roboter aufgrund schlechter Video-Schätzungen ausgewählt, oder es wurde Zeit damit verschwendet, alle zu testen, ohne dass einer von ihnen wirklich lernen konnte.
Die neue Methode: Indem sie ständig prüften: „Wird dieser Roboter besser?" und bei einer Antwort „Nein" zu einem neuen Kandidaten wechselten, fand das Team den bestmöglichen Roboter viel effizienter.

Das Fazit

Der Artikel behauptet, dass man durch die Behandlung der begrenzten Übungszeit als flexible Ressource – indem man zwischen Kandidaten basierend auf ihrem vorhergesagten zukünftigen Potenzial und nicht nur auf ihrem aktuellen Wert wechselt – ein viel besseres Endergebnis erzielen kann. Es geht darum, mit Ihrer begrenzten Zeit klug umzugehen: Trainieren Sie nicht weiter einen Spieler, der seinen Höhepunkt erreicht hat, und geben Sie nicht einen Spieler auf, der nur etwas mehr Zeit braucht, um seinen Rhythmus zu finden.

Kurz gesagt: Wählen Sie nicht einfach den besten Spieler, den Sie heute sehen; wählen Sie den Spieler, der das beste Morgen hat, und wechseln Sie weiter, bis Sie denjenigen gefunden haben, der das Rennen tatsächlich gewinnen kann.

Technischer Zusammenfassung: Adaptive Politikauswahl und Feinabstimmung unter Interaktionsbudgets für Offline-zu-Online-Reinforcement-Learning

1. Problemformulierung

Der Artikel adressiert eine kritische Herausforderung im Offline-zu-Online-Reinforcement-Learning (O2O-RL): Wie kann ein begrenztes Budget an Online-Interaktionen effizient genutzt werden, um aus einer Menge von Kandidaten, die offline vortrainiert wurden, die beste Policy auszuwählen und zu verfeinern?

In Standard-O2O-RL-Pipelines werden mehrere Kandidaten-Policies offline unter Verwendung verschiedener Algorithmen und Hyperparameter trainiert. Diese werden typischerweise mittels Off-Policy-Evaluation (OPE) evaluiert, um eine einzelne Policy für den Einsatz auszuwählen, die anschließend feinabgestimmt wird. Die Autoren identifizieren zwei Hauptmängel in diesem Ansatz:

Unzuverlässigkeit der OPE: OPE-Schätzungen sind aufgrund von Verteilungsverschiebungen oft ungenau, was es riskant macht, eine Policy allein auf Basis dieser Scores einzusetzen.
Ineffizienz der Online-Evaluation (OE) und naiven Feinabstimmung: Die exhaustive Evaluation aller Kandidaten online verbraucht das Interaktionsbudget, ohne eine Policy zu verfeinern. Umgekehrt ist die Festlegung auf eine einzelne Policy zur Feinabstimmung riskant, da vortrainierte Policies während der Online-Interaktion stagnieren oder regressieren können, insbesondere in nicht-stationären Umgebungen. Darüber hinaus ist es oft unmöglich, a priori zu wissen, welche Policy am meisten von einer Feinabstimmung profitieren wird.

Das Kernproblem wird als Minimierung des Regrets innerhalb eines festen Interaktionsbudgets $N$ definiert. Das Ziel ist es, ein Verfahren zu finden, das $N$ Online-Übergänge über $K$ Kandidaten-Policies verteilt (wobei jede möglicherweise mehrere Feinabstimmungsschritte durchläuft), um den Wert der final ausgewählten Policy zu maximieren, anstatt einfach nur den besten initialen Kandidaten auszuwählen oder alle Kandidaten gleichmäßig zu evaluieren.

2. Methodik

Der vorgeschlagene Rahmen, Adaptive Politikauswahl und Feinabstimmung, arbeitet in zwei Stufen:

A. Offline-Stufe

Ein diverser Pool von $K$ Kandidaten-Policies wird unter Verwendung verschiedener Offline-RL-Algorithmen (z. B. AWAC, IQL, CalQL, ReBRAC) und Hyperparametereinstellungen trainiert.
Eine Off-Policy-Evaluation (OPE) wird durchgeführt, um initiale Leistungsschätzungen zu generieren. Diese Schätzungen dienen zur Rangfolge der Policies, werden jedoch nicht als Ground Truth für die Werteschätzung während der Online-Phase behandelt.
Initiale Wertschätzungen für die Online-Phase werden auf den Wert der Verhaltenspolicy ( $\hat{v}_B$ ) gesetzt, der aus dem Datensatz abgeleitet wurde, und mit Pseudo-Beobachtungen angereichert, um Probleme der Identifikation in frühen Phasen zu behandeln.

B. Online-Stufe (Adaptiver Loop)
Die Online-Phase nutzt einen Upper Confidence Bound (UCB)-Ansatz, um das Interaktionsbudget $N$ dynamisch zuzuteilen. Der Prozess läuft wie folgt iterativ ab:

Auswahl: Eine Prioritätswarteschlange (Max-Heap) wählt die Policy mit dem höchsten max-UCB aus. Der UCB wird basierend auf einer Prognose der zukünftigen Leistung der Policy berechnet.
Feinabstimmung & Evaluation: Die ausgewählte Policy durchläuft einen Iterationsschritt der Feinabstimmung unter Verwendung eines Teils des Budgets, gefolgt von einer Online-Evaluation, um eine neue Wertschätzung zu erhalten.
Vorhersagemodell für Werte: Die Autoren modellieren die Entwicklung der Policy-Werte während der Feinabstimmung unter Verwendung eines linearen Autoregressiven (AR(2)) Prozesses in Kombination mit einem bedingt heteroskedastischen (ARCH(1)) Prozess. Dies erfasst sowohl kurzfristige Trends (aufwärts/abwärts) als auch zeitlich variable Varianz (Volatilität), was entscheidend ist, da Feinabstimmungskurven unregelmäßig sein, stagnieren oder regressieren können.
Vorhersage & Update: Unter Verwendung des angepassten AR-ARCH-Modells simuliert das System $R$ zukünftige Wertepfade, um das 95. Perzentil (UCB) für zukünftige Schritte zu berechnen. Der max-UCB (der maximale UCB über den verbleibenden Budgethorizont) wird berechnet.
Wiedereinreihung: Die Policy wird mit ihrem neuen Wert und max-UCB aktualisiert und zurück in die Prioritätswarteschlange geschoben.
Wechsel: Wenn der max-UCB eines anderen Kandidaten den der aktuell ausgewählten Policy übersteigt, wechselt das System den Fokus auf den neuen Kandidaten. Dies ermöglicht es dem Algorithmus, Policies, die regressieren oder stagnieren, aufzugeben und Ressourcen vielversprechenderen Kandidaten zuzuteilen.

Der Prozess läuft weiter, bis das Interaktionsbudget erschöpft ist, und gibt die Policy mit dem höchsten geschätzten Wert aus der Menge aller evaluierten Policies zurück.

3. Hauptbeiträge

Neuer Rahmen: Der Artikel schlägt den ersten Ansatz vor, der adaptive Politikauswahl und Feinabstimmung unter einem strengen Online-Interaktionsbudget kombiniert. Er geht über die binäre Wahl „zuerst auswählen, dann feinabstimmen" oder „alle evaluieren" hinaus zu einer dynamischen Zuteilungsstrategie.
Modellierung der Feinabstimmungsvolatilität: Die Autoren führen ein AR(2)-ARCH(1)-Modell ein, um die nicht-stationäre Entwicklung von Policy-Werten während der Feinabstimmung vorherzusagen. Dies berücksichtigt explizit die Möglichkeit von Leistungsregression und Varianz, die von Standardregressionsmodellen oft übersehen werden.
UCB-basierte Zuteilung: Durch die Verwendung eines UCB-Kriteriums für die vorhergesagte zukünftige Leistung balanciert die Methode effizient Exploration (Evaluierung neuer Kandidaten) und Exploitation (Feinabstimmung vielversprechender Kandidaten), wodurch sichergestellt wird, dass das Budget nicht für Policies verschwendet wird, die sich wahrscheinlich nicht verbessern.

4. Experimentelle Ergebnisse

Der Ansatz wurde an vier Standard-Lokomotionsaufgaben für beinbasierte Roboter aus dem D4RL-Benchmark (Hopper, Cheetah, Walker, Ant) über vier Datensatzqualitätsstufen (Random, Medium, Medium-Replay, Medium-Expert) evaluiert.

Benchmarks: Die Methode wurde verglichen mit:
- OPE: Auswahl der besten Policy allein basierend auf Offline-Schätzungen.
- OE: Gleichmäßige Aufteilung des Budgets zur Online-Evaluation aller Kandidaten ohne Feinabstimmung.
- FT: Auswahl der OPE-besten Policy und Feinabstimmung mit dem gesamten Budget.
- Best: Eine hypothetische Obergrenze unter Verwendung der tatsächlich besten Policy.
Leistung:
- Die vorgeschlagene Methode erzielte konsistent die höchsten Durchschnittswerte über alle Umgebungen und Budgetgrößen (160K und 320K Übergänge).
- Sie übertraf FT signifikant, das oft darunter litt, dass es das gesamte Budget auf eine einzelne Policy festlegte, die regressieren könnte (z. B. in Walker-Medium-Expert).
- Sie übertraf OPE und OE, indem sie das Budget effektiv nutzte, um sowohl Kandidaten mit hohem Potenzial zu identifizieren als auch sie zu verfeinern, wodurch der „Opportunitätsverlust" durch fehlende Feinabstimmung oder das „Regret" durch Feinabstimmung der falschen Policy vermieden wurde.
- Die Ergebnisse zeigten, dass adaptive Zuteilung dem System ermöglicht, sich von schlechten initialen OPE-Rangfolgen zu erholen und Ressourcen nicht an Policies zu verschwenden, die sich durch Online-Interaktion nicht verbessern.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit eine praktische Lösung für den Einsatz von RL in realen Systemen bietet, in denen Online-Interaktionen kostspielig, riskant oder zeitaufwendig sind. Indem anerkannt wird, dass vortrainierte Policies beliebig schlecht performen können und die Ergebnisse der Feinabstimmung volatil sind, bietet der vorgeschlagene Rahmen einen robusten Mechanismus, um diese Unsicherheiten zu navigieren.

Der Artikel vermerkt bescheiden, dass der Ansatz, obwohl er starke Benchmarks übertrifft, keine endgültige Lösung darstellt. Einschränkungen umfassen die Rechenkosten häufiger Online-Evaluationen und die Abhängigkeit von spezifischen Hyperparametereinstellungen. Die Autoren schlagen zukünftige Richtungen vor, wie die Nutzung von Explorationsrollouts zur Reduzierung expliziter Evaluierungskosten, die Integration von Policy-Ähnlichkeitsmetriken und die Entwicklung von OPE-Methoden, die speziell für O2O-RL-Rangfolgen maßgeschneidert sind. Letztlich zielt der Rahmen darauf ab, die Lücke zwischen theoretischem Offline-RL und praktischen, einsetzbaren Systemen zu schließen.