🤖 AI

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

RankQ ist eine Reinforcement-Learning-Methode vom Offline- zum Online-Betrieb, die die Stichprobeneffizienz und die Leistung der Politik verbessert, indem sie einen gleichmäßigen Pessimismus durch einen selbstüberwachten Multi-Term-Ranking-Verlust ersetzt, um strukturierte Aktionspräferenzen zu erlernen, und dabei überlegene Ergebnisse bei Benchmarks mit spärlichen Belohnungen sowie signifikante Gewinne beim Transfer von Simulation zur Realität beim visuellen Robotlernen demonstriert.

Ursprüngliche Autoren: Andrew Choi, Wei Xu

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrew Choi, Wei Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einen Roboter lehren, ohne ihn zu zerstören

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, Blöcke zu stapeln. Sie haben zwei Möglichkeiten:

Online-Lernen: Lassen Sie den Roboter versuchen, zu scheitern, zu crashen und von Grund auf neu zu lernen. Dies ist langsam, gefährlich und teuer (wie einem Kleinkind zu erlauben, ein Auto zu fahren, um das Fahren zu lernen).
Offline-Lernen: Zeigen Sie dem Roboter ein Video, wie jemand anderes es macht. Der Roboter lernt aus dem Video, berührt aber nie die echten Blöcke. Dies ist schnell und sicher, aber der Roboter könnte schlechte Gewohnheiten lernen, wenn das Video wackelig war oder wenn die Person im Video Fehler machte.

RankQ ist eine neue Methode, die versucht, das Beste aus beiden Welten zu vereinen. Sie lässt den Roboter zuerst aus einem Video lernen (Offline) und lässt ihn dann in der realen Welt üben (Online), um besser zu werden. Das Problem ist, dass der Roboter, wenn er mit dem Üben beginnt, oft durch seine eigenen Fehler oder die schlechten Teile des Videos verwirrt wird. RankQ behebt dies, indem es dem Roboter beibringt, Aktionen zu ranken (zu sortieren), anstatt sie nur auswendig zu lernen.

Das Problem: Der „pessimistische" Trainer

Frühere Methoden (wie CQL und Cal-QL) versuchten, das Problem des „schlechten Videos" zu lösen, indem sie wie ein pessimistischer Trainer agierten.

Wie sie funktionierten: Sie sagten dem Roboter: „Alles, was du im Video nicht gesehen hast, ist wahrscheinlich gefährlich. Also, wenn du etwas Neues ausprobierst, werden wir dich hart bestrafen."
Der Fehler: Dies funktioniert gut, wenn das Video perfekte Bewegungen zeigt. Aber was, wenn das Video voller Misserfolge steckt? Der pessimistische Trainer sagt: „Versuche nichts Neues, weil das Video sagt, dass alles schlecht ist." Dies verhindert, dass der Roboter sich jemals verbessert. Er bleibt bei genau denselben suboptimalen Bewegungen stecken, die er im Video gesehen hat, selbst wenn er besser könnte.

Die Lösung: Der „Ranking"-Trainer (RankQ)

RankQ ändert den Trainingsstil. Anstatt ein Pessimist zu sein, der alles Neue bestraft, agiert RankQ wie ein kluger Ranking-Trainer.

Anstatt zu sagen: „Neues ist schlecht", sagt es: „Vergleichen wir Dinge. Ist dieser neue Zug besser oder schlechter als die im Video?"

So lehrt RankQ dem Roboter, Aktionen zu ranken:

Erfolg vs. Misserfolg: Es schaut sich das Video an und trennt die „Guten Züge" (Erfolge) von den „Schlechten Zügen" (Misserfolgen).
Der „Rauschen"-Test: Es nimmt einen „Guten Zug" aus dem Video und verändert ihn leicht (wie das Hinzufügen von etwas statischem Rauschen). Es lehrt den Roboter: „Der ursprüngliche perfekte Zug ist besser als diese leicht vermurkste Version."
Der „Chaos"-Test: Es nimmt einen „Guten Zug" und macht ihn sehr chaotisch oder zufällig. Es lehrt den Roboter: „Die leicht vermurkste Version ist immer noch besser als dieses totale Chaos."
Der „Misserfolg"-Test: Selbst wenn das Video einen Misserfolg zeigt, lehrt RankQ dem Roboter, dass ein „Schlechter Zug" aus dem Video immer noch besser ist als ein völlig zufälliger, erfundener Zug.

Die Magie: Indem es diese relativen Rankings lernt, baut der Roboter eine mentale Karte (eine „Q-Landschaft") auf. Auf dieser Karte sind die „Guten Züge" oben auf einem Hügel und die „Schlechten Züge" im Tal.

Wenn der Roboter eine neue Aktion versucht, erhält er nicht nur eine „Ja/Nein"-Antwort. Er erhält eine Richtung.
Die Mathematik sagt dem Roboter: „Du bist hier. Um auf die Spitze des Hügels (Erfolg) zu gelangen, musst du in diese Richtung bewegen."

Dies ermöglicht es dem Roboter, aus dem „Tal" schlechter Videodaten herauszuklettern und neue, bessere Wege zu finden, Blöcke zu stapeln, selbst wenn das ursprüngliche Video voller Fehler war.

Was sie getestet haben (Die Ergebnisse)

Die Forscher testeten dies an zwei Arten von Herausforderungen:

1. Die „Videospiele"-Tests (D4RL-Benchmarks)

Sie verwendeten Standard-Robotersimulationen (wie eine Ameise, die ein Labyrinth navigiert, oder eine Hand, die einen Stift bewegt).

Ergebnis: RankQ schnitt genauso gut oder besser ab als sieben andere Top-Methoden. Es war besonders gut darin, die schwierigsten Labyrinthe zu lösen, in denen andere Roboter stecken blieben.

2. Die „Echte Roboter"-Tests (Vision-Language-Action-Modelle)

Dies ist der große Test. Sie verwendeten ein hochentwickeltes KI-Modell (ein VLA), das „sehen" und Sprachanweisungen „verstehen" kann.

Szenario mit wenig Daten: Sie gaben dem Roboter eine winzige Menge an Übungsdaten (nur 200 Versuche).
- Andere Methoden: Stagnierten. Sie konnten sich nicht verbessern, weil sie zu Angst hatten, Neues auszuprobieren.
- RankQ: Erfolg. Es verbesserte die Erfolgsrate des Roboters um 42,7 % im Vergleich zur nächstbesten Methode. Es lernte, Würfel zu stapeln und Löffel in Schalen zu legen, viel besser.
Szenario mit vielen Daten: Sie gaben dem Roboter viele Daten (800 Versuche) und simulierten viele verschiedene Lichtverhältnisse und Kamerawinkel.
- Ergebnis: RankQ war immer noch das schnellste und erfolgreichste. Es schloss Aufgaben 25,7 % schneller ab als die Konkurrenz.
Transfer in die reale Welt: Sie nahmen den Roboter, der in der Computersimulation trainiert wurde, und setzten ihn auf einen echten physischen Roboter in einem echten Labor.
- Vor RankQ: Der Roboter konnte einen Würfel nur 43,1 % der Zeit stapeln.
- Nach RankQ: Der Roboter stapelte den Würfel 84,7 % der Zeit.

Das Fazit

Denken Sie an RankQ als eine Möglichkeit, einem Roboter nicht nur zu lehren, was zu tun ist, sondern wie zu beurteilen, was er tut.

Anstatt blind einem Skript zu folgen oder Angst zu haben, Neues auszuprobieren, gibt RankQ dem Roboter einen Kompass. Es hilft dem Roboter zu verstehen, dass „etwas besser als Misserfolg" ein Schritt nach oben ist und „perfekt" das Ziel ist. Dies ermöglicht es dem Roboter, schnell aus unvollkommenen Daten zu lernen und dann schnell zu verbessern, wenn er beginnt, in der realen Welt zu üben.

Technische Zusammenfassung: RankQ - Offline-zu-Online-Verstärkungslernen durch selbstüberwachtes Aktions-Ranking

Problemstellung

Offline-zu-Online-Verstärkungslernen (RL) zielt darauf ab, die Probeneffizienz zu verbessern, indem vor der Online-Interaktion vorgefertigte Datensätze genutzt werden. Eine primäre Herausforderung in diesem Paradigma ist das Erlernen einer genauen Kritiker-Funktion (Wertfunktion) in großen Zustands-Aktions-Räumen, in denen die Abdeckung des Datensatzes begrenzt ist. Bestehende Methoden adressieren die Überschätzung von Werten für Out-of-Distribution (OOD)-Aktionen häufig durch die Auferlegung von Pessimismus, was effektiv OOD-Aktionen im Vergleich zu Datensatz-Aktionen herabstuft (z. B. Conservative Q-Learning [3] und Calibrated Q-Learning [2]).

Während Pessimismus das Training stabilisiert, argumentiert das Papier, dass er als „Anker für Behavior Cloning" wirkt. Durch die einheitliche Bestrafung nicht gesehener Aktionen lenken diese Methoden die Politik in Richtung der Datensatzverteilung. Dies wird problematisch, wenn der Offline-Datensatz suboptimale oder Fehlertrajektorien enthält; die pessimistische Einschränkung kann die nachgelagerte Online-Politikverbesserung behindern, indem sie dem Agenten verhindert, potenziell überlegene Aktionen zu erkunden, die nicht in den Daten vorhanden waren. Die zentrale Frage lautet, wie Wertfunktionen jenseits des Datensatzes gestaltet werden können, um eine effektive Online-Verbesserung zu ermöglichen, ohne sich auf uniformen Pessimismus zu verlassen.

Methodik: RankQ

Die Autoren schlagen RankQ vor, ein Offline-zu-Online-Q-Lernziel, das das Standard-Temporal-Difference (TD)-Lernen um einen selbstüberwachten Multi-Term-Ranking-Verlust erweitert. Anstatt OOD-Aktionen einheitlich zu bestrafen, modelliert RankQ explizit die relative Qualität von Aktionen, um eine strukturierte Ordnung im Q-Wert-Landschaft zu erzwingen.

Kernmechanismus

Die Methode unterteilt den Datensatz $D$ in Erfolg ( $D_{success}$ ) und Fehlertrajektorien ( $D_{failure}$ ). Sie konstruiert spezifische Klassen suboptimaler Aktionen, um paarweise Ranking-Bedingungen zu erstellen:

Verrauschte Aktionen ( $a_\epsilon$ ): $a + \epsilon$ , wobei $\epsilon \sim \mathcal{N}(0, \sigma)$ .
Sehr verrauschte Aktionen ( $a_{2\epsilon}$ ): $a + 2\epsilon$ .
Zufällige Aktionen ( $a_r$ ): Gleichmäßig gesampelte Aktionen.
Permutierte Aktionen ( $a_p$ ): Aus nicht zusammenhängenden Zuständen gesampelte Aktionen.

Der RankQ-Verlust erzwingt folgende strukturierte Ordnung:

Erfolgpräferenz: Für erfolgreiche Übergänge muss der Q-Wert der optimalen Aktion höher sein als der aller suboptimalen Varianten: $Q(s, a) > Q(s, a')$ für $a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$ .
Relative Qualität unter suboptimalen Aktionen: Die Methode erzwingt eine Hierarchie basierend auf der Nähe zur optimalen Aktion: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$ . Dies stellt sicher, dass die Gradienten der Q-Landschaft ( $\partial Q/\partial a$ ) auf Bereiche höherer Qualität zeigen und nicht nur weg vom Datensatz.
Fehlerüberwachung: Für Fehlertrajektorien stellt die Methode sicher, dass die Datensatzaktion immer noch gegenüber zufälligen Aktionen bevorzugt wird ( $Q(s, a) > Q(s, a_r)$ ), vermeidet jedoch das Auferlegen stärkerer Ordnungsbedingungen aufgrund des Fehlens eines sinnvollen Begriffs der relativen Qualität unter Fehlern.

Das finale Ziel kombiniert diese Ranking-Verluste mit dem Standard-TD-Verlust:
$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$

Hauptbeiträge

Benchmark-Leistung: RankQ erzielt auf dem D4RL-Benchmark in vier antmaze- und drei adroit-Umgebungen mit spärlichen Belohnungen eine Leistung, die mit sieben vorherigen Methoden (einschließlich CQL, Cal-QL und Hybrid RL) konkurrierbar ist oder diese übertrifft.
Low-Data VLA-Feinabstimmung: In einem herausfordernden Low-Data-Regime (200 Offline-Rollouts, 8 Online-Rollouts pro Update) ist RankQ die einzige Methode, die die Baseline Vision-Language-Action (VLA)-Modell signifikant verbessert. Sie erreicht eine durchschnittlich 42,7 % höhere Erfolgsquote als die nächstbeste Methode über drei Manipulationsaufgaben (Karotte-auf-Teller, Würfel-Stapeln, Löffel-in-Schüssel).
High-Data-Leistung und Sim-zu-Real-Transfer: In einem High-Data-Setting mit umfangreicher Domänenrandomisierung verbessert RankQ die Simulations-Erfolgsraten um 13,7 % und die Aufgabenerfüllungsgeschwindigkeit um 25,7 % gegenüber der nächstbesten Methode. Entscheidend ist, dass sie einen erfolgreichen Sim-zu-Real-Transfer demonstriert und die Erfolgsquote des realen Würfel-Stapelns von 43,1 % auf 84,7 % im Vergleich zur anfänglichen VLA-Leistung steigert.
Analyse der Q-Landschaft: Die Autoren liefern eine umfassende Analyse, die zeigt, dass RankQ die Q-Wert-Landschaft so gestaltet, dass Aktionsgradienten auf Verhaltensweisen höherer Qualität gerichtet sind, wodurch die unbegrenzte Pessimismus und übermäßige Gradientenspitzen, die bei CQL und Cal-QL beobachtet werden, vermieden werden.

Experimentelle Ergebnisse

D4RL-Benchmarks: RankQ entspricht auf einfacheren Aufgaben (z. B. antmaze-medium, adroit-pen) den stärksten Baselines und übertrifft auf schwierigen, langfristigen Aufgaben wie antmaze-large und adroit-relocate alle Baselines, wo andere Methoden oft scheitern, sinnvolle Politiken zu erlernen.
VLA Low-Data: Mit nur 800 gesamten Online-Rollouts drückt RankQ die Politik konsistent über ihre Imitations-Baseline hinaus, während andere Methoden (CQL, Cal-QL, SAC+OFF) weitgehend in der Nähe ihrer anfänglichen Leistung stagnieren.
VLA High-Data & Sim-zu-Real: Die mit RankQ trainierten Politiken erreichen nicht nur höhere Erfolgsquoten, sondern führen Aufgaben auch schneller aus (ca. 8 Sekunden gegenüber 10,5–12,5 Sekunden für Baselines). In realen Versuchen verbesserte die RankQ-Politik die Erfolgsquote beim Stapeln von Würfeln von 43,1 % auf 84,7 % über 144 Versuche hinweg und reduzierte gleichzeitig die Varianz der Ausführungszeit.

Bedeutung und Behauptungen

Das Papier behauptet, dass die explizite Modellierung der relativen Aktionsordnung eine effektive Alternative zum uniformen Pessimismus darstellt, der in state-of-the-art Offline-zu-Online-Methoden verwendet wird. Durch die Gestaltung der Q-Funktion, um Aktionsgradienten auf Verhaltensweisen höherer Qualität zu lenken, anstatt einfach nicht gesehene Aktionen zu unterdrücken, ermöglicht RankQ eine effektivere Politikverbesserung sowohl während des Offline-Vortrainings als auch des Online-Feinabstimmens.

Die Autoren schlagen vor, dass dieser Ansatz insbesondere in spärlich-belohnten und Low-Data-Szenarien wertvoll ist, in denen pessimistische Methoden zu restriktiv werden können und es versäumen, Lernsignale aus abundanten Fehlerdaten zu extrahieren. Der erfolgreiche Sim-zu-Real-Transfer der RankQ-Politik demonstriert, dass strukturierte Wertgestaltung skalierbares Offline-zu-Online-RL und robotisches Lernen in der realen Welt fördern kann, selbst wenn der initiale Datensatz von suboptimalen oder Fehlertrajektorien dominiert wird.