🤖 machine learning

Learning More from Less: Reinforcement Learning from Hindsight

Dieses Paper führt Learning from Hindsight (LfH) ein, eine Reinforcement-Learning-Methode, welche die Stichproben-Effizienz beim Training von Vision-Language-Action-Modellen verbessert, indem sie ein Vision-Language-Modell nutzt, um fehlgeschlagene Rollouts mit den Aufgaben, die sie tatsächlich erreicht haben, neu zu labeln, wodurch die Policy in der Lage ist, aus spärlichen Belohnungen zu lernen und Standard-Baselines bei Manipulationsaufgaben zu übertreffen.

Ursprüngliche Autoren: Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

Veröffentlicht 2026-07-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Kochen bei. Sie geben ihm einen spezifischen Befehl: „Lege den grünen Behälter in die Schüssel.“ Aber der Roboter, der ein wenig tollpatschig oder einfach nur verwirrt ist, greift nach einem Stück Klebeband und klebt es an den Tisch.

Auf die alte Art, Robotern etwas beizubringen (genannt Standard-Reinforcement-Learning), ist dies eine totale Katastrophe. Der Roboter bekommt ein großes „F“ für den gesamten Versuch. Der Computer sagt: „Du hast versagt. Wirf diese Daten weg; sie sind nutzlos.“ Der Roboter lernt nichts aus diesem chaotischen Klebeband-Zwischenfall, obwohl er das Klebeband erfolgreich aufgehoben und irgendwohin geklebt hat. Es ist, als würde man ein tolles Foto einer Katze wegwerfen, nur weil man nach einem Bild eines Hundes gefragt hat.

Das Paper „Learning More from Less“ stellt einen cleveren neuen Trick namens Learning from Hindsight (LfH) vor. Denken Sie an einen superintelligenten, alles sehenden Schiedsrichter (ein Vision-Language-Modell), der den „Fehlversuch“ des Roboters beobachtet und sagt: „Warte mal kurz! Du hast den Behälter zwar nicht in die Schüssel gelegt, aber du hast tatsächlich das Klebeband aufgehoben! Das ist ein Sieg für ein anderes Spiel.“

So funktioniert die „Hindsight“-Magie
Anstatt nur „Fehlgeschlagen“ zu sagen, schreibt der Schiedsrichter die Geschichte um. Er betrachtet den chaotischen Versuch des Roboters und gibt ihm eine neue Anweisung, die dem entspricht, was tatsächlich passiert ist: „Hebe das Klebeband auf.“ Nun wird dieser gescheiterte Versuch zu einem perfekten Beispiel dafür, wie man Klebeband aufhebt. Der Roboter erhält Anerkennung für das, was er getan hat, und nicht nur für das, was er hätte tun sollen.

Das Paper zeigt, dass der Roboter dadurch 5-mal schneller lernt (eine 5-fache Verbesserung der Stichproben-Effizienz) bei schwierigen neuen Aufgaben, bei denen er normalerweise stecken bleibt. Es ist, als ob man das Fahrradfahren lernen könnte, indem man zuerst auf einem Skateboard übt, und plötzlich das Fahrradfahren viel einfacher wird, weil man bereits gelernt hat, das Gleichgewicht zu halten.

Was dies NICHT ist
Die Autoren sind sehr deutlich darüber, was diese Methode nicht ist.

Es ist nicht einfach nur, dem Roboter mehr „Hinweise“ oder „Teilerfolg“ zu geben (wie zum Beispiel zu sagen: „Gut gemacht, du bist schon halb so weit“). Das Paper argumentt, dass es nicht so gut funktioniert, die Belohnungen einfach nur „dichter“ zu machen (also mehr Punkte für kleine Schritte zu vergeben), wie es bei der vollständigen Änderung der Aufgabe der Fall ist.
Es ist nicht einfach nur, den Roboter zufällige Dinge ausprobieren zu lassen. Das Paper fand heraus, dass die Methode nicht hilft, wenn der Roboter einfach nur planlos herumfuchtelt. Der Roboter muss tatsächlich etwas Bedeutungsvolles tun, auch wenn es das Falsche für das ursprüngliche Ziel ist.
Es ist kein Zauberstab, der alles behebt. Wenn der Roboter einfach nur untätig herumsteht oder sich in einer langweiligen, repetitiven Schleife bewegt, kann der Schiedsrichter kein neues Spiel finden, und die Methode hilft nicht.

Wie sicher sind wir uns?
Das Team hat dies auf zwei Arten getestet:

In der Simulation: Sie führten tausende Tests mit virtuellen Robotern in einer Computerwelt namens LIBERO-PRO durch. Hierbei wurde gemessen, dass LfH das gleiche Erfolgsniveau wie das Standardtraining in nur 1/5 der Schritte erreichte. Das ist ein riesiger Sprung.
In der realen Welt: Sie setzten einen echten Franka-Roboterarm in einem Labor ein. Die Ergebnisse hielten stand! Als der Roboter einen grünen Behälter in eine Schüssel legen sollte, blieb die Standardmethode nach 160 Versuchen bei einer Erfolgsquote von 22 % hängen. Die LfH-Methode sprang auf 56 %.

Der Haken
Das Paper gibt zu, dass diese Methode davon abhängt, dass der Roboter tatsächlich etwas Interessantes tut. Wenn der Roboter nur in der Nähe von Objekten „schwebt“, ohne sie zu berühren, kann der Schiedsrichter kein neues Spiel finden. Außerdem muss der Schiedsrichter (die KI, die die Anweisungen umschreibt) seinen Job gut machen; wenn er verwirrt ist oder Dinge erfindet, die nicht passiert sind, lernt der Roboter möglicherweise die falschen Lektionen.

Das große Ganze
Die Kernidee ist einfach: Wirf deine Fehler nicht weg. Ein Fehlschlag bei einer Aufgabe ist oft ein Erfolg bei einer anderen. Indem wir eine kluge KI nutzen, um zurückzublicken und zu sagen: „Hey, du hast eigentlich das getan“, können wir Roboter lehren, aus fast jedem einzelnen Versuch zu lernen – und verwandeln verschwendete Zeit in wertvolle Lektionen. Es ist, als würde man erkennen, dass jedes Mal, wenn man beim Laufen stolpert, man eigentlich gerade sein Gleichgewicht für eine andere Sportart trainiert.

Technisches Resümee: Learning More from Less: Reinforcement Learning from Hindsight

Problemstellung

Reinforcement Learning (RL) wird zunehmend für das Post-Training von Vision-Language-Action (VLA)-Modellen eingesetzt, um die Robotersteuerung zu verbessern. Es besteht jedoch ein kritischer Engpass: RL-Updates hängen von physischen Roboter-Rollouts ab, die langsam, teuer und schwer skalierbar sind. Dies macht die Beispiel-Effizienz (Sample Efficiency) zu einem primären Anliegen.

Die Herausforderung wird in Manipulationsaufgaben verschärft, bei denen Belohnungen (Rewards) typischerweise spärlich (sparse) sind. Ein Rollout erhält eine Belohnung (Erfolg) nur dann, wenn der Roboter die exakte Anweisung ausführt; alle anderen Verhaltensweisen erhalten eine Belohnung von Null. In der frühen Trainingsphase, wenn die Policy noch schwach ist, sind fast alle Rollouts Fehlversuche bezüglich der spezifischen Anweisung. Das Standard-RL behandelt diese gesamten Trajektorien als Fehlschläge und verwirft sie als „nutzlose“ Daten. Dies ignoriet die Tatsache, dass ein fehlgeschlagener Rollout oft ein kohärentes, bedeutungsvolles Verhalten ausführt, das für eine andere Aufgabe relevant ist (z. B. kann ein Roboter, der angewiesen wurde, „die Mikrowelle zu schließen“, erfolgreich „eine Tasse aufheben“). Standard-RL versäumt es, Lernsignale aus diesen „Fehlern“ zu extrahieren, was zu langsamer Konvergenz oder Stagnation in Out-of-Distribution (OOD)-Szenarien führt.

Methodik: Learning from Hindsight (LfH)

Die Autoren schlagen Learning from Hindsight (LfH) vor, eine Methode, die das Konzept des Hindsight Experience Replay (HER) an das RL-Post-Training von VLAs anpasst. Anstatt fehlgeschlagene Rollouts zu verwerfen, nutzt LfH ein Vision-Language-Modell (VLM), um diese basierend auf dem, was der Roboter tatsächlich erreicht hat, neu zu labeln.

Kernmechanismus

LfH operiert innerhalb eines Group Relative Policy Optimization (GRPO)-Frameworks. Der Prozess umfasst zwei Hauptstadien für Gruppen von Trajektorien, die die ursprüngliche Anweisung nicht erfüllen:

Anweisungs-Relabeling (Instruction Relabeling):
- Für eine Gruppe von Trajektorien, die die befohlene Anweisung $g$ nicht erfüllen, wählt das System eine „Anker“-Trajektorie (einen fehlgeschlagenen Rollout) aus.
- Ein VLM ( $M_\psi$ ) analysiert die visuellen Beobachtungen und Aktionen der Anker-Trajektorie, um eine Hindsight-Anweisung ( $g'$ ) zu generieren, die das tatsächlich ausgeführte Verhalten beschreibt (z. B. die Änderung von „schließe die Mikrowelle“ zu „hebe die Tasse auf“).
- Das VLM filtert zunächst „uninteressante“ Trajektorien heraus (z. B. solche ohne physischen Kontakt mit Objekten), um verrauschte Prompts zu vermeiden.
Belohnungs-Relabeling (Reward Relabeling):
- Dasselbe VLM bewertet alle Trajektorien in der Gruppe gegenüber der neuen Hindsight-Anweisung $g'$ .
- Es weist eine Belohnung $\tilde{R}_i \in \{0, 0.5, 1\}$ zu, wobei 1 für den Erfolg beim Erreichen von $g'$ steht, 0 für das Scheitern und 0.5 für ein ambivalentes Ergebnis.
- Entscheidend ist, dass eine einzelne, gemeinsame Hindsight-Anweisung für die gesamte Gruppe verwendet wird, um sicherzustellen, dass die Belohnungen für die Berechnung des Advantage vergleichbar sind.

Optimierungsziel

Die Policy wird sowohl auf den ursprünglichen Rollouts als auch auf den durch Hindsight neu gelabelten Gegenstücken trainiert. Die Verlustfunktion kombiniert das Standard-GRPO-Ziel ( $L_{GRPO}$ ) mit einem Hindsight-Ziel ( $L_{H-GRPO}$ ):
$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$

Um den Verteilungsdrift (Distribution Shift) zu handhaben (Trajektorien, die unter $g$ ausgeführt, aber für $g'$ optimiert wurden), wendet LfH ein Importance-Correction-Verhältnis an:
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$
Dies ermöglicht es der Policy, von den „unbeabsichtigten, aber bedeutungsvollen“ Verhaltensweisen zu lernen und gleichzeitig die Ausrichtung an der ursprünglichen Aufgabenverteilung beizubehalten.

Kernbeiträge

Hindsight-Relabeling für VLAs: Die Arbeit stellt einen einzigartigen Algorithmus vor, der die sprachliche Generalisierungsfähigkeit von VLAs nutzt, um fehlgeschlagene Rollouts im Sprachraum neu zu labeln und so Null-Belohnungs-Fehler in erfolgreiche Demonstrationen alternativer Aufgaben umzuwandeln.
Kombiniertes Instruktions- und Belohnungs-Relabeling: Im Gegensatz zu vorherigen Arbeiten, die möglicherweise nur Anweisungen umformulieren oder Belohnungen formen, koppelt LfH beides. Die Autoren zeigen, dass weder die bloße Instruktions-Augmentierung noch das Belohnungs-Relabeling allein ausreichend ist; erst die Synergie beider ist für signifikante Gewinne erforderlich.
Beispiel-Effizienz in spärlichen Belohnungsregimen: Die Methode adresst gezielt das „Cold Start“-Problem, bei dem initiale Policies eine Erfolgsrate von nahezu Null aufweisen, indem sie Lernsignale aus Daten zurückgewinnt, die das Standard-RL als unbrauchbar verwerfen würde.

Experimentelle Ergebnisse

Die Autoren evaluierten LfH auf Out-of-Distribution (OOD) Aufgaben aus dem LIBERO-PRO Datensatz sowie an einem physischen Franka FR3 Roboter.

Beispiel-Effizienz (Sample Efficiency): Bei LIBERO-PRO-Aufgaben erreichte LfH eine 5-fache Verbesserung der Beispiel-Effizienz im Vergleich zu Standard-GRPO. Es erreichte die endgültige Erfolgsrate von Standard-GRPO in etwa einem Fünftel der Trainingsschritte.
Vergleich zu dichten Belohnungen (Dense Rewards): LfH übertraf eine Baseline, die dichte Progress-Belohnungen (RoboMETER) verwendet. Dies deutet darauf darauf hin, dass in Szenarien mit geringem Erfolg die Änderung dessen, für welche Aufgabe ein Rollout gutgeschrieben wird, wertvoller ist als die bloße Verdichtung des Feedbacks für die ursprüngliche Anweisung.
Datennutzung: Während Standard-GRPO ca. 60–80 % der Trajektorien-Gruppen aufgrund von Null-Belohnungs-Varianz verwirft, behält LfH 70–80 % der Gruppen durch das Relabeling von Fehlern und nutzt die gesammelten Daten somit effektiv aus.
Generalisierung: Die Verbesserungen zeigten sich über verschiedene VLA-Backbones hinweg (einschließlich GR00T und OpenVLA-OFT) und transferierten erfolgreich auf reale physische Roboterexperimente, bei denen LfH die Erfolgsrate von Standard-GRPO bei 128 Rollouts verdoppelte.
Ablationsstudien: Experimente bestätigten, dass die Gewinne nicht auf zufällige Belohnungsinjektion oder einfaches Umformulieren von Anweisungen zurückzuführen sind. Die Methode zeigte auch, dass LfH von vielfältigen Verhaltensverteilungen während des Trainings profitiert und diese aufrechterhält, was verhindert, dass die Policy in repetitive Fehlermodi kollabiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LfH die Nützlichkeit von Roboterdaten im RL-Post-Training grundlegend verändert. Indem LfH eine Trajektorie als Evidenz für alle sprachlichen Ziele betrachtet, die mit dem beobachteten Verhalten konsistent sind, extrahiert es „mehr Bits pro Roboter-Probe“.

Die Autoren betonen, dass dieser Ansatz besonders natürlich für vortrainierte VLAs ist, die bereits über die Fähigkeit verfügen, über Sprachinstruktionen hinweg zu generalisieren. LfH ermöglicht es diesen Modellen, von dem zu lernen, was sie tatsächlich getan haben, statt nur von dem, was sie aufgetragen bekamen. Dies bietet einen praktischen Weg für das VLA-Post-Training: Anstatt lediglich mehr Rollouts zu sammeln oder länger auf denselben Labels zu optimieren, können Forscher jeden Rollout durch die Linse der Sprache neu interpretieren, um das Lernen über unterstützte Aufgaben hinweg zu transferieren.

Die Arbeit räumt Einschränkungen ein und merkt an, dass LfH von der Diversität und Interpretierbarkeit der Fehler in den gesammelten Daten abhängt. Wenn die Policy repetitive oder uninformative Trajektorien produziert, gibt es nur wenige aussagekräftige Hindsight-Ziele, die rekonstruiert werden können. Zudem hängt die Methode von der Qualität des VLM-Relabelers ab, wobei fehlerhafte oder zu generische Prompts verrauschtes Supervision einführen könnten.