Technische Samenvatting: Meer leren van minder: Reinforcement Learning met Hindsight

Probleemstelling

Reinforcement Learning (RL) wordt steeds vaker ingezet voor de post-training van Vision-Language-Action (VLA) modellen om robotbesturing te verbeteren. Er bestaat echter een kritieke flessenhals: RL-updates zijn afhankelijk van fysieke robot-rollouts, die traag, duur en moeilijk schaalbaar zijn. Dit maakt steekproefefficiëntie (sample efficiency) een primair punt van zorg.

De uitdaging wordt verergerd in manipulatietaken waarbij beloningen doorgaans ijler (sparse) zijn: een rollout ontvangt pas een beloning (succes) als de robot de exacte opdracht uitvoert; alle andere gedragingen ontvangen nul beloning. In de vroege stadia van training, wanneer het beleid (policy) nog zwak is, resulteren bijna alle rollouts in een mislukking voor de specifieke opdracht. Standaard RL behandelt deze volledige trajecten als mislukkingen en verwerpt ze als "nutteloze" data. Dit negeert het feit dat een mislukte rollout vaak coherent, betekenisvol gedrag vertoont dat relevant is voor een andere taak (bijv. een robot die de instructie krijgt om "de magnetron te sluiten", kan succesvol "een kopje oppakken"). Standaard RL slaagt er niet in om leersignalen te extraheren uit deze "mislukkingen", wat leidt tot trage convergentie of stagnatie in out-of-distribution (OOD) settings.

Methodologie: Learning from Hindsight (LfH)

De auteurs stellen Learning from Hindsight (LfH) voor, een methode die het concept van Hindsight Experience Replay (HER) aanpast aan de RL post-training van VLAs. In plaats van mislukte rollouts weg te gooien, gebruikt LfH een Vision-Language Model (VLM) om ze te herlabelen op basis van wat de robot daadwerkelijk heeft bereikt.

Kernmechanisme

LfH opereert binnen een Group Relative Policy Optimization (GRPO) framework. Het proces omvat twee hoofdfasen voor groepen trajecten die de oorspronkelijke instructie niet hebben voltooid:

1. Instructie Herlabeling:

   • Voor een groep trajecten die de opdracht $g$ niet hebben voltooid, selecteert het systeem een "anker"-traject (een mislukte rollout).
   • Een VLM ($M_\psi$) analyseert de visuele observaties en acties van het anker om een hindsight instructie ($g'$) te generen die het daadwerkelijk uitgevoerde gedrag beschrijft (bijv. "de magnetron sluiten" veranderen in "een mok oppakken").
   • De VLM filtert eerst "oninteressante" trajecten (bijv. die zonder fysiek contact met een object) om ruisende prompts te voorkomen.

2. Belonings Herlabeling:

   • Dezelfde VLM evalueert alle trajecten in de groep tegen de nieuwe hindsight instructie $g'$.
   • Het wijst een beloning $\tilde{R}_i \in \{0, 0.5, 1\}$ toe, waarbij 1 duidt op succes bij het bereiken van $g'$, 0 op falen, en 0.5 een ambigue uitkomst vertegenwoordigt.
   • Cruciaal is dat een enkele gedeelde hindsight instructie wordt gebruikt voor de gehele groep om ervoor te zorgen dat beloningen vergelijkbaar zijn voor de berekening van de advantage.

Optimalisatie-doelstelling

Het beleid wordt gezamenlijk getraind op de oorspronkelijke rollouts en de met hindsight herlabelde tegenhangers. De verliesfunctie combineert de standaard GRPO-doelstelling ($L_{GRPO}$) met een hindsight-doelstelling ($L_{H-GRPO}$):
$$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$$

Om de distributieverschuiving (trajecten uitgevoerd onder $g$ maar geoptimaliseerd voor $g'$) aan te pakken, past LfH een belangscorrectieratio toe:
$$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$$
Dit stelt het beleid in staat om te leren van de "onbedoelde maar betekenisvolle" gedragingen, terwijl de afstemming met de oorspronkelijke taakdistributie behouden blijft.

Belangrijkste Bijdragen

1. Hindsight Relabeling voor VLAs: Het artikel introduceert een uniek algoritme dat gebruikmaakt van de taalgeneralisatie-capaciteiten van VLAs om mislukte rollouts in de taalruimte te herlabelen, waardoor zero-reward mislukkingen worden omgezet in succesvolle demonstraties van alternatieve taken.
2. Gezamenlijke Instructie- en Beloningsherlabeling: In tegen tegenstelling tot eerder werk dat mogelijk alleen instructies herformuleert of beloningen vormgeeft (reward shaping), koppelt LfH beide. De auteurs demonstreren dat noch instructie-augmentatie, noch beloningsherlabeling alleen voldoende is; de synergie van beide is vereist voor significante winst.
3. Steekproefefficiëntie in Sparse Reward Regimes: De methode richt zich specifiek op het "cold start" probleem waarbij initiële policies bijna nul succesratio's hebben, waarbij zij leersignalen terugwinnen uit data die standaard RL als waardeloos zou verwerpen.

Experimentele Resultaten

De auteurs evalueerden LfH op out-of-distribution (OOD) taken van de LIBERO-PRO dataset en op een fysieke Franka FR3 robot.

• Steekproefefficiëntie: Op LIBERO-PRO taken behaalde LfH een 5× verbetering in steekproefefficiëntie vergeleken met standaard GRPO. Het bereikte het uiteindelijke succespercentage van standaard GRPO in ongeveer een vijfde van de trainingsstappen.
• Vergelijking met Dense Rewards: LfH presteerde beter dan een baseline die gebruikmaakt van dense progress rewards (RoboMETER). Dit suggereert dat in scenario's met lage succesratio's, het veranderen van de vraag waarvoor een rollout wordt erkend effectiever is dan simpelweg het densificeren van feedback voor de oorspronkelijke opdracht.
• Data Utilisatie: Terwijl standaard GRPO ~60-80% van de trajectgroepen verwerpt vanwege nul beloningsvariantie, behoudt LfH 70–80% van de groepen door falen te herlabelen, waardoor de verzamelde data effectief wordt benut.
• Generalisatie: De verbeteringen hielden stand over verschillende VLA-backbones (inclusief GR00T en OpenVLA-OFT) en vertaalden zich succesvol naar fysieke robotexperimenten in de echte wereld, waar LfH het succespercentage van standaard GRPO verdubbelde bij 128 rollouts.
• Ablatie-studies: Experimenten bevestigden dat de winsten niet te danken zijn aan willekeurige beloningsinjectie of eenvoudige instructie-herformulering. De methode toonde ook aan dat LfH profiteert van en helpt bij het behouden van diverse gedragsdistributies tijdens de training, wat voorkomt dat het beleid vervalt in repetitieve foutmodi.

Betekenis en Claims

Het artikel claimt dat LfH de bruikbaarheid van robotdata in RL post-training fundamenteel verandert. Door een traject te behandelen als bewijs voor alle taaldoelen die consistent zijn met het geobserveerde gedrag, extraheert LfH "meer bits per robot-sample".

De auteurs benadrukken dat deze aanpak bijzonder natuurlijk is voor getrainde VLAs, die al over de capaciteit beschikken om te generaliseren over taalinstructies. LfH stelt deze modellen in staat om te leren van wat ze daadwerkelijk deden, in plaats van alleen van wat ze gevraagd werd te doen. Dit biedt een praktisch pad voor VLA post-training: in plaats van enkel meer rollouts te verzamelen of langer te optimaliseren op dezelfde labels, kunnen onderzoekers elke rollout herinterpreteren via taal om leren over te dragen naar ondersteunde taken.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat LfH afhankelijk is van de diversiteit en interpreteerbaarheid van de fouten in de verzamelde data. Als het beleid repetitieve of oninformatieve trajecten produceert, zijn er weinig betekenisvolle hindsight-doelen te herstellen. Daarnaast leunt de methode op de kwaliteit van de VLM-relabeler, waarbij onjuiste of te generieke prompts voor ruisende supervisie kunnen zorgen.