Technische Samenvatting: SARM2 – Multi-Task Stage Aware Reward Modeling voor Zelfverbeterende Robotische Manipulatie

1. Probleemstelling

Vision-Language-Action (VLA) modellen hebben end-to-end beleidsleren gevestigd als een dominant paradigma voor robotische manipulatie. Deze modellen hebben echter moeite met taken met een lange horizon zonder uitgebreide fine-tuning op in-domain data. Supervised Fine-Tuning (SFT) is afhankelijk van kostbare, hoogwaardige menselijke demonstraties en blijft gevoelig voor fouten door out-of-distribution (OOD) scenario's. Hoewel Reinforcement Learning (RL) een pad biedt naar zelfverbetering, kampt het met twee kritieke knelpunten:

1. Sparse Rewards (IJle Beloningen): Bestaande online RL-methoden vertrouwen vaak op ijle terminale beloningen, die niet de noodzakelijke dichte, stap-niveau supervisie bieden voor taken met een lange horizon en veel contactmomenten.
2. Beperkingen van Reward Modellen: Huidige benaderingen voor reward modeling vallen uiteen in twee suboptimale categorieën:
   • Taakspecifieke Modellen: Accuraat, maar vereisen per taak annotaties en hertraining (bijv. SARM), wat de schaalbaarheid beperkt.
   • Algemene VLM-modellen: Breed toepasbaar, maar produceren grove, ruisgevoelige voorspellingen op stap-niveau, waardoor ze ongeschikt zijn als dichte supervisiesignalen voor fijnmazige voortgang in manipulatie.

Het artikel stelt dat het schalen van VLA-RL een reward model vereist dat tegelijkertijd dens (per stap), accuraat (getrouw aan de taakvoortgang) en generiek (toepasbaar op diverse taken zonder hertraining) is.

2. Methodologie

De auteurs stellen SARM2 (Multi-Task Stage Aware Reward Modeling) en SPIRAL (Self-Policy Improvement via Reward-Aligned Learning) voor.

3.1 SARM2: Multi-Task Stage-Aware Reward Model

SARM2 adresseert de trade-off tussen generalisatie en accuratesse door een taak-agnostische stage estimator te combineren met een gespecialiseerde value head.

• Action-Primitive Stage Estimator:

  • In plaats van taakspecifieke stage-annotaties gebruikt het model een gedeelde vocabulaire van actie-primitieven (bijv. "Pick", "Place", "Rotate", "Erase") als een intermediaire representatie.
  • Op basis van een analyse van meer dan 10.000 uur aan manipulatiegegevens identificeerden de auteurs K=21 actie-primitieven die >90% van de taakduur dekken, plus een "null"-klasse voor onzekerheid.
  • De estimator is een 4-laagse causale Transformer die multi-view beelden (pols-links, pols-rechts, bovenaanzicht) en proprioceptieve staten als input neemt. Het classificeert het huidige segment in een van de K+1=22 primitieve klassen.
  • Deze estimator is getraind op een gebalanceerde dataset van 66 uur aan segmenten verspreid over 100 taken, waardoor het kan generaliseren over domeinen.

• Multi-Gate Mixture-of-Experts (MMoE) Value Head:

  • Om dichte waarde-inschattingen te produceren (specifiek, genormaliseerde resterende stappen tot voltooiing), gebruikt SARM2 een MMoE-decoder.
  • Architectuur: Het waardemodel gebruikt een aparte 6-laagse causale Transformer backbone. Het ontvangt dezelfde visuele/proprioceptieve inputs als de stage estimator, plus de taak-embedding en de voorspelde primitieve embedding van de stage estimator.
  • Routing Mechanisme: De voorspelde primitief selecteert een specifieke gate in de MMoE. Elke gate routeert tokens naar een gedeelde pool van experts (3-laagse MLPs). Dit ontwerp stelt het model in staat om te specialiseren in de visuele dynamiek en voortgangssignaturen van specifieke primitiefgroepen, terwijl de capaciteit over taken heen wordt gedeeld.
  • Doelstelling: Het model voorspelt een dichte beloning $r_t \in [-1, 0]$ die de resterende voortgang vertegenwoordigt. De verliesfunctie combineert Mean Squared Error (MSE) op de doelafstand met hulp-losses voor gate-balans en entropie om router-collapse te voorkomen.

3.2 SPIRAL: Self-Policy Improvement Framework

SPIRAL is een on-policy, reward-gestuurd framework ontworpen om een "robot data flywheel" te creëren met behulp van de dichte beloningen van SARM2.

• Residual RL Substrate: SPIRAL bouwt voort op het DICE-RL framework en gebruikt een residual learning benadering waarbij een residual policy de outputs van een base VLA-policy corrigeert.
• Hybride Doelstelling:
  • Dense Component: Gebruikt TD3 met dichte per-stap beloningen geleverd door SARM2.
  • Sparse Component: Combineert dit met een Monte Carlo (MC) doelstelling gedreven door ijle episode-niveau beloningen om alignment met het uiteindelijke taaldoel te waarborgen.
• Autonome Loop: Het framework werkt in een gesloten lus:
  1. Initialisatie: Fine-tune een base VLA-policy via Behavior Cloning (BC).
  2. Eenmalige Adaptatie: Een kleine set menselijk geannoteerde rollouts past het reward model aan de rollout-distributie van de policy aan.
  3. Zelfverbetering: Het systeem verzamelt autonoom rollouts, labelt deze opnieuw met de aangepaste SARM2, en werkt de policy bij via residual RL. Deze cyclus herhaalt zich zonder verdere menselijke interventie.

3. Belangrijkste Bijdragen

1. SARM2: Een multi-task stage-aware reward model dat een generaliseerbare actie-primitief stage estimator koppelt aan een multi-gate MMoE value head. Deze architectuur produceert accurate, dichte beloningen over diverse langdurige taken binnen één enkel model, wat de noodzaak voor per-taak hertraining elimineert.
2. SPIRAL: Een reward-aligned on-policy residual RL framework dat de dichte beloningen van SARM2 gebruikt om continue beleidsverfijning mogelijk te maken via goedkope autonome rollouts, waarmee een autonome robot data flywheel wordt gesloten.
3. Empirische Validatie: Demonstratie dat hoogwaardige dichte beloningen cruciaal zijn voor stabiele zelfverbetering, waarbij substantiële winst wordt geboekt ten opzien van sparse-reward en VLM-gebaseerde baselines op real-world taken.

4. Experimentele Resultaten

De auteurs evalueerden SARM2 en SPIRAL op een benchmark van 10 taken en twee specifieke real-world langdurige taken: Folding Shorts (het vouwen van een korte broek) en Cleaning Whiteboard (het schoonmaken van een whiteboard).

Prestaties van het Reward Model

• Accuratesse: SARM2 verminderde de Mean Squared Error (MSE) op held-out demonstraties met 80% vergeleken met de sterkste baselines (ReWiND, TOPReward, Robometer).
• Generalisatie: Op de "Cleaning Whiteboard" taak (T2) bereikte SARM2 een rollout classificatie correlatie ($\rho$) van 0.667, wat aanzienlijk beter presteert dan algemene VLM-gebaseerde modellen (die vaak negatieve correlaties vertoonden door over-optimisme).
• Ablaties: Het verwijderen van de stage estimator verhoogde de demo loss met ~70%; het verwijderen van het multi-gate ontwerp verhoogde deze met ~30%. Dit bevestigt dat zowel stage awareness als MMoE routing synergetisch zijn.
• Router Gezondheid: De MMoE routing bleef gebalanceerd (Density score ~0.10), terwijl single-gate varianten leden aan router-collapse (Density > 0.80).

Beleidsleerprestaties (SPIRAL)

• Folding Shorts:
  • Flat: Het succespercentage verbeterde van 58% (initieel BC/RL-Dense) naar 100% na 3 rondes van SPIRAL met SARM2.
  • Crumpled (Moeilijker): Het succespercentage verbeterde van 33% naar 67%. Opvallend genoeg degradeerden sparse-reward baselines de prestaties op deze taak (dalend naar 17%), wat de noodzaak van dichte beloningen onderstreept.
• Cleaning Whiteboard:
  • Het succespercentage verbeterde van 50% naar 90%.
  • De gemiddelde progressie score steeg van 0.813 naar 0.975.
• Vergelijking: SPIRAL met SARM2 presteerde consistent beter dan alle baselines, inclusief LoRA-fine-tuned VLM reward modellen (Robometer-FT) en sparse-reward RL. De resultaten wijzen uit dat hoewel densiteit noodzakelijk is, de kwaliteit en stage-awareness van de reward de werkelijke knelpunten zijn voor effectieve zelfverbetering.

5. Betekenis en Claims

Het artikel claimt dat SARM2 en SPIRAL aantonen dat hoogwaardige dichte beloningen de "load-bearing factor" zijn voor een zelfvoorzienende robot data flywheel. Het werk daagt het idee uit dat algemene VLMs voldoende zijn voor fijnmazige robotische controle, en laat zien dat een gestructureerde, op primitieven gebaseerde aanpak vereist is voor accurate voortgangsinschatting.

De auteurs benadrukken dat hun methode continuele beleidsverfijning op langdurige taken mogelijk maakt met minimale menselijke interventie na een initiële adaptatiefase. Door de stage estimation (generaliseerbare primitieven) te ontkoppelen van de value estimation (gespecialiseerde experts), bereiken zij een model dat zowel schaalbaar is over taken als precies genoeg om on-policy RL te sturen.

Beperkingen erkend door de auteurs:

• Embodiment Scope: De actie-primitief vocabulaire is afgeleid van bimanuele tabletop data; het uitbreiden naar mobiele manipulatie vereist het opnieuw opbouwen van de primitief-set.
• Residual RL Ceiling: Het framework verfijnt policies via residual learning in plaats van de VLA-gewichten bij te werken, wat betekent dat het geen fouten op het niveau van intentie of high-level taak-decompositie kan corrigeren.
• Sample Efficiency: Hoewel autonoom, vereist de on-policy rollout collectie nog steeds menselijke operators voor routinematige resets tussen episodes.