ARM: Advantage Reward Modeling for Long-Horizon Manipulation

Probleemstelling

Robotmanipulatie op lange termijn (long-horizon) blijft een grote uitdaging voor Reinforcement Learning (RL). De kernproblemen zijn:

1. Schaarse beloningen (Sparse Rewards): Traditionele RL-methoden gebruiken vaak alleen een binair succes/fout-signaal aan het einde van een taak. Dit biedt te weinig richting voor "credit assignment" (het toewijzen van waarde aan specifieke acties) tijdens complexe, langdurige taken.
2. Kosten en complexiteit van dichte beloningen: Praktische verbeteringen vereisen vaak dichte tussenbeloningen (dense rewards) die voortgang aangeven. Het handmatig ontwerpen van deze beloningen is duur, tijdrovend en vatbaar voor fouten.
3. Beperkingen van bestaande modellen: Bestaande benaderingen (zoals SARM) vertrouwen vaak op strikte monotonie-aannames (dat voortgang altijd lineair verloopt) of gebruiken Zero-shot Vision-Language Models (VLMs). Dit faalt bij niet-monotone gedragingen zoals terugkeren naar een vorige stap (backtracking) of foutherstel, wat leidt tot onnauwkeurige beloningssignalen.
4. Menselijke cognitieve last: Het labelen van videoframes met continue voortgangswaarden (0 tot 1) is cognitief zwaar voor annotatoren en leidt tot inconsistente data.

Methodologie: Advantage Reward Modeling (ARM)

De auteurs introduceren ARM, een raamwerk dat verschuift van het modelleren van absolute voortgang naar het schatten van relatief voordeel (relative advantage). Het systeem bestaat uit drie hoofdcomponenten:

1. Tri-State Labeling Strategie

In plaats van complexe continue waarden te labelen, gebruiken de auteurs een eenvoudige, drie-standige categorisatie voor opeenvolgende toestanden:

• +1 (Progressive): De staat beweegt effectief naar het doel.
• -1 (Regressive): De staat wijkt af van het doel, maakt een fout of gaat terug.
• 0 (Stagnant): Geen substantiële vooruitgang (wachten of inactief).
  Deze aanpak verlaagt de cognitieve last voor annotatoren aanzienlijk en is compatibel met heterogene en gefragmenteerde datasets (zoals DAgger-data).

2. Advantage Reward Model (ARM)

Dit is een multimodaal model dat een MIMO (Multi-Input Multi-Output) Temporal Transformer architectuur gebruikt.

• Input: Het model verwerkt sequenties van visuele features (CLIP), robot-proprioceptieve toestanden en taakinstructies.
• Architectuur: In tegenstelling tot traditionele MISO-modellen (Multi-Input Single-Output) die context samenvoegen tot één scalar, voorspelt ARM een reeks relatieve voordeel-overgangen ($\Delta \hat{y}$) binnen een causaal venster.
• Twee Heads:
  • Multi-frame Advantage Classification: Classificeert de overgang als +1, -1 of 0.
  • Task Completion Prediction: Voorspelt de kans op succesvolle taakvoltooiing (gebruikmakend van Focal Loss om class imbalance aan te pakken).
• Global Progress Reconstruction: De discrete voorspellingen worden geaggregeerd en gecombineerd met het succes-signaal om een continue, dichte voortgangscurve te reconstrueren die zelfs niet-monotone gedragingen correct weergeeft.

3. Advantage-Weighted Behavior Cloning (AW-BC)

Om het beleid (policy) te optimaliseren, gebruiken de auteurs een reweighting-mechanisme:

• Length-Adaptive Gain: De voordelen worden genormaliseerd op basis van de episode-lengte om bias te voorkomen.
• Statistische Weging: Steekproeven met negatief voordeel (fouten) krijgen een lage gewicht (dicht bij 0), terwijl hoogwaardige hersteltrajecten een hoog gewicht krijgen.
• Doel: Het minimaliseren van de gewogen negative log-likelihood, wat effectief suboptimale voorbeelden filtert en het beleid richt op de meest succesvolle trajecten.

Belangrijkste Bijdragen

1. Tri-State Advantage Labeling: Een kosteneffectieve, taak-onafhankelijke methode die menselijke consistentie verbetert en de last voor annotatoren verlaagt.
2. Het ARM-model: Een multimodaal model dat relatieve voordeel-schattingen leert en deze omzet in globale, dichte voortgangssignalen, zelfs bij niet-monotone fouten.
3. AW-BC Algorithm: Een verbeterde versie van Reward-Aligned Behavior Cloning die gefragmenteerde data en fouthersteltrajecten effectief benut door adaptieve weging.

Resultaten

Het framework werd getest op een uitdagende, lange-termijn taak: het vouwen van een handdoek (8 stappen, inclusief het uit een rommelige stapel halen, vouwen en in een doos leggen).

• Succespercentage: Het AW-BC model met ARM bereikte een 99,4% succespercentage, vergeleken met 62,1% voor standaard Behavior Cloning en 78,5% voor de SARM-baselines.
• Efficiëntie: De doorvoer (throughput) steeg naar 32 episodes per uur (tegenover 18 voor de baseline).
• Labeling Efficiency: De automatische tri-state pipeline verwerkt >2.000 samples per 8 uur, wat een 20x versnelling is ten opzichte van menselijke baselines.
• Model Performance: ARM toonde een lagere Mean Squared Error (MSE) in voortgangsreconstructie (0,0014 vs 0,0059 bij SARM) en perfectie in het identificeren van geslaagde en gefaalde episodes (100% nauwkeurigheid).
• Inference Snelheid: De MIMO-architectuur is 13,7x sneller dan VLM-labeling en 3,6x sneller dan SARM.

Betekenis en Impact

Dit paper biedt een schaalbare oplossing voor het "Reward Engineering Bottleneck" in robotica. Door te verschuiven van absolute voortgang naar relatief voordeel, en door gebruik te maken van een intuïtieve labelstrategie, maakt ARM het mogelijk om hoogwaardige beleidsmodellen te trainen met bijna nul menselijke interventie tijdens de training. Het overwint de beperkingen van strikte monotonie-aannames, waardoor robots beter kunnen leren van imperfecte, menselijke demonstraties die fouten en herstelbewegingen bevatten. Dit is een belangrijke stap naar robuuste, autonome robotmanipulatie in ongestructureerde omgevingen.