Technische Samenvatting: ROBOMETER

Probleemstelling

Huidige robotische beloningsmodellen voor algemene doeleinden staan voor aanzienlijke uitdagingen op het gebied van schaalbaarheid en generalisatie. Bestaande benaderingen vertrouwen uitsluitend op absolute voortgangslabels die zijn afgeleid van expertdemonstraties (bijvoorbeeld lineaire interpolatie van voortgang van 0 tot 1). Hoewel dit effectief is voor geslaagde trajecten, faalt dit paradigma om te schalen naar grote, heterogene datasets om twee hoofdredenen:

1. Ambiguïteit in gefaalde trajecten: Suboptimale of gefaalde pogingen, die overvloedig aanwezig zijn in dataverzameling uit de echte wereld, missen goed gedefinieerde absolute voortgangslabels. Voortgang fluctueert of gaat in deze gevallen vaak terug, wat puntsgewijze supervisie kostbaar en slecht gedefinieerd maakt.
2. Beperkte generalisatie: Modellen die uitsluitend zijn getraind op traject-lokale voortgangssupervisie, worstelen met generalisatie over verschillende robot-embodiments, scènes en variërende trajectkwaliteiten. Ze falen vaak om te onderscheiden tussen succesvol en suboptimaal gedrag wanneer absolute scores ambigu zijn.

Het artikel stelt dat menselijke cognitie vertrouwt op comparatieve oordelen in plaats van geïsoleerde absolute schalen om gekalibreerde voortgang te internaliseren. Bijgevolg vereisen robotische beloningsmodellen een supervisiessignaal dat gebruikmaakt van relatieve ordening over diverse trajecten om robuuste, generaliseerbare beloningsfuncties te leren.

Methodologie

1. Het ROBOMETER-kader

ROBOMETER is een schaalbaar kader voor beloningsmodellering dat intra-traject voortgangssupervisie combineert met inter-traject preferentiesupervisie. Het maakt gebruik van een trainingsrecept met een dubbel doel:

• Frame-niveau voortgangsverlies: Verankert de beloningsgrootte aan expertdata door dichte, per-frame voortgang te voorspellen (gediscretiseerd in 10 bakken over [0, 1]) en binaire succeslabels. Dit zorgt ervoor dat het model de temporele structuur van taakvoltooiing leert.
• Traject-vergelijkingspreferentieverlies: Legt globale ordeningsrestricties op door te voorspellen welk van twee trajecten een taalopdracht beter vervult. Dit stelt het model in staat om te leren van relatieve vergelijkingen zonder absolute scores voor gefaalde trajecten te vereisen.

2. Architectuur

ROBOMETER is gebouwd op een voorgetrainde Vision-Language Model (VLM)-backbone, specifiek Qwen3-VL-4B-Instruct.

• Tokenisatie: Het model verwerkt verweven tekst- en visuele tokens. Om dichte beloningsschatting mogelijk te maken zonder de voorgetrainde representaties te verstoren, voegt het leerbare voortgangstokens (<|prog token|>) in na elk frame van het eerste traject en een enkele preferentietoken (<|pref token|>) aan het einde van de prompt.
• Causale masking: De architectuur gebruikt causale masking om ervoor te zorgen dat voortgangstokens alleen kijken naar het huidige en vorige frames van het eerste traject (wat online inferentie mogelijk maakt), terwijl de preferentietoken naar beide trajecten kijkt om een relatief oordeel te vellen.
• Koppen: Lichtgewicht MLP-koppen zijn gekoppeld aan de verborgen staten van de voortgangstokens (voor voortgangs- en succesvoorspelling) en de preferentietoken (voor binaire preferentieclassificatie).

3. De RBM-1M-dataset

Om deze dubbele trainingsdoelstelling op schaal te ondersteunen, hebben de auteurs RBM-1M samengesteld, een dataset van meer dan 1 miljoen trajecten die zich uitstrekken over 21 robot-embodiments (inclusief enkelarmige, bimanuele en mobiele manipulatoren) en diverse scènes.

• Samenstelling: De dataset aggregeert expertdemonstraties (bijvoorbeeld Open-X, AGIBotWorld), menselijke video's (Epic-Kitchens), simulatiegegevens (LIBERO) en cruciaal, ongelabelde gefaalde en suboptimale trajecten uit geautomatiseerde rollouts en datasets voor falendetectie.
• Augmentatiestrategieën: Om preferentiepares te construeren zonder extra menselijke annotatie, hanteren de auteurs drie strategieën:
  1. Voortgangsgebaseerde vergelijkingen: Het contrasteren van expertdemonstraties tegen ongelabelde failures of suboptimale trajecten.
  2. Opdracht-negatieven: Het koppelen van trajecten aan verschillende taalopdrachten om ervoor te zorgen dat beloningen geworteld zijn in de opdracht.
  3. Video-rewind: Het genereren van synthetische failures door segmenten van geslaagde trajecten om te draaien om het "ongedaan maken" van voortgang te modelleren.

Belangrijkste Bijdragen

1. Trainingsrecept met dubbel doel: Het artikel introduceert een methode om beloningsmodellen te trainen met zowel absolute voortgangslabels (voor succesvolle data) als paarsgewijze preferentielabels (voor alle data, inclusief failures). Dit maakt het effectief benutten van eerder onbruikbare suboptimale data mogelijk.
2. RBM-1M-dataset: De release van een grootschalige, multi-embodiment dataset die uitgebreide failure-data bevat, specifiek ontworpen om globaal consistente preferentierelaties te trainen.
3. Schaalbare generalisatie: Het kader toont aan dat preferentiesupervisie fungeert als een regularisator, wat leidt tot een meer gestructureerde interne beloningsrepresentatie die het vermogen van het model verbetert om succesvolle van suboptimale trajecten te onderscheiden, zelfs wanneer getraind op beperkte expertdata.

Experimentele Resultaten

Beloningsevaluatie

ROBOMETER werd geëvalueerd op RBM-EVAL-OOD, een set van 976 trajecten van 3 instellingen en 6 embodiments (waarvan 3 onzichtbaar waren tijdens training).

• Beloningsalignatie: ROBOMETER behaalde een Value Order Correlation (VOC) van 0,94 op OOD-data, wat beter presteerde dan state-of-the-art baselines (bijvoorbeeld RoboReward-8B op 0,88, VLAC-8B op 0,38).
• Trajectranking: Bij het onderscheiden van geslaagde van gefaalde trajecten behaalde ROBOMETER een Kendall-$\tau_a$ van 0,64 op OOD-data, wat significant beter presteerde dan RoboReward-8B (0,47) en ReWiND (0,01).
• Faledetectie: In zero-shot faaldetectietaken behaalde ROBOMETER de hoogste gemiddelde F1-score (0,81), waarbij het effectief een balans hield tussen true positive- en true negative-rates, terwijl baselines zoals VLAC leden onder hoge false positives en token-onzekerheidsbaselines leden onder hoge false negatives.

Downstream Policy Learning

Het artikel toont aan dat ROBOMETER's dichte, goed gekalibreerde beloningen het downstream robotleren verbeteren in vier scenario's:

1. Automatische Online RL: Het gebruik van DSRL met ROBOMETER verbeterde de success rates van 20% naar 85% op een eenstaps-taak en van 20% naar 70% op een meerstaps-taak, wat een prestatie is van 2,5$\times$ beter dan RoboReward.
2. Offline RL: In settings met gemengde expertise (expert + ruisdata) stelde ROBOMETER IQL-beleid in staat om een verbetering van 2,4$\times$ in success rates te behalen ten opzichte van de beste baseline.
3. Datafiltering & Retrieval: Wanneer gebruikt om taakrelevante subtrajecten op te halen voor imitatielearning, leverde ROBOMETER-gefilterde data een 4,5$\times$ hogere success rate op vergeleken met baselines zoals STRAP en SigLIP.
4. Model-based RL: Het integreren van ROBOMETER in DreamZero verbeterde de success rates van 20% naar 70% in een rommelige omgeving.

Ablatiestudies

• Preferentiesupervisie: Het toevoegen van preferentieverlies aan training met alleen voortgang verbeterde consistent de ranking-metrics (Kendall-$\tau$) en de scheiding tussen succes en failure.
• Failure-data: Het opnemen van ongelabelde failure-trajecten voor preferentietraining leverde de grootste winst op in beloningsdiscriminatie.
• Backbone: Het vervangen van de voorgetrainde VLM-backbone door een kleinere, niet-voorgetrainde architectuur (ReWiND-variant) resulteerde in ernstige prestatiedegradatie, wat de noodzaak bevestigt van grootschalige multimodale voortraining.

Betekenis en Claims

Het artikel beweert dat ROBOMETER een verschuiving vertegenwoordigt van absolute voortgangssupervisie naar comparatieve preferentiesupervisie als mechanisme voor het schalen van beloningslering. Door gebruik te maken van relatieve vergelijkingen, kan het kader effectief gebruikmaken van de enorme hoeveelheden suboptimale en gefaalde data die alomtegenwoordig zijn in robotica uit de echte wereld, maar die eerder werden weggegooid.

De auteurs benadrukken dat deze benadering mogelijk maakt:

• Schaalbaarheid: Leren van datasets met miljoenen trajecten zonder de noodzaak van dichte, absolute annotaties op elk frame.
• Generalisatie: Robuuste prestaties over onzichtbare robot-embodiments, scènes en cameravertrekpunten.
• Praktisch nut: Directe toepasbaarheid in online RL, offline RL, data-curatie voor imitatielearning en geautomatiseerde faaldetectie.

Het werk concludeert dat, hoewel huidige modellen worstelen met de ambiguïteit van failures, een dubbel-objectief aanpak die is verankerd in expertvoortgang maar wordt geleid door globale preferenties, beloningsmodellen in staat stelt gekalibreerde schalen van taakvoortgang te internaliseren, waardoor robotleren in complexe, real-world omgevingen wordt versneld.