Technische Samenvatting: Goede Embodied Reward Modellen Hebben "Bad Behavior" Data Nodig

Probleemstelling

Het paper identificeert een kritieke kloof in de ontwikkeling van embodied reward modellen (RM's) voor robotica. Hoewel reward modellen centraal staan in de levenscyclus van foundation models — ze maken reinforcement learning (RL) post-training, test-time compute en grootschalige evaluatie mogelijk — zijn huidige embodied RM's systematisch over-optimistisch.

In tegenstelling tot niet-embodied domeinen (bijv. LLM's) waar "slechte" data (toxische taal, logische drogredenen) overvloedig en goedkoop te genereren is, wordt de verzameling van embodied data beperkt door de wandkloktijd en de veiligheid van hardware. Bijgevolg zijn bestaande robotica-datasets en reward modellen voornamelijk getraind op succesvolle gedragingen (expert demonstraties), waarbij mislukkingen, gevaarlijke interacties en suboptimale executies worden weggefilterd of achtergehouden. Deze dataschaarste leidt tot reward modellen die gedragingen niet kunnen bestraffen die mensen zouden afwijzen, zoals:

• Onveilige interacties (bijv. botsingen).
• Slechte uitvoering (bijv. morsen, laten vallen).
• "Shortcut"-strategieën die oppervlakkig voldoen aan een taak terwijl ze impliciete restricties schenden.

De auteurs stellen dat zonder blootstelling aan "slechte" robotdata, reward modellen niet goed gekalibreerd kunnen worden, wat een groeiende kloof creëert tussen de capaciteit van het model en het vermogen om complexe fysieke gedragingen te evalueren.

Methodologie

Evaluatie van State-of-the-Art (SOTA) Modellen

De auteurs evalueerden drie verschillende families van open-source embodied reward modellen met behulp van de RoboArena benchmark, die echte robot-rollouts en menselijke pairwise voorkeursoordelen biedt over zeven categorieën taken van toenemende complexiteit (van Pick/Place tot Tool Use):

1. Preference-based (ReWind): Getraind via synthetische negatieven gegenereerd door expert trajecten te verstoren.
2. Zero-shot VLM (GVL): Maakt gebruik van Vision-Language Models om frames te redeneren en genereert dense rewards zonder fine-tuning.
3. Fine-tuned VLM (Dopamine): Fine-tunt een vooraf getrainde VLM op heuristisch geconstrueerde voortgangslabels van de taak.

Evaluatieprotocol:
In plaats van te vertrouwen op Value-Order Correlation (VOC), die alleen temporele progressie meet, gebruikten de auteurs menselijke pairwise voorkeursrangschikkingen als de grondwaarheid (ground truth). Ze maten de voorkeursvolgorde nauwkeurigheid ($A$), waarbij de fractie van menselijk geprefereerde pairwise vergelijkingen werd berekend die correct door het reward model werden gerangschikt.

Interventie: Injectie van "Bad" Data

Om de hypothese te testen dat "slechte" data de kalibratie verbetert, experimenteerden de auteurs met in-context learning met behulp van het GVL-model. Ze injecteerden progressief negatieve voorbeelden in de prompt van het model:

1. Alleen tekst: Beknopte tekstuele samenvattingen van foutmodi, gedestilleerd uit menselijke feedback.
2. Tekst + Video: Het koppelen van foutbeschrijvingen aan daadwerkelijke robot-videosnippets van de fout.
3. Tekst + Video + Dense Rewards: Het toevoegen van dense, per tijdstap reward-labels afgeleid via preference-guided self-distillation (het selecteren van reward-sequenties die overeenkomen met menselijke A/B voorkeuren).

Belangrijkste Resultaten

1. Systematische Over-beloning van Mislukkingen

Huidige SOTA-modellen presteren redelijk goed op eenvoudige taken (Pick/Place, nauwkeurigheid ~0.72–0.77), maar verslechteren aanzienlijk naarmate de taakcomplexiteit toeneemt.

• Tool Use: De nauwkeurigheid daalt naar 0.52–0.62, net boven willekeurig gokken.
• Kwalitatieve Mislukking: In visuele voorbeelden kregen modellen hoge rewards voor trajecten waarbij de robot tegen objecten botste of zaken morsde, mits de robot "progressie" maakte richting het doel. De modellen slaagden er niet in om onderscheid te maken tussen succesvolle voltooiing en onveilige of kwalitatief lage executie.

2. Impact van "Bad" Data Injectie

Het injecteren van negatieve data verbeterde de alignment van de reward modellen met menselijke voorkeuren aanzienlijk:

• Alleen tekst: Bood verwaarloosbare verbetering, wat suggereert dat VLMs moeite hebben om abstracte tekstuele foutbeschrijvingen te gronden in specifieke fysieke gedragingen.
• Tekst + Video: Resulteerde in een ~8% verbetering in nauwkeurigheid op eenvoudigere taken. Visuele grounding hielp het model om "slechte" gedragingen (bijv. een mislukte greep) te disambigueren.
• Tekst + Video + Dense Rewards: Leverde de grootste winsten op, met name bij complexe taken zoals Tool Use en Pour Liquid, waarbij een ~10% verbetering in nauwkeurigheid werd bereikt. Dense reward-traces boden een concreet kalibratiesignaal voor genuanceerde restricties (bijv. veiligheidschendingen die halverwege het traject plaatsvinden) die tekst of enkelvoudige video-frames niet konden vangen.

Belangrijkste Bijdragen

1. Empirische Demonstratie van Data Bias: Het paper levert experimenteel bewijs dat huidige embodied reward modellen systematisch over-optimistisch zijn door een gebrek aan negatieve trainingsdata, waardoor ze niet in staat zijn onveilige of suboptimale gedragingen te bestraffen die mensen zouden afwijzen.
2. Kwantificering van de Kloof: Via de RoboArena benchmark kwantificeren de auteurs de degradatie van de reward model nauwkeurigheid naarmate de taakcomplexiteit toeneemt, waarbij ze laten zien dat modellen de grens van willekeurig gokken benaderen bij genuanceerde taken.
3. Validatie van de Nut van "Bad" Data: De studie toont aan dat zelfs een bescheiden blootstelling aan echte robot-foutdata (specifiek video en dense reward-labels) de kalibratie van het reward model aanzienlijk verbetert en valse positieven vermindert.
4. Oproep tot Actie voor de Community: De auteurs stellen vier specifieke acties voor om de datakloof aan te pakken:
   • Curated failure datasets vrijgeven: Industrie en de academische wereld moeten stoppen met het wegfilteren van negatieve data en grootschalige datasets van robot-fouten vrijgeven.
   • Synthetische Generatie: Ontwikkel hoogwaardige simulators en video-generatiemodellen om diverse, interactieve fout-trajecten te creëren.
   • Gedecentraliseerde Evaluatie: Schaal fysieke evaluatiesystemen (zoals RoboArena) met gestandaardiseerde protocollen om diverse menselijke feedback te verzamelen.
   • Nieuwe Benchmarks: Creëer benchmarks voor reward modellen die steunen op dense, door mensen geannoteerde labels in plaats van sparse of heuristische proxies.

Betekenis en Claims

Het paper betoogt dat de weg naar betrouwbare embodied AI niet alleen geblokkeerd wordt door modelarchitectuur, maar door data-curatiepraktijken. De auteurs beweren dat de afhankelijkheid van de community van "expert-only" datasets een blinde vlek heeft gecreëerd voor foutmodi.

De betekenis van dit werk ligt in de stelling dat kalibratie contrast vereist. Net zoals LLM's diverse negatieve voorbeelden nodig hebben om veiligheid en alignment te leren, hebben embodied reward modellen "slechte" robotdata nodig om de fijnmazige fysieke consequenties van falen te leren. Het paper stelt dat zonder een bewuste verschuiving naar het verzamelen en benutten van gevaarlijke, gefaalde en ruisige robotdata, de inzet van foundation models in fysieke omgevingen vatbaar zal blijven voor onveilige en suboptimale gedragingen die reward modellen niet detecteren.