Technische Samenvatting: DenseReward

Probleemstelling

Reinforcement learning (RL) biedt een pad voor robotica-policies om de prestatiebeperkingen van imitation learning te overstijgen door middel van trial-and-error interactie. De praktische adoptie van RL in robotische manipulatie wordt echter gehinderd door het gebrek aan betrouwbare vision-language beloningsmodellen die dichte en informatieve feedback leveren. Huidige benaderingen kampen met twee primaire uitdagingen:

1. Data-schaarsheid voor faalmodi: Het is moeilijk om op schaal diverse faaldata te verkrijgen. Menselijke teleoperatie is arbeidsintensief, terwijl bestaande data-augmentatiemethoden (bijv. het afkorten van succesvolle episodes of het herlabelen van suboptimale rollouts) "pseudo-fouten" genereren die de complexe fysieke dynamiek van echte fouten, zoals botsingen, gemiste grijpbewegingen, vallende objecten en herstelgedrag, niet goed vastleggen.
2. Sparse Reward-signalen: De meeste bestaande beloningsmodellen voorspellen sparse, binaire of traject-niveau labels (succes/falen alleen aan het einde van een episode). Dit gebrek aan per-timestep feedback creëert ernstige problemen bij de credit assignment, wat beleidsoptimalisatie inefficiënt maakt en het moeilijk maakt om te schalen voor taken met een lange horizon.

Methodologie

De auteurs introduceren DenseReward, een dicht vision-language beloningsmodel dat ontworpen is om fijnmazige, per-timestep beloningsscores te voorspellen op basis van visuele observaties en taalinstructies. De methodologie bestaat uit drie kerncomponenten:

1. Geautomatiseerde Data-generatie Pipeline

Om de schaarste aan diverse faaldata zonder menselijke labeling aan te pakken, hebben de auteurs een geautomatiseerde pipeline ontwikkeld die fysiek realistische trajecten in simulatie synthetiseert.

• Fase-decompositie: Manipulatietaken worden gedecomponeerd in vijf canonieke fasen: Reach (Bereiken), Grasp (Grijpen), Lift (Lichten), Move (Bewegen) en Place (Plaatsen).
• Gerichte Perturbaties: Door specifieke perturbaties toe te passen tijdens verschillende executiefases, induceert het systeem zes verschillende trajecttypen:
  • Success (Succes): Ongeperturbte uitvoering.
  • Collision (Botsing): Beweging gepland zonder botsingsvermijding, wat leidt tot contact met de omgeving.
  • Miss (Missen): De doelpose voor het grijpen is verschoven, waardoor de grijper in de lucht sluit.
  • Fall (Vallen): Willekeurige rotatie-perturbaties tijdens de "Move"-fase zorgen ervoor dat het object valt.
  • Smooth (Glad): Gaussische gewrichtsruis wordt geïnjecteerd om suboptimale, trillende bewegingen te creëren.
  • Recover (Herstellen): De robot ervaart een botsing maar plant succesvol opnieuw en voltooit de taak.
• Dichte Labeling: In plaats van binaire labels wijst het systeem per-timestep beloningsscores ($r_t \in [0, 1]$ toe die de voortgang van de taak reflecteren. De beloningscurve stijgt met de voortgang, piekt bij succesvolle mijlpalen en daalt of zakt bij faalgebeurtenissen (bijv. botsingen of vallen), waardoor gedeeltelijke voltooiing en hersteldynamiek worden vastgelegd.

2. Dataset Constructie

Met behulp van deze pipeline hebben de auteurs een dataset samengesteld van 27.000 episodes die diverse scènes en objecten beslaan van DROID (echt), RoboSuite, Isaac Sim en LIBERO. De dataset bevat zowel succesvolle als falende trajecten met dichte frame-level beloningslabels en faalmodus-annotaties.

3. DenseReward Model Training

Het model is gebouwd op Qwen3-VL-4B-Instruct, een vision-language model. Het is gefinetuned om een taalinstructie, de huidige visuele observatie en historische frames als input te nemen, en een scalaire beloningsscore uit te voeren die de voortgang van de taak op het huidige timestep schat. Het model wordt getraind met dichte frame-level supervisie, waarbij drie decimalen worden behouden om fijnmazige verschillen in voortgang te leren (bijv. dichter bij een doel bewegen versus herstellen van een val).

Belangrijkste Bijdragen

1. Geautomatiseerde Faalsynthese: Een innovatieve pipeline die fysiek realistische faaltrajecten (botsingen, missers, vallen, herstel) genereert met dichte beloningslabels, waardoor handmatige annotatie overbodig wordt en de beperkingen van pseudo-fout-data worden overwonnen.
2. DenseReward Dataset en Model: De release van een dataset van 27k episodes en een getraind vision-language beloningsmodel dat in staat is executiestaten (succes of specifieke faalmodi) te identificeren en fijnmazige taakvoortgang te schatten.
3. Downstream Effectiviteit: Demonstratie dat het model algemene purpose VLMs en bestaande robotische beloningsmodellen aanzienlijk overtreft in dichte beloningsvoorspelling en effectieve begeleiding biedt voor downstream Model Predictive Control (MPC) en Reinforcement Learning (RL).

Experimentele Resultaten

Beloningsvoorspellingsnauwkeurigheid

In kwantitatieve evaluaties over DROID, Isaac Sim, RoboSuite en LIBERO behaalde DenseReward een gemiddelde absolute fout (MAE) van 0.081, waarmee het sterk presterende baselines zoals Qwen3-VL-8B (0.293) en RoboReward-8B (0.230) aanzienlijk overtrof. Kwalitatieve analyse toonde aan dat DenseReward beloningscurves produceert die nauwer aansluiten bij de werkelijke taakvoortgang vergeleken met de ruizige of binaire voorspellingen van baselines.

Model Predictive Control (MPC)

In een MPC-setting waarbij kandidaat-acties worden gescoord om de beste uitvoering te selecteren, verminderde de door DenseReward gestuurde controle de gemiddelde minimale afstand tussen het object en de grijper tot 0.229 over drie manipulatietaken (blikje, beker, citroen). Dit presteerde beter dan de RoboReward en VLAC baselines, wat duidt op superieure actieselectie-capaciteiten.

Reinforcement Learning (RL) Fine-tuning

• Simulatie (LIBERO): Wanneer gebruikt om dichte tussenliggende beloningen te bieden voor de PPO fine-tuning van een $\pi_0$ policy, verbeterde DenseReward de succespercentages op de LIBERO-Spatial en LIBERO-10 suites vergeleken met sparse-reward baselines, terwijl het de prestaties matchte op LIBERO-Object.
• Real-World (DROID Platform): Bij het gebruik van DSRL om een bevroren $\pi_0$ policy aan te passen op een Franka arm, verhoogde de DenseReward-begeleiding de succespercentages van 40% naar 80% voor "stack the cups" en van 30% naar 70% voor "put ball in basket", wat de effectiviteit aantoont met beperkte real-world rollout budgetten.

Ablatie-studies

• Faaldata: Het verwijderen van faaltrajecten uit de training verhoogde de MAE van 0.0809 naar 0.1312, wat bevestigt dat faaldata cruciaal is voor het leren van fijnmazige beloningssignalen.
• Historische Context: Het gebruik van twee historische frames bood de optimale trade-off (MAE 0.081), terwijl het gebruik van drie frames de prestaties licht verslechterde, wat suggereert dat er een afnemend rendement is bij excessieve historie.

Betekenis en Claims

Het paper claimt dat DenseReward de kritieke knelpunten bij het schalen van reinforcement learning voor robotische manipulatie aanpakt door een praktisch, faalbewust en dicht beloningsmodelleringframework te bieden. Door automatisch diverse faalmodi te synthetiseren, stellen de auteurs een training van beloningsmodellen mogelijk die niet alleen succes begrijpen, maar ook de nuances van gedeeltelijke voortgang en herstel. De resultaten suggereren dat faalbewuste dichte beloningsmodellering een levensvatbaar pad is naar schaalbare RL, en een significante verbetering biedt ten opzien van sparse binaire beloningen en general-purpose VLMs voor het begeleiden van beleidsoptimalisatie in zowel gesimuleerde als real-world omgevingen. De auteurs stellen de dataset, modellen en evaluatiesuite beschikbaar om verdere research in dit domein te ondersteunen.