Technische Samenvatting: RoboAlign-R1

1. Probleemstelling

Bestaande robotvideowereldmodellen worden voornamelijk getraind met behulp van low-level doelen zoals reconstructieverlies (bijv. MSE) en perceptuele gelijkenis (bijv. LPIPS, SSIM). De auteurs stellen dat deze doelen slecht zijn afgestemd op de capaciteiten die cruciaal zijn voor robotbesluitvorming, waaronder instructievolging, manipulatiesucces en fysische plausibiliteit. Bijgevolg kan een model visueel accurate frames genereren die taakincorrect of fysisch onwaarschijnlijk zijn.

Bovendien lijden deze modellen aan foutaccumulatie tijdens autoregressieve voorspelling op lange horizon. Kleine fouten per stap versterken elkaar in de loop van de tijd, wat de fysische realisme en taakconsistentie verslechtert. Hoewel recente inspanningen reinforcement learning (RL) na training hebben onderzocht, vertrouwen deze grotendeels op low-level beloningen (MSE, LPIPS) die hogere eigenschappen niet vastleggen. Sterkere multimodale evaluatoren bestaan, maar zijn vanwege hoge latentie en kosten computationally onhaalbaar voor online optimalisatie.

Het artikel identificeert twee kernuitdagingen:

1. Foutafwijking in Beloning: Low-level metrieken zijn schaalbaar maar zwak; sterke multimodale evaluatoren zijn te duur voor online RL.
2. Drift op Lange Horizon: Autoregressieve generatie cumuleert fouten, wat leidt tot verslechterende kwaliteit in de loop van de tijd.

2. Methodologie

De auteurs stellen RoboAlign-R1 voor, een unificerend raamwerk dat zowel afstemming tijdens training als stabiliteit tijdens inferentie aanpakt. Het raamwerk bestaat uit drie kerncomponenten:

A. RobotWorldBench en Multimodale Leraar-Judge

Om het gebrek aan hoogwaardige, taakgerichte supervisie aan te pakken, construeren de auteurs RobotWorldBench, een benchmark van 10.000 geannoteerde video-instructieparen, gecureerd uit vier robotdatasets (RT-1, BridgeData V2, CALVIN, LIBERO).

• Annotatie: Video's worden geannoteerd met ruwe scorescores over zes dimensies: Instructievolging, Manipulatiesucces, Actie-Resultaat Consistentie, Temporele Consistentie, Contactrealisme en Fysica-Aanpassing.
• Leraar-Judge (RoboAlign-Judge): Een multimodaal leraarmodel, fijngefineerd vanuit Qwen3-VL-8B-Thinking, wordt getraind op RobotWorldBench om fijnkorrelige, zes-dimensionale evaluaties van gegenereerde video's te leveren. Deze leraar dient als bron van waarheid voor beloningssignalen, maar is te traag voor direct online gebruik.

B. Gedistilleerd Student Beloningsmodel voor RL na Training

Om efficiënte RL na training mogelijk te maken, wordt de zware leraar-judge gedistilleerd tot een lichtgewicht student beloningsmodel ($g_\psi$).

• Architectuur: De student is een compact visueel-tekst encoder (gedeeltelijk niet-bevroren ViT-Base/16 + lichtgewicht tekst Transformer) gevolgd door een met sigmoid geactiveerde kop, met in totaal ongeveer 98 miljoen parameters.
• Distillatieproces: De student wordt via regressie getraind om de genormaliseerde zes-dimensionale scores van de leraar te voorspellen. Om beloningshacking door distributieveranderingen te voorkomen, passen de auteurs online iteratieve distillatie toe, waarbij de leraar periodiek nieuwe rollouts opnieuw scoort om de student tijdens het RL-proces bij te werken.
• RL-algoritme: De gedistilleerde student levert een samengestelde beloning voor Group Relative Policy Optimization (GRPO). De beloning is een gewogen som van de zes dimensies, waardoor het wereldmodel kan optimaliseren voor taaksucces en fysische plausibiliteit in plaats van alleen pixelsimilariteit.

C. Schuifend Venster Herencoderen (SWR)

Om foutaccumulatie op lange horizon te mitigeren zonder opnieuw te trainen, introduceren de auteurs Schuifend Venster Herencoderen (SWR), een trainingsvrije inferentiestrategie.

• Mechanisme: In plaats van een continue reeks tokens te genereren, wordt de rollout opgedeeld in segmenten van venstergrootte $W$. Aan het einde van elk segment wordt het laatste voorspelde frame gedecodeerd naar pixelruimte en herencodeerd als een vers contexttoken voor het volgende segment.
• Effect: Dit verfrist periodiek de generatiecontext, waardoor de keten van token-niveau drift wordt verbroken. Theoretische analyse suggereert dat dit de foutgroei begrenst tot $O(W)$ in plaats van $O(T)$, waarbij $T$ de totale horizon is.

3. Belangrijkste Bijdragen

1. Belonings-Afgestemd Trainingsraamwerk: RoboAlign-R1 vervangt zwakke low-level online beloningen door een gedistilleerde multimodale beloning die is afgestemd op taaksucces. Dit verbetert de geaggregeerde evaluatiescores binnen het domein met +10,1% ten opzichte van de sterkste baseline, terwijl de kosten voor online beloningsberekening met meer dan 10× worden verlaagd.
2. Benchmark en Schaalbare Beloningsdistillatie: De introductie van RobotWorldBench (10K paren) en een leraar-student distillatiepijplijn die een 8B multimodale judge comprimeert tot een 98M beloningsmodel dat in staat is om ongeveer 50 video's per seconde te verwerken.
3. Stabiele Inferentie op Lange Horizon: Het voorstellen van Schuifend Venster Herencoderen (SWR), wat de kwaliteit van voorspelling op lange horizon verbetert met minimale overhead (~1% extra latentie), wat resulteert in winsten in SSIM (+2,8%) en verminderingen in LPIPS (-9,8%).

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op de RT-1 en BridgeData V2 datasets.

• Algemene Prestatie: RoboAlign-R1 behaalde een geaggregeerde RoboAlign-Judge-score van 8,52, wat een prestatie is van +10,1% boven de sterkste baseline (iVideoGPT, 7,74). Het overtrof alle gesloten-bron commerciële modellen (bijv. Kling 2.6 met 6,84) ondanks minder parameters.
• Specifieke Winsten:
  • Manipulatieaccuraatheid: +7,5% verbetering.
  • Instructievolging: +4,6% verbetering.
  • Low-level Metrieken: LPIPS met 4,9% verlaagd op RT-1 en MSE met 8,7% op BridgeData V2 ten opzichte van de nummers twee.
• Validatie: De rangordeverbeteringen werden gevalideerd door:
  • Een externe VLM-gebaseerde cross-check (vergelijkend met 8 alternatieve judges, waaronder GPT-4.1).
  • Een kleinschalige geblindeerde menselijke studie, waarbij RoboAlign-R1 in ongeveer 60-66% van de paarwijze vergelijkingen de voorkeur kreeg boven baselines.
• SWR-efficiëntie: SWR met venstergrootte $W=6$ verbeterde de kwaliteit op lange horizon (SSIM +2,8%, LPIPS -9,8%) met slechts ~1,1% extra wandkloktijd. Het verlaagde ook het piekgebruik van het geheugen met 4,2% en beperkte de maximale sequentielengte, waardoor de lineaire latentiedrift die wordt gezien bij standaard autoregressieve decoding werd voorkomen.

5. Betekenis en Claims

Het artikel stelt dat belonings-afgestemde training na training en gestabiliseerde decoding op lange horizon essentieel zijn voor het verbeteren van robotvideowereldmodellen. Specifiek:

• Taakconsistentie & Fysisch Realisme: Het gaan voorbij pixel-niveau reconstructie naar belonings-afgestemde doelen verbetert significant het vermogen van het model om instructies te volgen en fysische plausibiliteit te handhaven (bijv. correct grijpen, contactrealisme).
• Schaalbaarheid van Multimodale Beloningen: De distillatiepijplijn toont aan dat hoogwaardige multimodale beoordeling praktisch kan worden gemaakt voor online RL door grote leraarmodellen te comprimeren tot efficiënte student beloningsmodellen.
• Inferentiestabiliteit: De SWR-strategie biedt een eenvoudige, trainingsvrije methode om de inherente drift van autoregressieve generatie te mitigeren, waardoor planning op lange horizon betrouwbaarder wordt.

De auteurs merken op dat hun huidige evaluatie beperkt is tot single-arm tafelbladmanipulatie en dat verbetering van downstream beleidsvoering nog moet worden gevalideerd. Zij identificeren uitbreiding naar diverse lichamen en het meten van verbeteringen op bestuursniveau als veelbelovende richtingen voor toekomstig werk.