Technische Samenvatting: Beloning als een Agent voor Belichaamde Wereldmodellen

Probleemstelling

Hoewel Reinforcement Learning (RL) succesvol is geweest bij het verfijnen van Large Language Models (LLMs) en Vision-Language Models (VLMs) met behulp van betrouwbare beloningssignalen (bijv. code-executie), blijft de toepassing ervan op Belichaamde Wereldmodellen beperkt. Bestaande methoden vertrouwen op conservatieve rollout-strategieën die dicht bij de trainingsdistributie blijven om beloningshacking te voorkomen.

In belichaamde taken zijn beloningen vaak gebaseerd op proxies en subjectief. Zonder robuuste verificatie leidt uitgebreide exploratie tot beleid dat de gebreken in de beloningsfunctie exploiteert (bijv. visuele occlusie, bewegingsdegradatie of fysieke ongeldigheid) in plaats van werkelijke verbeteringen in fysieke realiteit of taakvoltooiing te bereiken. De kernbottleneck die is geïdentificeerd, is niet de exploratie zelf, maar het gebrek aan betrouwbare verificatiestrategieën om bredere exploratie onder distributieverschuivingen te ondersteunen.

Methodologie

Het artikel stelt een verenigd framework voor dat een robuust beloningssysteem combineert met een dynamica-bewuste exploratiestrategie om schaalbare RL voor wereldmodellen mogelijk te maken.

1. Beloning als een Agent

Om beloningshacking te mitigeren, herontwerpen de auteurs de beloningsfunctie van een statische scalaire naar een agentisch evaluatieframework. Dit systeem behandelt evaluatie als een meerfasige taak uitgevoerd door een agent (gebouwd op frontier-schaal VLMs) in plaats van te vertrouwen op oppervlakkige computer vision-detectoren of domeinspecifieke VLMs.

Het framework werkt via vier kernmodules:

• Planning: Een globale beoordeling van de kwaliteit van de rollout die sub-beloningsprioriteiten dynamisch initialiseert voordat gedetailleerde scoring plaatsvindt.
• Curriculum-gebaseerde Beloning: Een hiërarchische evaluatievolgorde (Visuele Kwaliteit $\to$ Instructie-opvolging $\to$ Taakvoltooiing $\to$ Fysieke Conformiteit). Lagere dimensies moeten aan drempelwaarden voldoen voordat hogere dimensies worden beoordeeld, wat voorkomt dat het model geavanceerde beloningen optimaliseert terwijl het faalt op basisieve kwaliteitscontroles.
• Stemmechanisme (Voting): Complexe dimensies (bijv. fysieke conformiteit) worden gedecomposeerd in fijnmazige componenten (interactierealisme, deformatie, penetratie) die via stemming worden geëvalueerd om gelokaliseerde fouten te bestraffen.
• Reflectie: Een betrouwbaarheidslaag waarbij de agent trajecten opnieuw evalueert op basis van eerdere beoordelingen om consistentie te controleren en gebrekkige conclusies te herzien.

Het systeem evalueert vier kerndimensies: Visuele Kwaliteit, Instructie-opvolging, Fysieke Conformiteit en Taakvoltooiing.

2. Dynamica-bewuste Rollout Diversificatie (DynDiff-GRPO)

Om de onderexploratie van dynamische ruimtes in conservatieve RL aan te pakken, introduceren de auteurs DynDiff-GRPO. In tegen tegenstelling tot standaard Group Relative Policy Optimization (GRPO, die uniform stochasticiteit onderdrukt), heralloceert deze methode selectief stochasticiteit naar dynamisch saillante regio's terwijl de scèneconsistentie behouden blijft.

• Mechanisme: De methode schat dynamica-gevoelige residuen uit de temporele variaties van voorspelde schone monsters om een dynamische intensiteitskaart ($D$) en een ijle (sparse) dynamische-regio prior ($B$) te genereren.
• Adaptieve Ruis: Deze kaarten worden gecombineerd om een rollout-masker ($M_t$) te creëren dat de ruisschaal ($\sigma_{noise}$) moduleert. Gebieden met hoge dynamiek ontvangen sterkere exploratie, terwijl gebieden met lage dynamiek stabiliteit behouden.
• Optimalisatie: De aanpak maakt gebruik van een volledige feature-bewuste Gaussian likelihood-schatting in plaats van te reduceren tot een scalaire variantie. Het gebruikt een referentievrije periodieke KL-regularisatie (met behulp van gecachte distributieparameters uit de rollout-buffer) om policy-drift te beperken zonder de geheugenoverhead van een bevroren referentiemodel.

Belangrijkste Bijdragen

1. Reward-as-an-Agent Framework: Een gestructureerd, meerfasig evaluatiesysteem dat statische metrieken vervangt door adaptieve, agent-gebaseerde verificatie. Het mitigeert beloningshacking effectief door proxy-objectieven af te stemmen op ware belichaamde doelen via planning, curriculum, stemmen en reflectie.
2. Dynamics-Aware Rollout (DynDiff-GRPO): Een stochastische rollout-strategie die de trajectdiversiteit in dynamische regio's vergroot zonder de structurele integriteit of visuele getrouwheid op te offeren, waarmee het verder gaat dan conservatieve ODE-achtige trajecten.
3. Bewijs van Schalbare RL: De unificatie van deze componenten toont aan dat RL-schaling in wereldmodellen voorbij conservatieve regimes kan gaan, wat leidt tot significante nauwkeurigheidswinsten wanneer dit gegrond is in robuuste verificatie.

Experimentele Resultaten

De methode werd geëvalueerd op de PAI-Bench robotica-subset met behulp van twee basismodellen: Cosmos-Predict2.5 (2B) en Kairos-3.0-Robot (4B).

• Prestatiewinst: DynDiff-GRPO behaalde significante verbeteringen in Domain Scores (redenering en actie-afstemming) en Overall Scores.
  • Voor Cosmos-Predict2.5 verbeterde de Overall Score met +1.33 (van 79.42 naar 80.75).
  • Voor Kairos-3.0-Robot verbeterde de Overall Score met +1.53 (van 80.35 naar 81.88), met een opmerkelijke winst van +3.08 in de Domain Score.
• Nauwkeurigheid van het Beloningssysteem: Geëvalueerd op de AgiBotWorld-Beta dataset, bereikte het "Reward as an Agent"-systeem een algehele afstemming van 91.0% met menselijke oordelen. De planning-nauwkeurigheid was het hoogst met 98%, terwijl Fysieke Conformiteit (de moeilijkste dimensie) 82% bereikte.
• Ablatie-studies:
  • Rollout Diversiteit: DynDiff-GRPO behield een hogere trajectdiversiteit (gemeten via DINOv3 cosinus-afstand) vergeleken met conservatieve baselines zoals CPS.
  • Configuratie: De studie vond dat distributieruimte KL-regularisatie (over de log-prob ruimte) en verminderde advantage clipping (2.5 vs. 5) de stabiliteit verbeterden. Classifier-Free Guidance (CFG) verbeterde de prestaties, maar tegen een computationele kost; het uitschakelen van CFG bij hoge resoluties behield concurrerende prestaties terwijl de doorvoer verbeterde.

Betekenis en Claims

Het artikel claimt dat de fundamentele beperking bij het toepassen van RL op wereldmodellen niet het exploratiemechanisme is, maar de verificatiekloof. Door een robuust, agent-gebaseerd beloningssysteem te introduceren dat gedrag kan verifiëren onder distributieverschuivingen, tonen de auteurs aan dat bredere exploratie haalbaar en noodzakelijk is voor de vooruitgang van belichaamde wereldmodellen.

Dit werk stelt vast dat exploratie en verificatie in tandem moeten schalen. Wanneer exploratie wordt verankerd door betrouwbare, meerdimensionale verificatie (Reward as an Agent) en wordt gestuurd door dynamica-bewuste sampling (DynDiff-GRPO), kan RL wereldmodellen succesvol optimaliseren voor complexe fysieke dynamica, waarbij het verder gaat dan de smalle, door beloning bevoordeelde trajecten van conservatieve regimes. Dit biedt een pad naar het succes van grootschalige optimalisatie zoals gezien bij foundation models, nu toegepast op het domein van belichaamde AI.