Technische Samenvatting: NoiseGate – Het Leren van Per-Latent Timestep-schema's als Informatieafsluiting in Wereldactie-modellen

1. Probleemformulering

Wereldactie-modellen (WAM's) vertegenwoordigen een paradigma waarbij robotactiegeneratie is gekoppeld aan toekomstige-observatiemodeling, waarbij gelijktijdig een blok van toekomstige latente videoframes ($v$) en een actieblok ($a$) worden gegenereerd op basis van een huidige observatie ($v_0$) en een taal-instructie ($l$). Prominente implementaties, zoals Motus en Fast-WAM, maken gebruik van een gezamenlijke video-actie-ruisverwijderingsruggengraat gebaseerd op een Mixture-of-Transformers (MoT)-architectuur. In deze systemen wisselen videotokens en actietokens via gedeelde zelf-attentielagen uit.

Een kritieke beperking in bestaande WAM's is de behandeling van de diffusietimestep. Hoewel de architectuur theoretisch toelaat dat elke voorspelde latente frame een onafhankelijke timestep ($t_f$) bezit, brengen huidige systemen deze vrijheidsgraad samen tot één gedeelde scalair timestep ($t$) voor alle voorspelde frames bij elke stap van ruisverwijdering. Onder de interpretatie "ruis als maskering" van Diffusion Forcing legt dit gedeelde schema een ongerechtvaardigde prior op: het veronderstelt dat elke voorspelde latente frame even betrouwbaar en "zichtbaar" is voor het actiegeneratieproces op elk gegeven moment.

De invloed van toekomstige frames op actievoorspelling is echter inherent heterogeen en taakafhankelijk. Bijvoorbeeld, tijdens kritieke gebeurtenissen zoals grijpen, kan een model baat hebben bij het houden van de corresponderende verbeelde latents "vager" (hogere ruis) om overmatige afhankelijkheid van onzekere voorspellingen te vermijden. Met de hand gemaakte schema's (bijv. monotoon ruisverval) vervangen slechts één vaste prior door een andere, en falen ze om zich aan te passen aan de specifieke informatiedichtheid die verschillende taken vereisen.

2. Methodologie: NoiseGate

De auteurs stellen NoiseGate voor, een kader dat het per-latent timestep-schema herformuleert als een leerbare informatieafsluitingsbeleid. In plaats van een vast schema, leert NoiseGate om de betrouwbaarheid van de Key/Value-bijdrage van elke latente frame aan de actietokens te moduleren door het ruisniveau dynamisch aan te passen.

De methode bestaat uit drie gekoppelde componenten:

A. Gezamenlijke Video-actie MoT-ruggengraat

Het systeem maakt gebruik van een Mixture-of-Transformers-ruggengraat die een chunk-bidirectionele video Diffusion Transformer (DiT) integreert met een Actie-Expert DiT.

• Gedeelde Zelf-attentie: Videotokens en actietokens delen zelf-attentieblokken, waardoor de actietokens kunnen attenderen op video-latents.
• Modality-specifieke Experts: Elke modaliteit behoudt zijn eigen feed-forwardlagen.
• Afsluitmechanisme: Het ruisniveau $t_f$ op een video-latent modereert direct de betrouwbaarheid van zijn bijdrage aan de verborgen representaties van de actietokens.

B. Onafhankelijke Per-Latent Timestep-steekproefneming (Trainingssubstraat)

Om de ruggengraat in staat te stellen te generaliseren naar willekeurige per-frame schema's tijdens inferentie, nemen de auteurs een trainingsstrategie over die is geïnspireerd op Diffusion Forcing.

• Tijdens het trainen worden onafhankelijke timesteps $t_v = (t_1, \dots, t_F)$ gestoken voor elke latente frame, in plaats van een gedeelde scalar.
• Dit creëert een "heterogeen geruisde" invoer, waardoor de ruggengraat leert effectief te "lezen" door wisselende niveaus van onzekerheid in het videoblok heen.

C. Afsluitbeleidnetwerk (GPN) en GRPO-Optimalisatie

De kerninnovatie is het Afsluitbeleidnetwerk ($\pi_\phi$), een lichtgewicht netwerk dat het optimale timestep-schema leert.

• Invoer: Bij elke stap van ruisverwijdering $k$ observeert de GPN het huidige heterogeen geruisde videoblok ($v_t^{(k)}$), de schone observatie ($v_0$), en de huidige timesteps ($t_v^{(k)}$).
• Uitvoer: Het voorspelt relatieve schaalverhogingen ($r_f$) om te bepalen hoeveel de timestep van elke frame moet afnemen ($\Delta t_f$). De observatieframe blijft vastgezet op $t_0=0$, en de actietimestep volgt een vast globaal schema.
• Training: De GPN wordt getraind met Group Relative Policy Optimization (GRPO). De ruggengraat is bevroren, en het beleid wordt geoptimaliseerd tegen een schaars binair taaksuccesbeloning ($r \in \{0, 1\}$). Dit verankert het afsluitbeleid in daadwerkelijke taaknut zonder dat er met de hand gemaakte vormpriors nodig zijn.

3. Belangrijkste Bijdragen

1. Herformulering van het Schema: De auteurs identificeren het conventionele gedeelde-scalar timestep in gezamenlijke video-actie WAM's als een sterke impliciete prior die de modelflexibiliteit beperkt. Zij stellen voor om per-latent planning te zien als een leerbare informatieafsluitingsbeleid over gedeelde zelf-attentie.
2. NoiseGate-architectuur: Zij introduceren NoiseGate, dat onafhankelijke per-latent timestep-steekproefneming tijdens de training van de ruggengraat combineert met een lichtgewicht GPN voor het uitzenden van per-latent tijdsverhogingen en GRPO-optimalisatie gedreven door taakbeloningen.
3. Empirische Validatie: Op de RoboTwin-benchmark onder random-scene-omstandigheden toont NoiseGate consistente verbeteringen ten opzichte van zowel gedeelde-scalar baselines als varianten met met de hand gemaakte schema's, wat bevestigt dat het leren van het afsluitbeleid essentieel is om de per-latent vrijheidsgraad te benutten.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op de RoboTwin-benchmark, specifiek onder random-scene-omstandigheden waarbij objectposities, kleuren en achtergronden worden gerandomiseerd.

• Hoofdvergelijking: NoiseGate werd vergeleken met sterke baselines (Fast-WAM, LingBot-VA, $\pi_{0.5}$, Motus) en een Stage-1 WAM (de ruggengraat getraind met onafhankelijke ruis maar gedeelde-scalar inferentie).
  • NoiseGate behaalde een gemiddelde succesratio van 94,28%, en presteerde beter dan de Stage-1 WAM (92,58%) en alle andere baselines.
  • Significante winsten werden waargenomen in taken die nauwkeurige timing of het hanteren van onzekerheid vereisen (bijv. Hanging Mug +9%, Blocks Ranking Size +7%, Put Object Cabinet +7%).
• Ablatiestudies:
  • Het verwijderen van de GPN en terugkeren naar een gedeelde scalar ($Shared\text{-}t$) veroorzaakte de grootste prestatiedaling (67,5% $\to$ 57,5% in de gecontroleerde ablatieopstelling).
  • Het gebruik van een met de hand gemaakt monotoon schema verbeterde de prestaties ten opzichte van de gedeelde scalar, maar bleef inferieur aan het geleerde GPN (63,4% vs. 67,5%), wat aangeeft dat taakadaptieve controle noodzakelijk is.
• Kwalitatieve Analyse:
  • Ruis als Maskering: Attentiekarten bevestigden een monotoon verval in actie-naar-video-attentie naarmate de ruisniveaus toenemen, wat het afsluitmechanisme valideert.
  • Taakadaptieve Schema's: Visualisaties toonden aan dat de GPN verschillende, niet-uniforme timesteptrajecten leert voor verschillende taken. Bijvoorbeeld, in grijptaken hield de GPN het kritieke grijpframe langer op een hoger ruisniveau (onzekere) dan andere frames, waardoor voortijdige actiecommitment werd voorkomen.

5. Betekenis en Claims

Het artikel claimt dat NoiseGate succesvol aantoont dat het per-latent timestep-schema in een Wereldactie-model een eersteklas ontwerpelement is in plaats van een vast hyperparameter of impliciete prior.

• Mechanisme: Door de timestep te behandelen als een leerbare afsluiting, kan het model toekomstige informatie selectief blootstellen aan het actiebeleid. Dit stelt het systeem in staat een hogere onzekerheid (onscherpte) te handhaven op kritieke, moeilijk te voorspellen toekomstige gebeurtenissen, terwijl minder kritieke informatie wordt verduidelijkt, waardoor de robuustheid in complexe manipulatietaken wordt verbeterd.
• Efficiëntie: De benadering optimaliseert het schema met een lichtgewicht beleidsnetwerk en schaarse beloningen, waardoor de behoefte aan complexe met de hand gemaakte priors of het opnieuw trainen van de massale generatieve ruggengraat wordt vermeden.
• Generaliseerbaarheid: Hoewel gefocust op robotica, merken de auteurs op dat het perspectief van per-latent ruis als een leerbare informatieafsluiting van toepassing zou kunnen zijn op andere generatieve omgevingen waarbij downstream-consumenten lezen uit gezamenlijk geruisverwijderde tokens met heterogene nuttigheid (bijv. autonoom rijden, videovoorspelling).

De auteurs blijven bescheiden met betrekking tot beperkingen, en merken op dat de huidige training afhankelijk is van schaarse simulatorrollouts, wat data-inefficiënt kan zijn, en dat het schalen van het geleerde schema-beleid naar grootschalige, multi-taak suites toekomstig werk blijft.