Technische Samenvatting: WarmPrior: Rechttrekken van Flow-Matching Policy's met Temporele Priors

Probleemstelling

Generatieve policy's voor robotische manipulatie, met name die gebaseerd op diffusie en flow matching, hebben een dominante paradigma voor visuele en motorische controle gevestigd. In deze kaders vervoert een neurale veld monsters van een vaste bronverdeling (doorgaans een isotrope Gaussische $N(0, I)$) naar het data-manifold van actie-chunks. Hoewel vooruitgang is geboekt op het gebied van netwerkarchitectuur, interpolanten en integratoren, is de bronverdeling grotendeels statisch gebleven.

De auteurs identificeren een kritieke beperking in deze standaardbenadering: de isotrope Gaussische bron is staatloos en niet-informatief, en negeert het continue, tijdsgecorreleerde karakter van robotbeweging. Bijgevolg wordt de policy gedwongen om bij elke inferentiestap elke actie-chunk vanaf nul opnieuw op te bouwen. Naarmate de denoising-schema's verkorten (wat het aantal inferentiestappen vermindert), neemt de last op het startpunt toe, maar faalt de "blinde" bron om de nodige tijdscontext te bieden. Dit leidt tot gebogen waarschijnlijkheidspaden en suboptimale prestaties, vooral bij lage inferentiebudgetten of complexe taken.

Methodologie: WarmPrior

Het artikel introduceert WarmPrior, een methode die de standaard staatloze bronverdeling vervangt door een tijdelijk verankerde prior die is opgebouwd uit direct beschikbare recente actiegeschiedenis. Deze ingreep is minimaal; alleen de bronverdeling $p_0$ wordt aangepast, terwijl het neurale netwerk, de interpolant en het trainingsdoel onaangeroerd blijven.

WarmPrior wordt geïmplementeerd in twee varianten:

1. WarmPrior-Past (WP-Past): Verankert de prior-middelpunt op de eerder uitgevoerde actie-chunk. De bron wordt bemonsterd als $a_0 = a_{\text{prev}} + \sigma \epsilon$, waarbij $\epsilon \sim N(0, I)$.
2. WarmPrior-Preview (WP-Preview): Traint de policy om bij elke stap tweemaal de chunk-lengte ($2H$) te voorspellen, maar voert slechts de eerste $H$ uit. De tweede $H$ stappen dienen als een "preview" van de volgende chunk. Bij inferentie wordt de prior-middelpunt voor de volgende stap ingesteld op de eigen eerdere voorspelling van het model voor de huidige chunk ($a_0 = \hat{a}_{\text{prev}}[H:2H] + \sigma \epsilon$).

In beide varianten wordt een residuele Gaussische verstoring met schaal $\sigma$ toegevoegd om te waarborgen dat de bron een juiste stochastische verdeling blijft in plaats van een deterministisch puntmassa. Het koude gebied (niet-verankerde posities) behoudt de standaard Gaussische prior.

Belangrijkste Bijdragen en Mechanismen

1. Geometrische Rechttrekking van Flow-Paden

Het primaire mechanisme voor verbetering is het rechttrekken van waarschijnlijkheidspaden. Door het transport dicht bij het doel-manifold te initialiseren (de recente actiegeschiedenis of voorspelling), worden de geleerde flow-paden korter en rechter.

• Vermindering van Vertakkingskosten: De auteurs formaliseren dit via een analyse van "vertakkingskosten". Standaard flow matching met onafhankelijke koppelingen dwingt het snelheidsnetwerk om te middelen over ambiguë eindpunten, wat gebogen trajecten creëert. WarmPrior fungeert als een impliciete optimal-transport (OT) koppeling, wat de conditionele variantie van het eindpunt gegeven het tussenpunt vermindert. Dit onderdrukt de onherleidbare residufout die padkromming veroorzaakt.
• Empirisch Bewijs: Experimenten tonen een significante reductie in padkromming ($\kappa$) voor WarmPrior-varianten ten opzichte van de baseline, wat direct correleert met winst in succespercentages.

2. Instelbare Tijdsconsistentie

WarmPrior introduceert een continue knop, $\sigma$, die tijdsconsistentie en multimodale expressiviteit in evenwicht brengt.

• Impliciete Toewijzing: Een kleinere $\sigma$ houdt de nieuwe actie-chunk binnen het bekken van de vorige modus, waardoor "moduswisseling" (oscilleren tussen geldige actiemodi bij chunk-grenzen) wordt voorkomen zonder het netwerk expliciet te conditioneren op de volledige geschiedenis.
• Robuustheid: Dit stelt de policy in staat consistentie te behouden, zelfs wanneer expliciete actie-chunking is uitgeschakeld ($H=1$), een regime waarin standaard baselines doorgaans catastrofaal falen.

3. Verbeterde Prior-Ruimte Versterkingslering

De methode is uitbreidbaar naar Versterkingslering (RL) in de prior-ruimte (bijv. DSRL). Door een met WarmPrior voorgetrainde policy als bevroren basis te gebruiken, opereert de RL-agent in een zoekruimte die is gecentreerd rond een tijdelijk verankerde middelpunt in plaats van de oorsprong. Dit verkleint de exploratieruimte, waardoor de agent een gebonden residucorrectie kan leren rond een bekwaam anker, wat leidt tot snellere convergentie en hogere asymptotische prestaties.

Experimentele Resultaten

Simulatiebenchmarks

Geëvalueerd op Robomimic (toestand- en beeldobservaties) en MimicGen (beeldobservaties) met Diffusion Policy-ruggengraten en het GR00T N1.5 VLA-model:

• Succespercentage: WarmPrior presteert consistent beter dan de $N(0, I)$-baseline over alle taken.
• Inferentiebudget: Winsten zijn het meest uitgesproken bij lage inferentiebudgetten (NFE = 1), waar de kromming van de flow het belangrijkst is. Bijvoorbeeld, op de moeilijke Transport-MH-taak met NFE=1, verbeterde WP-Preview de succespercentages van 23,3% naar 34,5%.
• Echte Robot: Uitgevoerd op een Franka Research 3 met het GR00T N1.5-model, verbeterde WarmPrior de succespercentages op vier tafelblad-manipulatietaken (Voedselafvalverwijdering, Bekkenstapelen, Blokkenstapelen, Kabelinvoering), met de grootste winsten op precisie-eisende taken zoals Kabelinvoering.

RL-Efficiëntie

In prior-ruimte RL-experimenten op Robomimic-taken leerden WarmPrior-varianten (WP-Past en WP-Preview) sneller en bereikten hogere asymptotische succespercentages (meer dan 99% op Square en ongeveer 97% op Transport) in vergelijking met standaard DSRL-baselines, die rond de 90% plateauerden.

Vergelijking met Real-Time Chunking (RTC)

Het artikel vergelijkt WarmPrior met Real-Time Chunking (RTC), een inferentieprocedure die overlappende acties vastzet. De resultaten geven aan dat hoewel beide methoden de prestaties verbeteren, ze verschillende faalmodi aanpakken: RTC verhelpt inter-chunk discontinuïteiten bij inferentie, terwijl WarmPrior de geleerde flow bij training rechttrekt. Het combineren van beide levert additieve verbeteringen op, wat hun complementaire aard bevestigt.

Betekenis en Claims

Het artikel claimt dat de bronverdeling een belangrijke en onderbelichte ontwerpas is in generatieve robotische controle. Door het paradigma te verschuiven van een "staatloze standaard" naar een "tijdelijk verankerde prior", bereikt WarmPrior consistente prestatiewinsten zonder de kernnetwerkarchitectuur of het trainingsverlies te wijzigen.

De auteurs positioneren WarmPrior niet als vervanging voor complexe architecturale wijzigingen, maar als een fundamentele verbetering van het generatieve proces zelf. Het biedt een eenvoudige, plug-and-play-mechanisme om:

1. Flow-trajecten rechttrekken, waardoor de last op het snelheidsnetwerk wordt verminderd.
2. Een instelbaar mechanisme voor tijdsconsistentie bieden dat werkt zelfs zonder expliciete actie-chunking.
3. De sample-efficiëntie in downstream versterkingslering verbeteren door de exploratieruimte te herschikken.

Het werk suggereert dat toekomstige vooruitgang in generatieve robotcontrole moet kijken voorbij het netwerk en de integrator naar de constructie van de prior-ruimte $p_0$ zelf.