One-Step Flow Policy: Self-Distillation for Fast Visuomotor Policies

Dit paper introduceert de One-Step Flow Policy (OFP), een zelfdistillatiekader dat iteratieve sampling elimineert en robotbeleid met meer dan 100 keer snellere inferentie mogelijk maakt zonder in te leveren op precisie.

De kern

De "Eén-Stap" Robot: Hoe we robots sneller en slimmer maken

Stel je voor dat je een robot wilt leren om een glas water van de tafel te pakken en in de gootsteen te zetten. Dit klinkt simpel, maar voor een computer is het een enorm puzzel. De robot moet niet alleen zien waar het glas is, maar ook precies weten hoe hij zijn vingers moet bewegen om het niet te laten vallen.

Vroeger gebruikten robots een methode die lijkt op een blindeman die een berg beklimt. Ze beginnen bij de top (een willekeurige beweging) en proberen stap voor stap, heel voorzichtig, naar beneden te komen tot ze bij de juiste beweging zijn. Dit heet "diffusie" of "flow". Het werkt goed, maar het is extreem traag. De robot moet honderden kleine stapjes doen voordat hij weet wat hij moet doen. In de echte wereld, waar dingen snel gaan, is die vertraging dodelijk: de robot is te laat en het glas valt.

De auteurs van dit papier hebben een nieuwe methode bedacht: OFP (One-Step Flow Policy). Ze noemen het een "zelf-distillatie" systeem. Laten we kijken hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Honderd-Stap" Trap

Stel je voor dat je een recept voor een taart wilt volgen, maar het recept zegt: "Doe eerst een klein beetje bloem toe, wacht even, voeg nog een beetje toe, wacht weer..." en dit herhaal je 100 keer voordat je de taart kunt bakken.

• De oude robots (Diffusion/Flow): Moeten deze 100 stappen doen. Ze zijn traag en kunnen niet snel reageren als er iets onverwachts gebeurt.
• Het doel: We willen dat de robot in één keer het perfecte recept ziet en de taart bakt.

2. De Oplossing: De "Slimme Leerling" (Zelf-Distillatie)

Meestal leer je een snelle student door een langzame, slimme meester (de "teacher") te laten werken en de student die stappen na te laten doen. Maar dat kost tijd om die meester te trainen.

OFP doet iets anders: De robot leert zichzelf.
Het is alsof je een student bent die een examen doet, maar in plaats van een leraar te hebben, kijkt hij naar zijn eigen antwoorden en zegt: "Hé, als ik dit antwoord geef, klopt het dan ook als ik een paar seconden later terugkijk?"

De methode gebruikt twee slimme trucs:

• Truc 1: De "Tijds-Consistentie" (Zelf-Consistentie)
  Stel je voor dat je een film kijkt. Als je de film in één seconde afspeelt (één stap), moet het er nog steeds logisch uitzien. De robot leert dat de beweging van "nu" naar "straks" logisch moet aansluiten op de beweging van "straks" naar "later". Hij zorgt ervoor dat zijn bewegingsoefeningen niet schokkerig zijn, maar soepel verlopen, zelfs als hij ze in één flits doet.

• Truc 2: De "Zelf-Gids" (Self-Guidance)
  Soms zijn robots te voorzichtig. Ze proberen alle mogelijke manieren om een taak te doen, waardoor hun beweging vaag en onzeker wordt (alsof ze een taart maken maar niet weten of ze suiker of zout moeten doen, dus doen ze een beetje van beide).
  OFP gebruikt een truc om de robot te dwingen scherper te worden. Het zegt: "Nee, niet die vaagkeuze. Kies de beste, meest waarschijnlijke manier zoals een expert dat zou doen." Dit zorgt voor een snelle, precieze beweging in plaats van een gemiddelde, trage beweging.

3. De "Warm Start": Gebruik wat je al weet

Stel je voor dat je een auto rijdt en je moet plotseling een bocht nemen. Je draait niet het stuur vanuit stilstand; je draait het stuur op basis van hoe je al reed.
OFP gebruikt dit idee. De robot kijkt naar wat hij net heeft gedaan. Als hij net zijn hand naar het glas bewoog, begint hij de volgende stap niet bij nul (bij "willekeurige ruis"), maar hij begint waar hij net was.

• Vergelijking: Het is het verschil tussen een springer die van de grond begint (traag) versus een springer die al in de lucht is en nog een stukje verder springt (snel en soepel). Dit bespaart enorm veel tijd.

4. Het Resultaat: Snelheid en Precisie

De onderzoekers hebben dit getest op 56 verschillende robot-taken (van deuren openen tot pennen vasthouden).

• De oude robots: Moesten 100 keer "nadenken" (rekenen) voordat ze bewogen. Dit duurde ongeveer 3 seconden.
• De nieuwe robot (OFP): Doet het in één keer. Dit duurt slechts 0,03 seconden.
• De snelheidswinst: De robot is 100 keer sneller.
• De kwaliteit: En het beste is: hij is niet alleen sneller, hij is ook beter. Hij maakt minder fouten dan de oude robots die langzaam werkten.

Samenvatting in één zin

OFP is als een robot die stopt met het langzaam oplossen van een puzzel stap voor stap, en in plaats daarvan leert om het hele plaatje in één flits te zien, gebaseerd op wat hij al weet en wat experts zouden doen, waardoor hij extreem snel en nauwkeurig kan werken.

Dit maakt het mogelijk om robots te gebruiken in situaties waar snelheid cruciaal is, zoals in een fabriek of zelfs in een huishouden, zonder dat ze langzaam en onhandig zijn.

Technische samenvatting

Probleemstelling

Generatieve modellen, zoals stromingsmodellen (Flow Matching) en diffusiemodellen, zijn de facto standaard geworden voor het definiëren van conditionele beleidsstrategieën in robotica. Ze bieden het vermogen om continue, multimodale actie-distribaties te modelleren, wat essentieel is voor precisie-taken.

Het fundamentele probleem is echter de inference-latentie. Om een actie te genereren, moeten deze modellen iteratief een differentiaalvergelijking (ODE of SDE) oplossen, wat tientallen tot honderden doorlopen (forward passes) door een groot neurale netwerk vereist voor één enkele actie. In tijdgevoelige toepassingen, zoals snelle grijptaken of dynamische interactie, is deze latentie prohibitief. Het vertraagt de besturingsfrequentie en verergert cumulatieve fouten, wat vaak leidt tot het mislukken van de taak. Bestaande versnellingsmethoden (zoals Consistency Distillation of Score Distillation) lossen dit vaak op ten koste van actieprecisie (door te middelen over modi) of diversiteit (door te collapse naar één modus), en vereisen vaak een vooraf getrainde 'teacher'-model.

Methodologie: One-Step Flow Policy (OFP)

De auteurs stellen One-Step Flow Policy (OFP) voor, een framework voor self-distillation dat van scratch wordt getraind zonder een externe teacher. OFP combineert drie kernmechanismen om hoge precisie in één enkele stap (1-NFE) te bereiken:

1. Self-Consistency Training (Zelfconsistentie):

   • In plaats van de instantane snelheid te leren (zoals bij standaard Flow Matching), leert het model een interval-gegemiddeld snelheidsveld $u_\theta(z_t, t, r)$.
   • Het doel is om de voorspelling over een tijdsinterval $[t, r]$ consistent te houden met de trajecteindpunten.
   • Er wordt gebruik gemaakt van een tijd-contractie schema (time-contracting schedule): tijdens de training wordt het tussenliggende punt $m$ geleidelijk dichter bij $t$ gebracht. Dit fungeert als een curriculum dat eerst stabiliteit biedt en later de precisie van het lokale traject verfijnt.
   • Dit elimineert de noodzaak voor dure Jacobiaan-Vektor Producten (JVP's) die nodig zijn bij vergelijkbare methoden zoals MeanFlow.

2. Self-Guided Regularization (Zelfgeleide Regularisatie):

   • Zelfconsistentie alleen zorgt voor coherente trajecten, maar neigt soms tot te gladde acties die niet scherp genoeg zijn voor complexe manipulatie.
   • OFP introduceert een regularisatieterm die de voorspellingen richt op de hoge-dichtheid modi van de expert-data.
   • Dit wordt gedaan door Classifier-Free Guidance (CFG) toe te passen op de eigen voorspellingen van het model. Het model gebruikt een EMA-kopie van zichzelf als "teacher" om een scoreverschil te berekenen tussen conditionele en unconditional dynamiek.
   • Dit "stoot" de generatie weg van de unconditional prior en richt het scherp op de expert-distributie, waardoor de precisie van de één-stap voorspelling wordt verhoogd zonder een externe teacher.

3. Warm-Start Mechanisme:

   • Om de transportafstand die het generatieve model in één stap moet overbruggen te verkleinen, wordt gebruik gemaakt van de temporale correlatie tussen opeenvolgende actie-chunks.
   • De niet-uitgevoerde suffix van de vorige actie-chunk wordt verschoven en opgevuld met de laatste actie om een warm-start prior te vormen.
   • De generatie start niet vanaf puur ruis, maar vanaf een verstoord projectie van deze prior. Dit verhoogt de temporal smoothness en precisie zonder extra trainingskosten.

De totale trainingsdoelstelling is een unificatie van Flow Anchoring, Self-Consistency en Self-Guidance.

Belangrijkste Bijdragen

• Unified Self-Distillation Framework: Een methode die de trade-off tussen inferentiesnelheid en actieprecisie oplost zonder afhankelijk te zijn van vooraf getrainde teacher-modellen.
• Training-Free Warm-Start: Een effectieve strategie om de transportafstand te verminderen door bestaande actiedata te hergebruiken als prior.
• State-of-the-Art Prestaties: OFP bereikt de hoogste succespercentages op 56 diverse simulatietaken, waarbij het presteert bovenop 100-stap diffusion/flow baselines, maar met een 100x versnelling in actiegeneratie.
• Schaalbaarheid: Integratie in het grote $\pi0.5$ Vision-Language-Action (VLA) model op RoboTwin 2.0, waar de 1-stap OFP de originele 10-stap beleidsstrategie overtreft.

Resultaten

De evaluatie omvatte 56 taken uit benchmarks zoals Adroit, DexArt, MetaWorld en RoboTwin 2.0.

• Snelheid vs. Prestatie: OFP (1-NFE) bereikte een gemiddeld succespercentage van 71,6% op 3D-taken, wat hoger is dan DP3 (Diffusion Policy) met 100 stappen (66,4%) en FM Policy met 100 stappen (59,8%).
• Latentie: De inferentie-tijd per actie-chunk daalde van ~3225 ms (DP3, 100 stappen) naar 17,58 ms (OFP, 1 stap), een versnelling van ongeveer 183x.
• Stabiliteit: In tegenstelling tot MP1 (MeanFlow), dat last had van hoge variatie en verliespieken door JVP-berekeningen, toonde OFP stabielere training en betere controle-accuraatheid.
• Data Efficiency: OFP presteerde robuust zelfs bij zeer beperkte data (20 demonstraties), terwijl andere methoden zoals MP1 hier sterk in degradeerden.
• VLA Integratie: Op RoboTwin 2.0 behaalde OFP een gemiddeld succespercentage van 94,7% (1 stap), wat beter was dan het oorspronkelijke $\pi0.5$ model dat 10 stappen vereiste.

Betekenis

Dit paper markeert een belangrijke doorbraak in het toepassen van generatieve modellen voor robotbesturing. Het lost het kritieke probleem van inferentie-latentie op zonder in te leveren op de nauwkeurigheid die nodig is voor complexe manipulatie.

De betekenis ligt in drie gebieden:

1. Real-time Toepasbaarheid: Het maakt het gebruik van hoge-precisie generatieve beleidsstrategieën mogelijk in snelle, gesloten-lus besturingssystemen die eerder beperkt waren door de rekentijd.
2. Efficiëntie: Door het elimineren van de noodzaak voor grote, vooraf getrainde teacher-modellen en dure JVP-berekeningen, wordt de training en implementatie schaalbaarder en goedkoper.
3. Toekomstgericht: Het bewijst dat self-distillation en warm-start mechanismen effectief werken op grote VLA-architecturen, wat de weg vrijmaakt voor robuuste, snelle en nauwkeurige robotica in de echte wereld.