💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

Dit paper introduceert NF-P, een efficiënt en onzekerheidsbewust visuo-motorisch beleid voor bimanuele robotica dat op normalizing flows is gebaseerd en superieure prestaties, snellere training en lagere inferentielatentie biedt ten opzichte van bestaande diffusiemodellen.

Oorspronkelijke auteurs: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren om met twee handen te werken, alsof het een echte mens is die een kom soep vasthoudt, een hamer slaat of een handdoek vouwt. Dit is niet makkelijk. De robot moet niet alleen zien wat er gebeurt, maar ook beslissen welke bewegingen hij moet maken, en dat vaak op basis van onvolmaakte voorbeelden van mensen.

Dit artikel introduceert een nieuwe manier om robots te leren: Normalizing Flows (of "Stromingen"). Hier is een simpele uitleg, zonder moeilijke wiskunde, maar met een paar leuke vergelijkingen.

Het Probleem: De "Verwarde Kunstenaar"

Vroeger (en nog steeds bij veel robots) gebruikten wetenschappers een methode die lijkt op Diffusiemodellen.

De vergelijking: Stel je voor dat je een schilderij wilt maken, maar je begint met een doek dat volledig vol zit met ruis en vlekken. Je moet dit schilderij stap voor stap "ontruisen" door er langzaam verf over te wrijven. Je doet dit 50 of 100 keer voordat het beeld scherp is.
Het nadeel: Dit duurt lang! Voor een robot die snel moet reageren (zoals bij het vangen van een bal of het vasthouden van een heet voorwerp) is dit te traag. Bovendien weet de robot niet zeker of zijn antwoord goed is; hij kan het niet "meten".

De Oplossing: De "Magische Spiraal" (Normalizing Flows)

De auteurs van dit paper zeggen: "Laten we dat niet doen. Laten we een Normalizing Flow gebruiken."

De vergelijking: Denk aan een slang of een spiraal.
- Aan het ene uiteinde heb je een simpele, ordelijke berg (een willekeurige steen).
- Aan het andere uiteinde heb je een ingewikkeld, gekruld kunstwerk (de perfecte robotbeweging).
- Een Normalizing Flow is als een magische machine die die steen in één keer, heel snel, in dat kunstwerk verandert. En het allerbelangrijkste: je kunt de machine ook terugdraaien. Als je het kunstwerk in de machine stopt, krijg je precies die steen terug.
Waarom is dit cool? Omdat je de machine in één keer kunt draaien, is het extreem snel. En omdat je precies weet hoe de machine werkt, kun je ook berekenen hoe "waarschijnlijk" een bepaalde beweging is.

Twee Slimme Trucs voor de Robot

Omdat de robot nu precies weet hoe waarschijnlijk een beweging is, kunnen ze twee slimme trucs toepassen:

De "Beste van de Klas" (Stochastic Batch Selection):
- De robot denkt: "Ik ga 128 verschillende manieren bedenken om die kom vast te pakken."
- Vervolgens kijkt hij naar al die 128 ideeën en zegt: "Oké, deze 127 zijn een beetje raar, maar deze ene hier is perfect!" En die voert hij uit.
- Vergelijking: Het is alsof je 128 verschillende routes naar een bestemming op Google Maps laat berekenen en dan de snelste kiest, in plaats van maar één willekeurige route te nemen.
De "Fijnzetting" (Gradient Refinement):
- De robot denkt: "Ik heb een goed idee, maar het is nog niet perfect. Ik ga het een beetje 'opkrullen'."
- Omdat de robot precies weet hoe de "berg" van goede bewegingen eruitziet, kan hij zijn beweging een klein beetje aanpassen om nog dichter bij de top van die berg te komen.
- Vergelijking: Het is alsof je een bal op een heuvel zet. Je kunt hem een klein duwtje geven in de richting van de top, zodat hij precies op het hoogste punt belandt.

Wat hebben ze geprobeerd?

Ze hebben dit getest in twee situaties:

In de computer (Simulatie): Ze lieten een virtuele robot 50 verschillende taken doen, zoals blokken stapelen of een magnetron openen.
- Resultaat: De nieuwe methode (NF-P) was veel succesvoller dan de oude methode. Vooral bij moeilijke taken waar precisie nodig was, zoals een handdoek vouwen of een blokje overhandigen.
In het echt (Real Robot): Ze gebruikten twee echte robotarmen (Kuka-robots) om blokken te stapelen en een handdoek te vouwen.
- Resultaat: De oude robots bleven vaak hangen of begonnen niet eens. De nieuwe robot begon direct en maakte veel minder fouten. Hij was ook veel sneller: hij kon in minder dan 20 milliseconden een beslissing nemen (dat is sneller dan je kunt knipperen!).

Waarom is dit belangrijk?

Dit paper laat zien dat je niet altijd de zwaarste, langzaamste modellen nodig hebt om slimme robots te maken.

Snelheid: De robot kan sneller reageren, wat cruciaal is voor veiligheid.
Zekerheid: De robot weet wanneer hij het niet weet (onzekerheid), en kan dan beter beslissingen nemen.
Efficiëntie: Het kost minder rekenkracht, wat betekent dat je dit op goedkopere hardware kunt draaien.

Kort samengevat:
De auteurs hebben een nieuwe manier gevonden om robots te leren bewegen die sneller, slimmer en zekerder is dan de huidige methoden. In plaats van te "gokken" en te "proberen en te verbeteren" (zoals de oude methoden), gebruiken ze een slimme wiskundige "spiraal" die de robot in één keer het juiste pad laat zien, en hem zelfs helpt om dat pad nog een beetje te verfijnen.

Probleemstelling

Het veld van robotica, met name voor algemene taken, maakt steeds meer gebruik van krachtige probabilistische modellen zoals diffusiemodellen om complexe gedragingen te leren. Hoewel deze modellen expressief zijn, hebben ze twee fundamentele nadelen die hun inzetbaarheid beperken:

Hoge rekentijd bij inferentie: Diffusiemodellen vereisen een duur, iteratief proces van "denoising" (ruisverwijdering) om een actie te genereren, wat real-time besturing op beperkte hardware bemoeilijkt.
Gebrek aan onzekerheidskwantificering: Ze kunnen geen exacte waarschijnlijkheid (likelihood) van een gegenereerde actie berekenen. Dit maakt het moeilijk om de betrouwbaarheid van een voorspelling te meten of om de output actief te optimaliseren op basis van waarschijnlijkheid.

Bestaande regressiemodellen (zoals Transformers) zijn weliswaar snel, maar falen vaak bij multimodale verdelingen (waar meerdere geldige acties mogelijk zijn) en neigen naar het gemiddelde, wat leidt tot onnauwkeurige of onveilige acties.

Methodologie: Normalizing Flow Policy (NF-P)

De auteurs stellen NF-P voor, een visuo-motorisch beleid dat gebaseerd is op Conditionele Normalizing Flows. In plaats van een diffusieproces te modelleren, leert NF-P een bijectieve (omkeerbare) en differentieerbare transformatie $T$ die complexe actie-distribaties afbeeldt op een eenvoudige Gaussische prior ( $z$ ).

Kerncomponenten:

Architectuur: Het model gebruikt een ResNet18 voor visuele encoding (RGB-beelden) en combineert dit met de laatste actie als conditionele input. De kern bestaat uit 10 sequentiële "coupling spline layers" (Neural Spline Flows), wat zorgt voor een expressieve transformatie met een berekenbare Jacobiaan-determinant.
Strided Sampling (Tijdsgestreepte bemonstering): Om het probleem van onbewuste trillingen (jitters) en pauzes in menselijke demonstraties aan te pakken, wordt tijdens het trainen een tijdsstap ( $s$ ) toegepast op zowel de input-observaties als de output-acties. Dit dwingt het model om zich te richten op betekenisvolle, grotere overgangen in plaats van hoogfrequente ruis, zonder de dichtheid van de trainingsdata te verminderen.
Likelihood-based Optimalisatie: Omdat Normalizing Flows de exacte waarschijnlijkheid $p(a|o)$ $p (a ∣ o)$ kunnen berekenen, worden twee strategieën voor inferentie voorgesteld:
1. Stochastic Batch Selection (SBS): Er wordt een batch van $N$ kandidaat-actie-sequenties gegenereerd. De sequentie met de hoogste log-likelihood wordt geselecteerd ("best-of-N").
2. Gradient Refinement (GR): Een initiële steekproef wordt verfijnd door een paar stappen van gradiëntascentie uit te voeren op de log-likelihood $\nabla_x \log p(x|o)$ . Dit "beklimt" het manifold van de actie-ruimte naar een lokaal maximum, waardoor de kwaliteit van de actie verbetert zonder de stochastische aard van het model te verliezen.

Belangrijkste Bijdragen

Introductie van NF-P: Een nieuw visuo-motorisch beleid dat exacte likelihood-berekening combineert met single-pass generatieve sampling, wat real-time inferentie mogelijk maakt.
Nieuwe Inferentie-strategieën: De ontwikkeling van SBS en GR om de outputkwaliteit te verbeteren door gebruik te maken van de exacte waarschijnlijkheidsdichtheid.
Uitgebreide Evaluatie: Validatie op een breed scala aan gesimuleerde dubbelarm-taken (RoboTwin 2.0) en echte robotexperimenten, waarbij NF-P consistent presteert boven of gelijk staat aan diffusion-based baselines.
Schaalbaarheid en Efficiëntie: Bewijs dat NF's goed schalen met datasetgrootte en aanzienlijk sneller trainen en infereren dan diffusiemodellen.

Resultaten

Simulatie (RoboTwin 2.0): NF-P (met Gradient Refinement) bereikte een gemiddelde succesrate van 38,06%, een verbetering van 10 procentpunten ten opzichte van de Diffusion Policy baseline (28,04%). De prestaties waren vooral sterk in taken die hoge precisie vereisen (bijv. "Open Microwave": 77% vs 5%).
Real-robot Experimenten: Op een dubbelarm Kuka-iiwa-systeem werden taken zoals "Stack Blocks Two" en "Towel Folding" uitgevoerd.
- NF-P behaalde succesrates van 60% en 75%, vergeleken met respectievelijk 15% en 55% voor de Diffusion Policy.
- De Diffusion Policy faalde vaak in de initiële fasen of bleef hangen tussen sub-doelen. NF-P toonde minder "stalling" (vastlopen) en kon overgangen tussen sub-taken veel sneller voltooien (30 seconden limiet voor NF-P vs 8 minuten voor DP).
Efficiëntie:
- Training: Convergentie in slechts 300 epociën (ongeveer 50 minuten op een RTX 4090).
- Inferentie: Single-pass sampling resulteert in inferentietijden onder de 20ms (SBS). Zelfs met Gradient Refinement (10 stappen) blijft de latentie rond de 455ms, wat sneller is dan standaard diffusiemodellen.
Ablatie-studie: Toonde aan dat een tijdsstap ( $s=4$ ) en een gematigde steekproefvariantie ( $\sigma=0.5$ ) optimaal zijn. Het gebruik van "action chunking" (voorspellen van een reeks acties in plaats van één) is cruciaal voor temporale consistentie.

Betekenis en Conclusie

Dit paper toont aan dat Normalizing Flows een krachtig en computatie-efficiënt alternatief zijn voor diffusiemodellen in de robotica. NF-P biedt een unieke combinatie van:

Exacte onzekerheidskwantificering (via likelihood), wat essentieel is voor veilig onderzoek en adaptief gedrag.
Real-time inferentie door single-pass sampling, wat nodig is voor reactieve besturing.
Vermogen om complexe, multimodale verdelingen in hoge dimensies (dubbelarm) te modelleren.

De resultaten suggereren dat NF-P een wiskundig onderbouwde en schaalbare oplossing biedt voor de volgende generatie robotbeleid, vooral in scenario's waar real-time responsiviteit en betrouwbare onzekerheidsmeting cruciaal zijn.