🤖 machine learning

VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching

Het artikel stelt Value-Guided Flow Matching (VGFM) voor, een schaalbaar offline reinforcement learning-framework dat dichte waarde-gebaseerde sturing integreert in expressieve flow-matching-policies voor robotbesturing zonder backpropagation door de tijd of extra algoritmische overhead te vereisen, waarbij sterke prestaties wordt behaald over diverse locomotie- en manipulatietaken.

Oorspronkelijke auteurs: Prajwal Koirala, Mark Campbell

Gepubliceerd 2026-09-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prajwal Koirala, Mark Campbell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots zijn al lang meesters in repetitieve, voorspelbare taken, maar het aanleren van het omgaan met de rommelige, onvoorspelbare variëteit van de echte wereld is een hardnekkige uitdaging gebleven. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door robots enorme bibliotheken van eerdere bewegingen te voeren, in de hoop dat de machine menselijke vaardigheid kon nabootsen zonder ooit in de echte wereld te hoeven oefenen. Deze aanpak, bekend als offline leren, biedt een veilige en efficiënte weg voor training, maar loopt tegen een muur aan wanneer de robot een situatie tegenkomt die net iets anders is dan de trainingsdata. De robot moet dan beslissen hoe te handelen, waarbij hij vaak moet kiezen tussen veel verschillende geldige manieren om te bewegen, vergelijkbaar met een bestuurder bij een complex kruispunt die links kan afslaan, rechtdoor kan gaan of door het verkeer kan manoeuvreren. Traditionele methoden worstelen met het vastleggen van deze rijke variëteit aan keuzes, en dwingen de robot vaak in een enkel, rigide pad dat faalt wanneer de omstandigheden veranderen. Om voorbij deze beperkingen te gaan, wenden wetenschappers zich tot generatieve modellen, een type kunstmatige intelligentie dat in staat is om een breed spectrum aan mogelijke acties te verbeelden in plaats van slechts één.

De kern van de moeilijkheid ligt in het feit dat deze verbeeldende modellen niet alleen creatief, maar ook slim moeten worden geleerd. Een robot moet weten welke van zijn vele verbeelde acties daadwerkelijk tot succes zullen leiden. In het verleden vereiste het sturen van de verbeelding van een robot naar een goed resultaat een rekenintensief proces waarbij de computer elke stap van het denkproces van de robot achteruit moest volgen om te zien waar het misging. Dit was traag, instabiel en maakte het trainingsproces vaak te complex om op te schalen. Onderzoekers aan de Cornell University hebben nu een nieuwe methode geïntroduceerd genaamd Value-Guided Flow Matching, die deze flessenhals volledig omzeilt. In plaats van de computer te dwingen om zijn stappen door de tijd heen terug te volgen, staat deze nieuwe aanpak de robot toe om op elk moment van zijn besluitvormingsproces begeleiding te ontvangen, wat ervoor zorgt dat zelfs zijn tussenliggende gedachten hem naar een succesvolle uitkomst sturen.

Het team, onder leiding van Prajwal Koirala en Mark Campbell, ontwierp een systeem waarbij het beleid van de robot, ofwel zijn strategie voor beweging, is opgebouwd als een continue stroom in plaats van een reeks losstaande sprongen. Stel je een rivier voor die van een bron naar een bestemming stroomt; de robot begint met een simpel, willekeurig idee van beweging en vormt dit geleidelijk om tot een specifieke actie. De innovatie hier is dat het systeem de kwaliteit van deze actie controleert op elk punt langs het pad van de rivier, niet alleen aan het einde. Door de uiteindelijke bestemming van de beweging op elk tussenliggend punt te voorspellen, kan het systeem een "waarde"-signaal toepassen — een maatstaf voor hoe goed die actie is — zonder het hele generatieve proces te hoeven ontrafelen. Dit betekent dat de robot leert zijn bewegingen continu te verfijnen, geleid door een criticus die de kwaliteit van de actie in realtime evalueert, terwijl hij tegelijkertijd de zware computationele kosten van het terugkeren door de tijd vermijdt.

Om dit idee te testen, onderwierpen de onderzoekers hun systeem aan een strenge reeks uitdagingen met behulp van een standaard benchmark genaamd OGBench, die een breed scala aan moeilijke taken bevat. Deze taken varieerden van het navigeren door complexe labyrinten met vierpotige en humanoïde robots tot het manipuleren van objecten met robotarmen. In de labyrintscenario's moesten de robots hun weg vinden door kronkelende gangen, terwijl de manipulatietaken vereisten dat ze kubussen stapelden of interactie hadden met objecten in rommelige omgevingen. Het systeem werd getraind op statische datasets van eerdere bewegingen, wat betekent dat het de omgeving tijdens de leerfase nooit zag, alleen de opgenomen gegevens. De resultaten waren opmerkelijk: de nieuwe methode presteerde consequent beter dan of kwam overeen met de beste bestaande technieken in bijna al deze diverse taken. Het behaalde hoge succespercentages in het navigeren door de AntMaze- en HumanoidMaze-omgevingen en blonk uit in de precieze bewegingen die vereist zijn voor de Cube- en Scene-manipulatietaken.

Een belangrijk kenmerk van deze aanpak is de flexibiliteit tijdens het daadwerkelijke gebruik van de robot. Zodra het systeem is getraind, kunnen ingenieurs de hoeveelheid rekenkracht aanpassen die wordt gebruikt om een enkele actie te genereren, zonder het model opnieuw te hoeven trainen. De onderzoekers ontdekten dat door simpelweg het aantal stappen te verhogen dat de computer neemt om de uiteindelijke beweging te berekenen, de robot meer precieze en complexe taken kan uitvoeren. Deze afruil tussen snelheid en nauwkeurigheid is cruciaal voor real-world toepassingen, waarbij een robot snel kan bewegen in een eenvoudige situatie, maar kan vertragen om precies te zijn in een delicate situatie. De studie toonde aan dat deze schaalbaarheid komt met bijna geen extra kosten in termen van tijd, waardoor de robot expressiever en capabeler kan worden door simpelweg meer rekenkracht te gebruiken op het moment van besluitvorming.

Het succes van deze methode suggereert een nieuwe weg voorwaarts voor robotbesturing, een die een balans vindt tussen de behoefte aan veiligheid en data-efficiëntie met de vraag naar complex, aanpasbaar gedrag. Door de zware computationele last van het terug volgen van elke stap te verwijderen, hebben de onderzoekers het mogelijk gemaakt om robots te trainen die lange, ingewikkelde sequenties van acties kunnen afhandelen met een niveau van expressiviteit dat voorheen onbereikbaar was. Het systeem vertrouwt niet op magie of sluiproutes; het herdenkt simpelweg hoe begeleiding wordt toegepast, waardoor de robot kan leren van een dichte stroom feedback gedurende zijn gehele besluitvormingsreis. Terwijl het vakgebied van de robotica zich blijft voortbewegen naar machines die kunnen opereren in ongestructureerde menselijke omgevingen, bieden methoden zoals deze een schaalbare en effectieve manier om hen de subtiele kunst te leren om de juiste actie te kiezen uit een wereld van mogelijkheden.

Technische Samenvatting: VGFM – Expressieve Robot-policies via Dense Value Guidance in Flow Matching

1. Probleemstelling

Offline Reinforcement Learning (RL) beoogt het trainen van controle-policies met behulp van vooraf verzamelde statische datasets om de veiligheidsrisico's en kosten van online exploratie te vermijden. Een centrale uitdaging in deze setting is distributieverschuiving (distribution shift), waarbij een geleerde policy mogelijk acties buiten de distributie (out-of-distribution, OOD) selecteert, wat leidt tot onveilige of ineffectieve gedragingen. Om dit te mitigeren, worden policies vaak geregulariseerd om dicht bij de gedragsdistributie te blijven.

Recente vooruitgang in generatieve modellen (bijv. diffusie en flow matching) biedt expressieve, multimodale policy-representaties die in staat zijn complexe gedragsdiversiteit in robotica-datasets te vangen. Het integreren van deze generatieve policies in value-gebaseerde offline RL-frameworks (zoals DDPG+BC) presenteert echter aanzienlijke moeilijkheden:

Backpropagation Through Time (BPTT): Standaard actor-critic frameworks vereisen het berekenen van gradiënten van de value-functie met betrekking tot de output-actie van de policy. Wanneer de policy een multi-step generatief proces is (het oplossen van een ODE), vereist dit backpropagation door de gehele generatieve trajectorie. Dit brengt aanzienlijke computationele overhead, numerieke instabiliteit en geheugenkosten met zich mee, met name voor hoog-dimensionale of lange-horizon taken.
Trade-offs in eerdere oplossingen: Bestaande methoden proberen BPTT te omzeilen, maar introduceren andere beperkingen. Zo distilleert Flow Q-Learning (FQL) de generatieve policy naar een single-step netwerk, wat de schaalbaarheid tijdens inferentie opoffert. Andere benaderingen (bijv. SORL, SSCP) behouden ofwel BPTT tijdens de training, of vertrouwen op hulp-verliezen (distillatie-, shortcut- of completion-losses) die de training compliceren en de voordelen van multi-step generatie beperken.

2. Methodologie: Value-Guided Flow Matching (VGFM)

De auteurs stellen VGFM voor, een schaalbaar offline RL-framework dat dense value-gevoerde policy-verbetering mogelijk maakt binnen een flow-gebaseerde policy zonder BPTT of hulp-distillatieverliezen te vereisen.

Kernconcept

VGFM parametriseert de policy als een conditionele flow-matching model in de actieruimte. In plaats van het generatieve proces te behandelen als een black box waar gradiënten vanuit de finale actie terugwaarts moeten stromen, maakt VGFM gebruik van een x-voorspellingsformulering.

Flow Formulering: De policy definieert een continue traject $\{a_t\}_{t \in [0,1]}$ van een latente ruis-sample $a_0$ naar een terminale actie $a_1$ . De dynamiek wordt beheerst door een geleerd velocity veld $u_\theta(s, a_t, t)$ .
X-Voorspelling: Het neurale netwerk voorspelt direct de terminale actie $\hat{a}_\theta(s, a_t, t)$ op elk tussenliggend tijdstip $t$ . De velocity wordt analytisch hersteld als $u_\theta = (\hat{a}_\theta - a_t) / (1-t)$ .

Belangrijke Mechanismen

Geldigheid in de Actieruimte (Lemma 1): Onder de x-voorspellings-parametrisering is de output van het netwerk $\hat{a}_\theta$ op elk tussenliggend tijdstip $t$ een geldige actie in de actieruimte $\mathcal{A}$ . Cruciaal is dat deze voorspelling direct geëvalueerd kan worden door een standaard, tijd-onafhankelijke critic $Q_\phi(s, a)$ zonder te differentiëren door de generatieve trajectorie.
Dense Value Supervisie: Omdat tussenliggende voorspellingen geldige acties zijn, past het framework een standaard value-gebaseerde loss (maximaliseren van $Q_\phi$ ) direct toe op deze tussenliggende voorspellingen. Dit maakt het mogelijk dat value-gradiënten de policy op elk gesampled flow-stap sturen, wat zorgt voor dense credit assignment zonder BPTT.
Gecombineerd Doel (Objective): Het trainingsdoel combineert twee termen:
- Gedragsregularisatie ( $L_{FM}$ ): Een flow-matching loss die het traject verankert aan de empirische datadistributie, wat zorgt voor conservatisme.
- Value Guidance ( $L_{\pi Q}$ ): Een negatieve Q-loss toegepast op de voorspelde terminale actie $\hat{a}_\theta$ op gesamplede tijdstippen.
  $L(\theta) = \alpha L_{FM}(\theta) + L_{\pi Q}(\theta)$
  Deze structuur benadert de KL-geregulariseerde policy-verbeteringsdoelstelling, waarbij $L_{FM}$ gedrag-matching afdwingt en $L_{\pi Q}$ value-guidance implementeert.

Inferentie en Schaalbaarheid

Tijdens inferentie worden acties gegenereerd door de geleerde ODE numeriek te integreren van $t=0$ tot $t=1$ . Een sleutelkenmerk van VGFM is inferentie-schaalbaarheid: het aantal integratiestappen ( $T$ ) kan worden verhoogd om computationele middelen uit te ruilen voor prestaties (het verbeteren van de controleprecisie) zonder het model opnieuw te trainen.

3. Belangrijkste Bijdragen

Value-Guided Flow Formulering: De auteurs introduceren een formulering waarbij elke stap van de flow wordt geïnterpreteerd als een return-optimaliserende beslissing in de actieruimte, waarbij een DDPG+BC-stijl doelstelling op elke stap wordt toegepast om value-gevoerde verbetering mogelijk te maken.
BPTT-vrije Policy Verbetering: Door gebruik te maken van een end-target voorspellingsdoel met velocity-space losses, maakt VGFM policy-verbetering mogelijk zonder backpropagation door de generatieve trajectorie, wat de spanning tussen dense value-guidance en trainingsstabiliteit oplost.
Schaalbare en Expressieve Prestaties: De aanpak ondersteunt inferentie-schaalbaarheid via aanpasbare ODE-discretisatie en behaalt sterke empirische prestaties over diverse robotica-manipulatie en locomotie taken.

4. Experimentele Resultaten

De methode werd geëvalueerd op de OGBench benchmark, die 40 verschillende taken beslaat over locomotie (AntMaze, HumanoidMaze, AntSoccer) en manipulatie (Cube, Scene) omgevingen.

Prestaties: VGFM behaalde de beste of bijna-beste prestaties op de meerderheid van de taakgroepen, en matchte of overtrof consistent gevestigde baselines inclusief Gaussian methoden (BC, IQL, ReBRAC), diffusie-gebaseerde methoden (IDQL, CAC) en andere flow-gebaseerde methoden (IFQL, FQL, SORL).
Trainingsefficiëntie: De methode vereiste minimale hyperparameter-tuning en vertrouwde op een enkele coëfficiënt ( $\alpha$ ) om regularisatie en value-guidance te balanceren, in tegen tegenstelling tot andere methoden die meerdere hulp-loss gewichten vereisen.
Inferentie-schaalbaarheid: Experimenten variërend in het aantal Euler-integratiestappen ( $T \in \{1, 2, 5, 10\}$ ) toonden aan dat het verhogen van de compute tijdens de testfase de succesratio's van taken en de controleprecisie verbetert. Opvallend genoeg bleef de wall-clock inferentietijd vergelijkbaar met single-step baselines (zoals FQL), ondanks het verhoogde aantal functie-evaluaties, wat praktische schaalbaarheid tijdens de testfase mogelijk maakt.

5. Betekenis en Claims

Het artikel claimt dat VGFM een eenvoudige, schaalbare en effectieve aanpak biedt voor het leren van expressieve policies in lange-horizon, doelgerichte robotcontrole. De betekenis ligt in:

Ontkoppeling van Training en Inferentie Complexiteit: Het vermijdt de computationele last van BPTT tijdens de training, terwijl het de flexibiliteit van multi-step generatie behoudt tijdens de inferentie.
Eliminatie van Hulp-overhead: In tegen tegenstelling tot voorgaande werken die distillatie-losses of shortcut-modellen vereisen, vertrouwt VGFM uitsluitend op de kern flow-matching en value-guidance termen.
Robuustheid in Offline RL: Door gedragsregularisatie direct in de flow-parametrisering in te bedden en dense value-guidance toe te passen, adresseert het effectief de distributieverschuiving terwijl het de multimodale capaciteit van generatieve modellen benut.

De auteurs positioneren VGFM als een praktisch alternatief dat de kloof overbrugt tussen de expressiviteit van generatieve modellen en de stabiliteit die vereist is voor offline reinforcement learning, met name in settings waar actie-diversiteit en multimodaliteit essentieel zijn.