Generative Control as Optimization: Time Unconditional Flow Matching for Adaptive and Robust Robotic Control

Titel: Generatieve Controle als Optimalisatie: Tijd-voorwaardelijke Flow Matching voor Adaptieve en Robuuste Robotische Controle

1. Het Probleem

Huidige methoden voor robotische imitatieleer, zoals diffusiemodellen en flow matching, zijn gebaseerd op tijd-voorwaardelijke dynamische systemen. Deze modellen leren vectorvelden die evolueren volgens een vooraf gedefinieerde fictieve tijdschema ($t \in [0, 1]$). Dit leidt tot een fundamentele structurele inefficiëntie:

• Rigide Integratie: De inferentie is gebonden aan een vast aantal integratiestappen, ongeacht de complexiteit van de huidige robottoestand. Het beleid moet evenveel rekenkracht besteden aan triviale bewegingen (bijv. reiken in een lege ruimte) als aan complexe taken (bijv. delicate manipulatie).
• Gebrek aan Intrinsic Veiligheid: Omdat het vectorveld tijd-variabel is, bestaat er geen stationair energie-landschap. Dit maakt het moeilijk om de geldigheid van een actie te verifiëren of Out-of-Distribution (OOD) scenario's (anomalieën) te detecteren zonder extra netwerken of ensemble-methoden.
• Blind Integreren: Het systeem kan niet "vroegtijdig stoppen" als een oplossing al gevonden is, wat leidt tot verspilling van computatiemiddelen.

2. Methodologie: GeCO (Generative Control as Optimization)

De auteurs introduceren GeCO, een raamwerk dat actie-synthese herformuleert van tijdsafhankelijke integratie naar iteratieve optimalisatie in een tijd-voorwaardeloos (time-unconditional) vectorveld.

• Stationair Vectorveld: In plaats van een veld dat verandert met tijd, leert GeCO één enkel stationair snelheidsveld $f_\theta(x, s_t)$ in de ruimte van actiesequenties. Expert-gedrag vormt stabiele attractoren (evenwichtspunten) in dit veld.
• Snelheidsrescaling: Om robuuste convergentie in continue actie-ruimtes te garanderen, wordt een rescaling-mechanisme gebruikt. De grootte van het veld neemt af naarmate de afstand tot het expert-manifold kleiner wordt. Dit creëert een "geometriske put" rond de doelmodi, waardoor het veld automatisch naar nul convergeert bij de optimale actie.
• Adaptieve Inferentie: Tijdens inferentie wordt het probleem opgelost als een optimalisatieprobleem (bijv. via gradiëntafstijging):
  $$a^{(k+1)} = a^{(k)} - \eta_k f_\theta(a^{(k)}, s_t)$$
  Het proces stopt niet op een vast tijdstip, maar wanneer het veldnormaal $\|f_\theta\|$ onder een drempelwaarde $\tau$ zakt. Dit betekent dat het systeem adaptief is: het gebruikt weinig stappen voor eenvoudige taken en meer stappen voor complexe taken.
• Intrinsieke OOD-detectie: De geometrie van het stationaire veld biedt een gratis veiligheidsmechanisme.
  • Voor In-Distribution (ID) toestanden convergeert het veld naar nul (laag norm).
  • Voor Out-of-Distribution (OOD) toestanden (anomalieën) is er geen geleerd manifold om op te convergeren, waardoor het veld een persistent hoge norm behoudt. De grootte van dit veld fungeert direct als een onzekerheidsmeting zonder extra training.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De overgang van tijdsafhankelijke integratie naar tijd-voorwaardelijke optimalisatie, waardoor inferentie adaptief wordt op basis van taakcomplexiteit.
2. Plug-and-Play Integratie: GeCO kan direct worden gebruikt als vervanging voor standaard flow-matching heads in moderne Vision-Language-Action (VLA) modellen (zoals de $\pi_0$-serie) met minimale architecturale aanpassingen.
3. Training-vrije Veiligheid: Het introduceren van een intrinsieke, op optimalisatie gebaseerde OOD-detectiemethode die anomalieën detecteert op basis van de convergentie-eigenschappen van het vectorveld.
4. Scalabiliteit en Efficiëntie: Demonstratie dat het systeem schaalbaar is tot grote foundation modellen en aanzienlijk minder rekenkracht vereist voor vergelijkbare of betere prestaties.

4. Resultaten

De auteurs hebben GeCO gevalideerd op diverse simulatiebenchmarks en in de echte wereld:

• Efficiëntie vs. Prestaties (LIBERO Benchmark):
  • GeCO met een budget van slechts 5 stappen overtreft een standaard Rectified Flow-model met 20 vaste stappen (91,9% succes vs. 90,0%), wat een reductie van 75% in rekenkosten betekent.
  • Bij een budget van 20 stappen bereikt GeCO een pieksucces van 93,5%, waarbij het gemiddelde aantal stappen (NFE) slechts 11,6 bedraagt, wat aantoont dat het systeem automatisch meer tijd investeert in complexe situaties.
• Scalabiliteit naar VLA-modellen:
  • Geïntegreerd in $\pi_0$-modellen op VLABench en RoboTwin 2.0. GeCO verbeterde de succespercentages aanzienlijk, vooral bij taken die semantische gronding en robuustheid vereisen (bijv. van 18% naar 28% succes in de "Hard" setting van RoboTwin).
• OOD-detectie:
  • Op de LIBERO-suite (overgang van Goal naar Spatial distributies) bereikte GeCO een AUROC van 0,93 voor het detecteren van anomalieën, vergeleken met 0,53 voor een baseline op basis van verlies.
  • Het systeem kon OOD-episoden 42-44% eerder detecteren en stoppen, wat aanzienlijke tijd en risico bespaart.
• Real-World Experimenten:
  • Op een fysieke Galaxea R1 Lite-robot presteerde GeCO aanzienlijk beter bij precisietaken (Nootassemblage en Chemie-buisarrangement) met een succesrate van 70-80% tegenover 10-20% voor de baseline, terwijl het gemiddelde aantal stappen (NFE) lager was (5.1 vs 10.0).

5. Betekenis en Impact

Dit paper biedt een fundamentele verbetering in hoe generatieve modellen voor robotica worden ontworpen. Door de afhankelijkheid van een rigide tijdschema te verwijderen, lost GeCO het probleem van "blind integreren" op en introduceert het een natuurlijke koppeling tussen taakcomplexiteit en rekenkosten.

De belangrijkste implicaties zijn:

• Efficiëntie: Robots kunnen sneller reageren op eenvoudige taken door minder iteraties uit te voeren.
• Veiligheid: Het biedt een ingebouwde, trainingsvrije methode om onveilige of ongebruikelijke situaties te detecteren, wat cruciaal is voor het veilig inzetten van robots in ongestructureerde omgevingen.
• Toepasbaarheid: De "plug-and-play" aard maakt het direct toepasbaar op de nieuwste generatie Vision-Language-Action modellen, waardoor de drempel voor adoptie laag is.

Kortom, GeCO transformeert generatieve controle van een statisch integratieproces naar een dynamisch, adaptief en veilig optimalisatieramenwerk.