Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

Technische Samenvatting: LeaP - Een leerbare bron-prior voor generatieve robotbeleid

Probleemstelling
Generatieve robotbeleid, inclusief diffusie-gebaseerde en flow-matching benaderingen, formuleert de generatie van acties doorgaans als conditionele sampling. Ondanks architecturale diversiteit delen deze methoden een gemeenschappelijke beperking: ze initialiseren de actiegeneratie vanuit een observatie-onafhankelijke standaard Gaussische distributie, $N(0, I)$. Deze bronverdeling bevat geen informatie over de huidige robotstatus of de taakcontext. Bijgevolg moet het generatieve model een aanzienlijk deel van zijn "integratiebudget" besteden aan het transporteren van samples van deze ongeïnformeerde ruisbron naar taakrelevante acties. Hoewel recente werken hebben geprobeerd deze standaard Gaussische verdeling te vervangen door deterministische, observatie-afgeleide bronnen (bijv. punt-schattingen uit proprioceptie of visuele latents), negeren zij grotendeels de onzekerheid die inherent is aan de bronverdeling. De centrale vraag die dit werk adresseert is: Waar moet de actiegeneratie beginnen? specifiek onderzoekend of de bron deterministisch of distributioneel moet zijn, en of de variantie, indien distributioneel, vast of staat-adaptief moet zijn.

Methodologie: LeaP
De auteurs stellen LeaP (Learnable source Prior) voor, een framework dat de standaard Gaussische bron vervangt door een proprioceptie-geconditioneerde, leerbare diagonale Gaussische verdeling over actie-chunks. De kerncomponenten zijn:

1. Prior Netwerk ($g_\phi$): Een lichtgewicht twee-laags MLP die proprioceptieve staat-features ($z_s$) mapt naar het gemiddelde ($\mu_\phi$) en de staat-adaptieve variantie ($\sigma^2_\phi$) van een diagonale Gaussische verdeling. Cruciaal is dat de prior alleen conditioneel is op proprioceptie, waardoor de volledige conditionering (visueel + proprioceptief) wordt overgelaten aan de downstream generator.
2. Stochastische Initialisatie: Tijdens de inferentie wordt de bron-sample $z_0$ getrokken uit deze geleerde Gaussische verdeling $q_\phi(z_0 | z_s)$ in plaats van $N(0, I)$. Dit levert een initialisatie op die zowel observatie-geïnformeerd (verankerd in een staat-afhankelijke buurt) als stochastisch is.
3. Plug-and-Play Ontwerp: LeaP modificeert alleen de bronverdeling. De downstream generator-architectuur (bijv. flow-matching of diffusion-bridge), de generatieve dynamiek en de inferentie-solver blijven ongewijzigd.
4. Gezamenlijk Trainingsdoel: Het prior-netwerk en de generator worden end-to-end getraind met een samengestelde verliesfunctie:
   • Flow Matching Verlies ($L_{flow}$): Superviseert het snelheidveld $v_\theta$ om $z_0$ te transporteren naar de doelactie.
   • Negative Log-Likelihood ($L_{NLL}$): Superviseert de conditionele dichtheid van de prior, waardoor wordt gewaarborgd dat het voorspelde gemiddelde en de variantie overeenkomen met expert actie-chunks.
   • Contrastieve Alignment Verlies ($L_{align}$): Een CLIP-stijl symmetrische loss die instance-niveau correspondentie afdwingt tussen bron-samples en acties in een geleerde embedding-ruimte.

Belangrijkste Bijdragen

• Herformulering van de Bronverdeling: Het artikel identificeert de bronverdeling als een onafhankelijke en herbruikbare ontwerp-as voor generatieve beleid, onderscheidend van de keuze van generatieve dynamiek.
• Staat-Adaptieve Variantie: In tegen tegenstelling tot eerdere deterministische bronnen of fixed-variance heuristieken, leert LeaP gezamenlijk het gemiddelde en een staat-adaptieve variantie, waarbij de bron-onzekerheid expliciet wordt gemodelleerd.
• Modaliteit Selectie: De auteurs demonstreren dat proprioceptieve staat alleen voldoende is om de prior te parametriseren, en dat het integreren van visuele features in de prior de prestaties in hun setting juist verslechtert.
• Plug-and-Play Compatibiliteit: De methode verbetert zowel flow-matching als diffusion-bridge generatoren zonder hun interne architecturen te wijzigen.

Experimentele Resultaten
De auteurs evalueerden LeaP op 15 bimanuele manipulatietaken in de RoboTwin 2.0 simulatieomgeving en drie real-world taken op een Franka Research 3 robot.

• Simulatieprestaties: LeaP bereikte een gemiddeld succespercentage van 81,6%, waarmee het vier representatieve baselines (deterministische-bron methoden A2A, VITA, een NoPrior tegenhanger, en een diffusion-bridge beleid) versloeg met 6,5 tot 25,5 procentpunt. De grootste kloof (25,5 pp) werd waargenomen tegenover de "NoPrior" baseline, die exact dezelfde generator-architectuur deelde maar $N(0, I)$ gebruikte, wat bevestigt dat de winst voortkomt uit de leerbare prior zelf.
• Efficiëntie: LeaP gebruikt aanzienlijk minder parameters (13,22M totaal, waarbij de prior head slechts 0,21M beslaat) vergeleken met baselines zoals ACT of BridgePolicy. Het vertoont ook een snellere en stabielere trainingsconvergentie.
• Real-World Deployment: In real-world experimenten behield LeaP de top performance met een gemiddeld succespercentage van 80,0%, waarmee het de op één na beste baseline (A2A) versloeg met 11,7 procentpunt.
• Ablatie-studies:
  • Input Modaliteit: Het conditioneren van de prior op enkel proprioceptie leverde de beste resultaten op; het fuseren van visuele features in de prior verminderde de prestaties.
  • Parametrisatie: Het gezamenlijk leren van gemiddelde en staat-adaptieve variantie was cruciaal; deterministische of fixed-variance alternatieven presteerden slechter.
  • Generators: De prior verbeterde consequent de prestaties over verschillende generator-backbones heen.

Betekenis en Claims
Het artikel claimt dat de bronverdeling een kritische, maar onderbelichte ontwerpdimensie is in generatieve robotbeleid. Door te verschuiven van een ongeïnformeerde standaard Gaussische verdeling naar een leerbare, proprioceptie-geconditioneerde stochastische prior, wordt de generator bevrijd van de last om samples te transporteren van een verre ruisbron. In plaats daarvan plaatst de prior de initiële sample in een "proprioceptief plausibele regio", waardoor de generator zich kan concentreren op precieze, observatie-geconditioneerde verfijning. De auteurs stellen dat deze aanpak een laag-overhead hefboom biedt om de prestaties, convergentiesnelheid en robuustheid van het beleid te verbeteren, als aanvulling op bestaande keuzes in generatieve dynamiek.