Technische Samenvatting: BayesFP: Posterior Estimatie voor Flow-gebaseerde Policies via Feynman-Kac Sampling

Probleemstelling

Robots die opereren in realistische omgevingen moeten trajecten genereren die zowel expressief genoeg zijn om multimodale expertgedragingen te vangen als reactief genoeg om aan veiligheidsrestricties en taakspecifieke doelstellingen te voldoen. Een kritieke uitdaging ontstaat wanneer deze restricties (bijv. obstakelvermijding, gewrichtslimieten, energiekosten) tijdens de training onbekend zijn of tussen deployements door veranderen.

Bestaande benaderingen voor geconstreerde trajectgeneratie vallen over het algemeen uiteen in twee categorieën:

1. Post-hoc filtering/optimalisatie: Methoden die ongeconstreerde rollouts corrigeren met behulp van gradiënt-gebaseerde planners of veiligheidsfilters. Deze ontkoppelen generatie vaak van correctie, wat leidt tot trajecten buiten de distributie (out-of-distribution), lokale minima en een hoge computationele overhead.
2. Generatieve sturing (Generative guidance): Methoden die het samplingsproces direct modificeren (bijv. classifier-gebaseerde sturing, projectie, gereflecteerde dynamica). Hoewel effectief, zijn dit typisch heuristische modificaties aan de sampling-dynamica. Ze missen een fundamentele relatie tot een goed gedefinieerde posterior distributie die de geleerde data-prior en de restricties tijdens de inferentie gezamenlijk respecteert.

De centrale vraag die wordt geadresseerd is: Gegeven een vooraf getrainde diffusie- of flow-matching policy, hoe kunnen we trajecten samplen die een geconstreerde optimalisatieprobleem respecteren dat pas tijdens de inferentie wordt gespecificeerd, terwijl ze getrouw blijven aan de geleerde demonstratie-distributie?

Methodologie

De auteurs formuleren geconstreerde trajectgeneratie als Bayesiaanse posterior sampling. De geleerde demonstratie-distributie $p_{data}(x)$ dient als een prior, en een kostenfunctie $J(x)$ die de restricties tijdens de inferentie codeert, dient als een likelihood. Het doel is om te samplen uit de posterior:
$$p(x | O = 1) \propto p_{data}(x) \exp(\beta J(x))$$
waarbij $O=1$ optimaliteit aangeeft en $\beta < 0$ de sterkte van de door kosten geïnduceerde tilt controleert.

Om uit deze posterior te samplen zonder de basispolicy te hertrainen, maakt het artikel gebruik van het Feynman-Kac Corrector (FKC) framework. De belangrijkste methodologische bijdragen zijn:

1. Feynman-Kac Gewogen Dynamica

In plaats van heuristisch kosten-gradiënten toe te voegen aan de score of het snelheidveld van de policy, leiden de auteurs een gewogen Stochastische Differentiaalvergelijking (SDE) af. Deze SDE regelt de evolutie van een deeltjespopulatie waarbij elk deeltje een log-gewicht $w_t$ draagt. De dynamica is afgeleid van de Fokker-Planck PDE van de doel-Gibbs-tilted distributie.

• Drift Correctie: De drift-term bevat een kosten-bewuste correctie proportioneel aan $\nabla J(x)$.
• Gewichtsevolutie: De gewichten accumuleren een herwegings-term afgeleid van de discrepantie tussen de gesimuleerde dynamica en de evolutie van de doel-densiteit. Dit zorgt ervoor dat de deeltjespopulatie een asymptotisch onbevooroordeelde estimator is van de posterior, zelfs als de drift-correctie imperfect is.
• Resampling: Om gewichtsdegeneratie over lange horizonten te voorkomen, gebruikt de methode Sequential Monte Carlo (SMC) technieken, specifiek systematische resampling over een actief tijdsinterval.

2. Uitbreiding naar Deterministische Flow-Matching

Het FKC-framework was oorspronkelijk geformuleerd voor stochastische diffusieprocessen. De auteurs breiden het uit naar deterministische flow-matching policies (die een ODE $dx = -v_t(x)dt$ oplossen) door de flow te herformuleren als een marginal-preserverende SDE.

• Volgens Singh en Fischer [16] introduceren zij een hulp-diffusie term $\tilde{\sigma}(t)$ en een bijbehorende score-gebaseerde drift-correctie.
• Cruciaal is dat voor rectified flows met een Gaussische bron, de score $\nabla \log q_t(x)$ in gesloten vorm kan worden geïmputeerd uit het geleerde snelheidveld $v_t(x)$, wat de noodzaak voor een aparte score-netwerk elimineert.
• Deze constructie maakt het mogelijk om het FKC-framework uniform toe te passen op zowel diffusie- als flow-matching policies.

3. Theoretische Garanties

Het artikel biedt een theoretische garantie (Corollary 4.2) dat naarmate de penalty-gewichten en de magnitude van de inverse temperatuur $|\beta|$ toenemen, de Gibbs-tilted posterior willekeurig nauw convergeert naar trajecten die haalbaar en nabij-optimaal zijn. Dit impliceert dat de methode restricties kan voldoen zonder externe veiligheidsfilters of backup-planners te vereisen.

Belangrijkste Bijdragen

1. Geprincipeerde Formulering: Dit werk herformuleert geconstreerde trajectgeneratie als Bayesiaanse inferentie, wat een fundamenteel alternatief biedt voor heuristische sturing en post-hoc projectie.
2. Verenigde Sampler: Het instantiëren van de posterior als een Feynman-Kac gewogen SDE, waarbij het framework wordt uitgebreid van stochastische diffusiemodellen naar deterministische flow-matching policies via marginal-preserverende SDE herformulering.
3. Theoretische Convergentie: Het bewijst dat de resulterende posterior convergeert naar haalbare, nabij-optimale oplossingen onder voldoende penalty-sterkte.
4. Empirische Validatie: De aanpak wordt gevalideerd over gesimuleerde en real-world taken met behulp van vooraf getrainde modellen (Diffusion Policy, GR00T-N1.6, en $\pi0.5$), waarbij succes wordt aangetoond bij het plannen rond niet-convexe obstakels die tijdens de inferentie zijn geïntroduceerd.

Experimentele Resultaten

De auteurs evalueerden BayesFP op verschillende benchmarks en vergeleken het met baselines inclusief Linear-Combination Guidance, CASF (Constraint-Aware Streaming Flow), en JM2D (Joint Model-based Model-free Diffusion).

• Simulatie Taken:
  • Diffusion Policy: Op RoboMimic taken (Can, Transport) met toegevoegde cilindrische obstakels bereikte BayesFP een botsingspercentage van 0% vergeleken met 30% (No Guidance) en 2% (Linear Combination).
  • GR00T-N1.6: Op LIBERO-Object taken met cilindrische en niet-convexe V-vormige obstakels bereikte BayesFP respectievelijk 84% en 75% succespercentages, waarmee het significant presteerde ten opzichte van baselines die moeite hadden met niet-convexe geometrieën.
  • $\pi0.5$: Op zero-shot RoboLab taken (bijv. FoodPacking, BBQSauce), verbeterde BayesFP de succespercentages (bijv. 36% vs 28% voor HammersInLeftBin) en verminderde het botsingspercentages vergeleken met lineaire combinatie baselines.
• Real-World Experimenten:
  • Met behulp van een SO101 arm die gefinetuned is met slechts 20 demonstraties, handelde BayesFP succesvol een PickAndPlace taak met een mok-obstakel dat tijdens de inferentie werd geïntroduceerd (waardoor de botsingen werden teruggebracht van 98% naar 6%) en een BimodalMugSelection taak waarbij een taalrestrictie werd versterkt door een kostenrestrictie om een ongewenste modus te onderdrukken (bereikte 100% correcte mok-selectie versus 72% voor de baseline).
• Ablaties:
  • Het verhogen van het aantal deeltjes ($K$) verbeterde de prestaties, maar verzadigde rond $K=4$ voor eenvoudige obstakels.
  • Het verhogen van de sturing-sterkte $|\beta|$ leidde tot een exponentiële afname van restrictie-schendingen, consistent met de theoretische voorspellingen.

Betekenis en Claims

Het artikel claimt dat BayesFP een verenigde, tijdens de inferentie bruikbare, zonder hertraining werkende sampler biedt voor zowel diffusie- als flow-policies. De primaire betekenis ligt in:

• Geprincipeerde Sturing: In tegenstelling tot lineaire combinatie-methoden die samplen uit een som van distributies, sampt BayesFP uit de ware product (posterior) van de prior en de kosten-likelihood, wat zorgt voor een wiskundig consistente behandeling van restricties.
• Omgaan met Niet-Convexiteit: Door hele trajecten te samplen vanuit de posterior in plaats van lokale gradiënt-correcties toe te passen, kan de methode van nature omgaan met niet-convexe obstakels en multimodale oplossingsruimtes.
• Generaliteit: Het framework is agnostisch voor de basispolicy-architectuur (diffusie of flow) en de specifieke aard van de restricties, mits deze kunnen worden gecodeerd in een differentieerbare kostenfunctie.

De auteurs erkennen beperkingen, waarbij zij opmerken dat er een computationele vertraging optreedt (1.25–2$\times$) door de sequentiële aard van de constructie van de Signed Distance Function (SDF) en de overhead van de deeltjessimulatie, hoewel dit wordt gemitigeerd door parallelle GPU-executie. Zij merken ook op dat de kostenfunctie differentieerbaar moet zijn. Toekomstig werk wordt gesuggereerd om het framework uit te breiden naar streaming flow policies voor lage-latentie controle en om rijkere restrictie-representaties te incorporeren.