Riepilogo Tecnico: BayesFP: Stima della Posteriore per Politiche basate su Flow tramite Campionamento Feynman-Kac

Definizione del Problema

I robot che operano in ambienti reali devono generare traiettorie che siano abbastanza espressive da catturare comportamenti esperti multimodali e abbastanza reattive da soddisfare vincoli di sicurezza e obiettivi specifici del compito. Una sfida critica sorge quando questi vincoli (ad esempio, evitamento di ostacoli, limiti articolari, costi energetici) sono sconosciuti al tempo di addestramento o cambiano tra le diverse implementazioni.

Gli approcci esistenti alla generazione di traiettorie vincolate rientrano generalmente in due categorie:

1. Filtraggio/Ottimizzazione post-hoc: Metodi che rettificano le rollout non vincolate utilizzando pianificatori basati su gradienti o filtri di sicurezza. Questi spesso disaccoppiano la generazione dalla correzione, portando a traiettorie fuori distribuzione, minimi locali e un elevato overhead computazionale.
2. Guida generativa: Metodi che modificano direttamente il processo di campionamento (ad esempio, guida basata su classificatore, proiezione, dinamiche riflesse). Sebbene efficaci, sono tipicamente modifiche euristiche alle dinamiche di campionamento. Mancano di una relazione principesca con una distribuzione posteriore ben definita che rispetti congiuntamente il prior dei dati appresi e i vincoli al tempo di inferenza.

La domanda centrale affrontata è: Dato una politica di diffusione o flow-matching pre-addestrata, come possiamo campionare traiettorie che rispettino un problema di ottimizzazione vincolato specificato solo al tempo di inferenza, pur rimanendo fedeli alla distribuzione dei dati appresi?

Metodologia

Gli autori formulano la generazione di traiettorie vincolate come campionamento della posteriore Bayesiana. La distribuzione dei dati appresi $p_{data}(x)$ funge da prior, e una funzione di costo $J(x)$ che codifica i vincoli al tempo di inferenza funge da verosimiglianza. L'obiettivo è campionare dalla posteriore:
$$p(x | O = 1) \propto p_{data}(x) \exp(\beta J(x))$$
dove $O=1$ indica l'ottimalità e $\beta < 0$ controlla l'intensità della distorsione indotta dal costo.

Per campionare da questa posteriore senza riaddestrare la politica di base, il paper sfrutta il framework del Correttore Feynman-Kac (FKC). I principali contributi metodologici sono:

1. Dinamiche Pesate Feynman-Kac

Inveve di aggiungere euristicamente i gradienti del costo allo score o al campo di velocità della politica, gli autori derivano un SDE (Equazione Differenziale Stocastica) pesata. Questa SDE governa l'evoluzione di una popolazione di particelle in cui ogni particella porta un log-peso $w_t$. Le dinamiche sono derivate dall'equazione PDE di Fokker-Planck della distribuzione target Gibbs-tilted.

• Correzione del Drift: Il termine di drift include una correzione consapevole del costo proporzionale a $\nabla J(x)$.
• Evoluzione del Peso: I pesi accumulano un termine di riponderazione derivato dalla discrepanza tra le dinamiche simulate e l'evoluzione della densità target. Ciò assicura che la popolazione di particelle sia uno stimatore asintoticamente non distorto della posteriore, anche se la correzione del drift è imperfetta.
• Resampling: Per mitigare la degenerazione dei pesi su orizzonti temporali lunghi, il metodo impiega tecniche di Sequential Monte Carlo (SMC), specificamente il resampling sistematico su un intervallo di tempo attivo.

2. Estensione al Flow-Matching Deterministico

Il framework FKC è stato originariamente formulato per processi di diffusione stocastica. Gli autori lo estendono alle politiche di flow-matching deterministiche (che risolvono un ODE $dx = -v_t(x)dt$) riclassificando il flow come un SDE marginal-preserving.

• Seguendo Singh e Fischer [16], introducono un termine di diffusione ausiliario $\tilde{\sigma}(t)$ e una corrispondente correzione del drift basata su score.
• Fondamentalmente, per i rectified flows con una sorgente Gaussiana, lo score $\nabla \log q_t(x)$ può essere imputato in forma chiusa dal campo di velocità appreso $v_t(x)$, eliminando la necessità di una rete di score separata.
• Questa costruzione permette di applicare il framework FKC uniformemente sia alle politiche di diffusione che a quelle di flow-matching.

3. Garanzie Teoriche

Il paper fornisce una garanzia teorica (Corollario 4.2) che, all'aumentare dei pesi di penalità e dell'ampiezza della temperatura inversa $|\beta|$, la posterità Gibbs-tilted si concentra arbitrariamente in modo stretto su traiettorie che sono fattibili e vicine all'ottimo. Ciò implica che il metodo può soddisfare i vincoli senza richiedere filtri di sicurezza esterni o pianificatori di backup.

Contributi Chiave

1. Formulazione Principesca: Il lavoro inquadra la generazione di traiettorie vincolate come inferenza Bayesiana, offrendo un'alternativa principesca alla guida euristica e alla proiezione post-hoc.
2. Sampler Unificato: Instanzia la posteriore come un SDE pesato Feynman-Kac, estendendo il framework dai modelli di diffusione stocastica alle politiche di flow-matching deterministiche tramite la riclassificazione in SDE marginal-preserving.
3. Convergenza Teorica: Dimostra che la posteriore risultante si concentra su soluzioni fattibili e quasi-ottime sotto una sufficiente forza di penalità.
4. Validazione Empirica: L'approccio è validato attraverso compiti simulati e nel mondo reale utilizzando modelli pre-addestrati (Diffusion Policy, GR00T-N1.6 e $\pi0.5$), dimostrando successo nella pianificazione attorno a ostacoli non convessi introdotti al tempo di inferenza.

Risultati Sperimentali

Gli autori hanno valutato BayesFP su diversi benchmark, confrontandolo con baseline che includono la Guida per Combinazione Lineare, CASF (Constraint-Aware Streaming Flow) e JM2D (Joint Model-based Model-free Diffusion).

• Compiti di Simulazione:
  • Diffusion Policy: Sui compiti RoboMimic (Can, Transport) con ostacoli cilindrici aggiunti, BayesFP ha ottenuto uno 0% di tasso di collisione rispetto al 30% (No Guidance) e al 2% (Linear Combination).
  • GR00T-N1.6: Sui compiti LIBERO-Object con ostacoli cilindrici e non convessi a forma di V, BayesFP ha ottenuto rispettivamente tassi di successo dell'84% e del 75%, superando significativamente le baseline che faticavano con geometrie non convesse.
  • $\pi0.5$: Sui compiti zero-shot RoboLab (es. FoodPacking, BBQSauce), BayesFP ha migliorato i tassi di successo (es. 36% vs 28% per HammersInLeftBin) e ridotto i tassi di collisione rispetto alle baseline di combinazione lineare.
• Esperimenti nel Mondo Reale:
  • Utilizzando un braccio SO101 perfezionato con soli 20 esempi, BayesFP ha gestito con successo un compito di PickAndPlace con un ostacolo (una tazza) introdotto all'inferenza (riducendo la collisione dal 98% al 6%) e un compito di BimodalMugSelection dove un vincolo linguistico è stato rinforzato da un vincolo di costo per sopprimere un modo indesiderato (ottenendo una selezione della tazza corretta del 100% rispetto al 72% della baseline).
• Ablazioni:
  • Aumentare il numero di particelle ($K$) ha migliorato le prestazioni, ma la saturazione è avvenuta intorno a $K=4$ per ostacoli semplici.
  • L'aumento della forza di guida $|\beta|$ ha portato a un decadimento esponenziale delle violazioni dei vincoli, in linea con le previsioni teoriche.

Significato e Rivendicazioni

Il paper afferma che BayesFP fornisce un sampler unificato, al tempo di inferenza e senza necessità di riaddestramento sia per le politiche di diffusione che di flow. Il suo significato primario risiede in:

• Guida Principesca: A differenza dei metodi di combinazione lineare che campionano da una somma di distribuzioni, BayesFP campiona dal vero prodotto (posteriore) del prior e della verosimiglianza del costo, garantendo un trattamento matematicamente coerente dei vincoli.
• Gestione della Non-Convessità: Campionando intere traiettorie dalla posteriore invece di applicare correzioni di gradiente locali, il metodo gestisce naturalmente ostacoli non convessi e spazi di soluzione multimodali.
• Generalità: Il framework è agnostico rispetto all'architettura della politica di base (diffusione o flow) e alla natura specifica dei vincoli, purché possano essere codificati in una funzione di costo differenziabile.

Gli autori riconoscono i limiti, notando un rallentamento computazionale (1.25–2$\times$) dovuto alla natura sequenziale della costruzione della Funzione di Distanza con Segno (SDF) e all'overhead della simulazione delle particelle, sebbene ciò sia mitigato dall'esecuzione parallela su GPU. Notano inoltre il requisito che la funzione di costo sia differenziabile. Il lavoro futuro suggerisce di estendere il framework alle politiche di flow in streaming per il controllo a bassa latenza e di incorporare rappresentazioni di vincoli più ricche.