Resumen Técnico: BayesFP: Estimación de la Posterior para Políticas Basadas en Flujo mediante Muestreo de Feynman-Kac

Planteamiento del Problema

Los robots que operan en entornos del mundo real deben generar trayectorias que sean lo suficientemente expresivas para capturar comportos expertos multimodales y lo suficientemente reactivas para satisfacer restricciones de seguridad y objetivos específicos de la tarea. Un desafío crítico surge cuando estas restricciones (por ejemplo, evitación de obstáculos, límites articulares, costos de energía) son desconocidas en el momento del entrenamiento o cambian entre despliegues.

Los enfoques existentes para la generación de trayectorias con restricciones generalmente se dividen en dos categorías:

1. Filtrado/optimización post-hoc: Métodos que rectifican ejecuciones (rollouts) no restringidas utilizando planificadores basados en gradientes o filtros de seguridad. Estos suelen desacoplar la generación de la corrección, lo que conduce a trayectorias fuera de la distribución, mínimos locales y una alta carga computacional.
2. Guía generativa: Métodos que modifican directamente el proceso de muestreo (por ejemplo, guía basada en clasificadores, proyección, dinámica reflejada). Aunque son efectivos, suelen ser modificaciones heurísticas de la dinámica de muestreo. Carecen de una relación fundamentada con una distribución posterior bien definida que respete conjuntamente la distribución previa de los datos aprendidos y las restricciones en el tiempo de inferencia.

La pregunta central que aborda este trabajo es: Dada una política de difusión o de ajuste de flujo (flow-matching) preentrenada, ¿cómo podemos muestrear trayectorias que respeten un problema de optimización con restricciones especificado únicamente en el tiempo de inferencia, permaneciendo fieles a la distribución de demostraciones aprendida?

Metodología

Los autores formulan la generación de trayectorias con restricciones como un muestreo de la posterior bayesiana. La distribución de demostraciones aprendida $p_{data}(x)$ sirve como una distribución prior, y una función de costo $J(x)$ que codifica las restricciones en el tiempo de inferencia actúa como una verosimilitud (likelihood). El objetivo es muestrear de la posterior:
$$p(x | O = 1) \propto p_{data}(x) \exp(\beta J(x))$$
donえ $O=1$ indica optimalidad y $\beta < 0$ controla la fuerza de la inclinación inducida por el costo.

Para muestrear de esta posterior sin reentrenar la política base, el artículo aprovecha el marco del Corrector de Feynman-Kac (FKC). Las contribuciones metodológicas clave son:

1. Dinámica ponderada de Feynman-Kac

En lugar de añadir heurísticamente gradientes de costo al score o al campo de velocidad de la política, los autores derivan una EDO (Ecuación Diferencial Ordinaria) ponderada. Esta EDO gobierna la evolución de una población de partículas donde cada partícula porta un peso logarítmico $w_t$. La dinámica se deriva de la PDE de Fokker-Planck de la distribución objetivo con inclinación de Gibbs.

• Corrección de Deriva (Drift): El término de deriva incluye una corrección sensible al costo proporcional a $\nabla J(x)$.
• Evolución de Pesos: Los pesos acumulan un término de reponderación derivado de la discrepancia entre la dinámica simulada y la evolución de la densidad objetivo. Esto asegura que la población de partículas sea un estimador asintóticamente insesgado de la posterior, incluso si la corrección de la deriva es imperfecta.
• Remuestreo: Para mitigar la degeneración de pesos en horizontes largos, el método emplea técnicas de Monte Carlo Secuencial (SMC), específicamente el remuestreo sistemático sobre un intervalo de tiempo activo.

2. Extensión a Flow-Matching Determinista

El marco FKC fue formulado originalmente para procesos de difusión estocásticos. Los autores lo extienden a políticas de ajuste de flujo (flow-matching) deterministas (que resuelven una EDO $dx = -v_t(x)dt$) recategorizando el flujo como una EDO marginalmente preservante.

• Siguiendo a Singh y Fischer [16], introducen un término de difusión auxiliar $\tilde{\sigma}(t)$ y una correspondiente corrección de deriva basada en el score.
• Crucialmente, para flujos rectificados con una fuente Gaussiana, el score $\nabla \log q_t(x)$ puede imputarse en forma cerrada a partir del campo de velocidad aprendido $v_t(x)$, eliminando la necesidad de una red de score separada.
• Esta construcción permite que el marco FKC se aplique uniformemente tanto a políticas de difusión como de ajuste de flujo.

3. Garantías Teóricas

El artículo proporciona una garantía teórica (Corolario 4.2) de que a medida que los pesos de penalización y la magnitud de la temperatura inversa $|\beta|$ aumentan, la posterior de Gibbs se concentra arbitrariamente de forma estrecha en trayectorias que son factibles y cercanas a la optimalidad. Esto implica que el método puede satisfacer restricciones sin requerir filtros de seguridad externos o planificadores de respaldo.

Contribuciones Clave

1. Formulación Fundamentada: El trabajo replantea la generación de trayectorias con restricciones como inferencia bayesiana, ofreciendo una alternativa fundamentada a la guía heurística y la proyección post-hoc.
2. Muestreador Unificado: Instancia la posterior como una EDO ponderada de Feynman-Kac, extendiendo el marco desde modelos de difusión estocástica hacia políticas de ajuste de flujo deterministas mediante la recategorización de EDO marginalmente preservante.
3. Convergencia Teórica: Demuestra que la posterior resultante se concentra en soluciones factibles y cercanas a la optimalidad bajo una fuerza de penalización suficiente.
4. Validación Empírica: El enfoque se valida en diversas tareas simuladas y del mundo real utilizando modelos preentrenados (Diffusion Policy, GR00T-N1.6 y $\pi0.5$), demostrando éxito al planificar alrededor de obstáculos no convexos introducidos en la inferencia.

Resultados Experimentales

Los autores evaluaron BayesFP en varios benchmarks, comparándolo con líneas base que incluyen Linear-Combination Guidance, CASF (Constraint-Aware Streaming Flow) y JM2D (Joint Model-based Model-free Diffusion).

• Tareas de Simulación:
  • Diffusion Policy: En tareas de RoboMimic (Can, Transport) con obstáculos cilíndricos añadidos, BayesFP logró una tasa de colisión del 0% frente al 30% (Sin Guía) y al 2% (Combinación Lineal).
  • GR00T-N1.6: En tareas de LIBERO-Object con obstáculos cilíndricos y no convexos en forma de V, BayesFP logró tasas de éxito del 84% y 75% respectivamente, superando significativamente a las líneas base que tuvieron dificultades con geometrías no convexas.
  • $\pi0.5$: En tareas de RoboLab zero-shot (ej. FoodPacking, BBQSauce), BayesFP mejoró las tasas de éxito (ej. 36% vs 28% para HammersInLeftBin) y redujo las tasas de colisión en comparación con las líneas base de combinación lineal.
• Experimentos en el Mundo Real:
  • Utilizando un brazo SO101 ajustado finamente con solo 20 demostraciones, BayesFP manejó con éxito una tarea de PickAndPlace con un obstáculo (una taza) introducido en la inferencia (reduciendo la colisión del 98% al 6%) y una tarea de BimodalMugSelection donde una restricción de lenguaje fue reforzada por una restricción de costo para suprimir un modo no deseado (logrando una selección de taza correcta del 100% frente al 72% de la línea base).
• Ablaciones:
  • Aumentar el número de partículas ($K$) mejoró el rendimiento, pero se saturó alrededor de $K=4$ para obstáculos simples.
  • Aumentar la fuerza de la guía $|\beta|$ condujo a un decaimiento exponencial en las violaciones de restricciones, consistente con las predicciones teóricas.

Significado y Reivindicaciones

El artículo afirma que BayesFP proporciona un muestreador unificado, en tiempo de inferencia y sin necesidad de reentrenamiento tanto para políticas de difusión como de flujo. Su principal importancia radica en:

• Guía Fundamentada: A diferencia de los métodos de combinación lineal que muestrean de una suma de distribuciones, BayesFP muestrea de la verdadera producto (posterior) de la prior y la verosimilitud del costo, asegurando un tratamiento matemáticamente consistente de las restricciones.
• Manejo de No Convexidad: Al muestrear trayectorias completas desde la posterior en lugar de aplicar correcciones de gradiente locales, el método maneja naturalmente obstáculos no convexos y espacios de solución multimodales.
• Generalidad: El marco es agnóstico a la arquitectura de la política base (difusión o flujo) y a la naturaleza específica de las restricciones, siempre que puedan codificarse en una función de costo diferenciable.

Los autores reconocen limitaciones, señalando una ralentización computacional (1.25–2$\times$) debido a la naturaleza secuencial de la construcción de la Función de Distancia con Signo (SDF) y la sobrecarga de la simulación de partículas, aunque esto se mitiga mediante la ejecución paralela en GPU. También señalan el requisito de que la función de costo sea diferenciable. Se sugiere como trabajo futuro extender el marco a políticas de flujo de transmisión (streaming flow) para control de baja latencia e incorporar representaciones de restricciones más ricas.