Adaptive Linear Path Model-Based Diffusion

Resumen Técnico: Difusión Basada en Modelo de Trayectoria Lineal Adaptativa

Declaración del Problema
La integración de modelos de difusión con el control basado en modelos ha mostrado resultados prometedores en la resolución de problemas complejos de optimización de trayectorias que involucran dinámicas no lineales y restricciones no convexas. Sin embargo, el rendimiento de los enfoques existentes de Difusión Basada en Modelo (MBD, por sus siglas en inglés) es altamente sensible al diseño de los parámetros de programación del ruido. En los esquemas estándar de preservación de la varianza (VP), parámetros como los extremos de ruido y el número total de pasos de difusión están intrínsecamente acoplados. Este acople dificulta aislar el efecto de los parámetros individuales en el equilibrio entre exploración y refinamiento, lo que a menudo conduce a elecciones excesivamente conservadoras o requiere una extensa experimentación de ensayo y error. Además, los parámetros óptimos varían frecuentemente según el estado del sistema y la complejidad de la tarea, sin embargo, los marcos de trabajo tradicionales de MBD utilizan esquemas fijos que no pueden adaptarse a estas condiciones cambiantes.

Metodología
Los autores proponen un marco de dos etapas para abordar estas limitaciones: Difusión Basada en Modelo de Trayectoria Lineal (LP-MBD) y LP-MBD Adaptativa (ALP-MBD).

1. Difusión Basada en Modelo de Trayectoria Lineal (LP-MBD):
   LP-MBD reemplaza el esquema de programación de ruido de preservación de la varianza estándar con una trayectoria de probabilidad lineal inspirada en el Ajuste de Flujo (Flow Matching). En lugar de la interpolación compleja utilizada en VP-MBD, LP-MBD define una interpolación lineal entre una trayectoria limpia $Y^{(0)}$ y un ruido gaussiano estándar $\epsilon$:
   $$Y_t = (1 - t)Y^{(0)} + t\epsilon, \quad t \in [0, 1]$$
   Esta formulación ofrece una parametrización geométricamente interpretable y desacoplada. A diferencia de VP-MBD, que requiere ajustar tres parámetros acoplados ($\beta_0, \beta_1, T$), LP-MBD depende de solo dos parámetros independientes: la escala máxima de ruido ($\sigma_{max}$) y el número de pasos de difusión ($T$). La escala máxima de ruido se determina mediante el rango admisible de las entradas de control, proporcionando una forma directa e interpretable de establecer los límites de exploración. Para asegurar la eficiencia, la programación se trunca en un valor máximo $t_{max} < 1$ para evitar que la varianza de la propuesta gaussiana diverja.

2. LP-MBD Adaptativa (ALP-MBD):
   Basándose en la naturaleza desacoplada de LP-MBD, los autores introducen un programador adaptativo que aprovecha el Aprendizaje por Refuerzo (RL) para ajustar dinámicamente los pasos de difusión ($T$) y los niveles de ruido ($\sigma_{max}$) basándose en el estado del entorno.

• Formulación: El programador adaptativo es tratado como una política $\pi_\phi$ dentro de un Proceso de Decisión de Markov (MDP). El espacio de estados incluye variables ambientales (por ejemplo, distancias a obstáculos, errores de trayectoria) y el espacio de acciones consiste en los parámetros de programación $(T, \sigma_{max})$.
• Entrenamiento: El sistema se entrena utilizando la Optimización de Política Próxima (PPO). La función de recompensa combina el desempeño de la tarea con una penalización por pasos de difusión grandes para fomentar la eficiencia computacional.
• Mecanismo: En escenarios complejos (por ejemplo, evasión de obstáculos), el agente aprende a aumentar $T$ y $\sigma_{max}$ para ampliar la exploración y refinar las soluciones. En condiciones simples o bien estructuradas, reduce estos parámetros para acelerar el muestreo sin sacrificar la calidad de la solución.

Contribuciones Clave

1. LP-MBD: La introducción de un programador de trayectoria lineal inspirado en el ajuste de flujo que proporciona una parametrización geométricamente interpretable y desacoplada. Esto reduce significativamente la carga de ajuste de hiperparámetros en comparación con los esquemas de preservación de la varianza.
2. ALP-MBD: El desarrollo de una extensión adaptativa que utiliza aprendizaje por refuerzo para optimizar los parámetros de programación en línea. Esto permite al sistema equilibrar la robustez y la eficiencia al ajustarse a la complejidad de la tarea y a las condiciones del entorno.
3. Evaluación Integral: Una validación rigurosa de ambos métodos a través de estudios numéricos, pruebas de Brax (incluyendo tareas de locomoción como Hopper y HalfCheetah) y una tarea de seguimiento de trayectoria de un robot móvil.

Resultos

• Estudios Numéricos: En tareas de optimización 1D y 2D, LP-MBD demostró una estabilidad de convergencia superior en comparación con VP-MBD, particularmente cuando se variaban los pasos de difusión. Mientras que VP-MBD a menudo fallaba en converger o requería un reajuste extensivo de los parámetros $\beta$ cuando $T$ cambiaba, LP-MBD mantuvo un rendimiento consistente debido a sus parámetros desacoplados. En experimentos adaptativos, ALP-MBD convergió más rápido y encontró soluciones de mayor calidad que una línea base de VP-MBD adaptativo (AVP-MBD), el cual tuvo dificultades con el espacio de parámetros acoplados.
• Pruebas de Brax: LP-MBD logró recompensas por paso competitivas o superiores en la mayoría de las tareas de control continuo (Ant, Hopper, HalfCheetah, Walker2D, Reacher) en comparación con CEM, MPPI y VP-MBD. En la tarea de Pusher, VP-MBD superó ligeramente a LP-MBD, lo que los autores atribuyen a que la mayor dimensionalidad podría favorecer la capacidad expresiva de los esquemas de preservación de la varianza.
• Seguimiento de Trayectoria de Robot Móvil: En un entorno personalizado con obstáculos y trayectorias en forma de S/óvales, ALP-MBD logró la mayor recompensa promedio entre todas las variantes. El sistema logró adaptar sus parámetros en tiempo real: aumentando los pasos de difusión y la varianza del ruido al navegar cerca de obstáculos o curvas cerradas, y reduciéndolos durante el crucero recto y libre de obstáculos. A pesar de la sobrecarga de la pasada hacia adelante de la política de RL, ALP-MBD mantuvo la eficiencia en tiempo real adecuada para aplicaciones de control.

Significancia
El artículo afirma que LP-MBD proporciona una base estable y geométricamente interpretable para el control basado en difusión que simplifica el proceso de ajuste de los esquemas de ruido, el cual es notoriamente difícil. Al desacoplar la escala de ruido del horizonte de discretización, LP-MBD permite la aplicación efectiva del aprendizaje por refuerzo para la adaptación. El marco propuesto de ALP-MBD demuestra que el ajuste dinámico de los parámetros de difusión puede mejorar tanto la robustez en entornos complejos como la eficiencia computacional en entornos más simples, ofreciendo una solución práctica para el control robótico en tiempo real donde las condiciones de la tarea varían significativamente.