Resumen Técnico: DiRecT – Planificación basada en Difusión Segura mediante Denoising de Horizonte Recesivo

Declaración del Problema

Los modelos de difusión han emergido como marcos poderosos para la planificación y el control al aprender distribuciones multimodales sobre acciones y trayectorias. Sin embargo, el despliegue de estos modelos en tareas de seguridad crítica enfrenta una barrera significativa: la imposición fiable de la seguridad durante la inferencia. Los enfoques existentes para el muestreo de difusión con restricciones suelen imponer la viabilidad proyectando cada iteración intermedia de denoising ruidosa sobre el conjunto factible. Esto crea un desajuste fundamental: las restricciones de planificación se definen sobre la trayectoria limpia final, mientras que las muestras intermedias son inherentemente ruidosas y no necesitan ser factibles. Imponer restricciones durante todo el proceso de muestreo sobreconstriñe la dinámica inversa aprendida, distorsionando el proceso generativo y degradando sustancialmente la calidad de la muestra. Además, los métodos basados en proyección suelen carecer de un mecanismo unificado para manejar restricciones estrictas junto con recompensas o costos blandos adicionales.

Metodología: DiRecT

Para abordar estas limitaciones, los autores introducen DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints), un algoritmo libre de entrenamiento para el muestreo con restricciones.

Formulación Central

DiRecT reformula la imposición de restricciones en tiempo de inferencia a través de la lente del Control Óptimo Estocástico (SOC). El proceso de difusión inversa aprendido sirve como la dinámica estocástica nominal, mientras que las entradas de control dirigen al muestreador hacia la viabilidad de la trayectoria limpia final. Crucialmente, las restricciones se imponen solo en la muestra limpia terminal, evitando restricciones innecesarias en las iteraciones ruidosas intermedias. El objetivo es encontrar un control de deriva óptimo $u^*$ que minimice una función de costo (equilibrando el costo terminal y la energía de control) sujeto a la restricción de que el estado final $X_0$ se encuentre dentro de un conjunto factible $S$.

Derivación Algorítmica

Resolver el problema completo de SOC con restricciones terminales es computacionalmente intratable debido a la naturaleza de alta dimensión y no convexa de la dinámica neuronal y la esperanza sobre todas las trayectorias estocásticas. DiRecT deriva un sustituto escalable y tratable utilizando dos aproximaciones clave inspiradas en el Control Predictivo por Modelo (MPC):

1. Sustituto de Horizonte Recesivo: En lugar de resolver un problema de horizonte completo, DiRecT divide el problema en una secuencia de subproblemas de un solo paso. En cada paso de denoising $i$, predice la trayectoria limpia final implicada por la iteración ruidosa actual utilizando la fórmula de Tweedie ($\hat{x}^\theta_0(X_i, t_i)$).
2. Optimización en el Dominio de los Datos: Para evitar resolver repetidamente problemas de optimización restringida a través del mapa de denoising neuronal, el algoritmo invierte aproximadamente la fórmula de Tweedie mediante un argumento de punto fijo. Esto permite trasladar la optimización desde el espacio latente hacia el dominio de los datos. Específicamente, el desplazamiento latente se aproxima mediante una diferencia escalada entre las muestras limpias predichas.

El algoritmo resultante (Algoritmo 1) opera de la siguiente manera:

1. Muestrear un vector de ruido previo.
2. Iterar hacia atrás desde $t_N$ hasta $t_0$:
   • Calcular una propuesta de denoising no controlada.
   • Estimar la muestra limpia correspondiente utilizando el modelo de score.
   • Resolver un problema de optimización restringida en el dominio de los datos para encontrar una muestra limpia refinada que satisfaga las restricciones estrictas $S$ y minimice el costo $C$, manteniéndose cerca de la predicción no controlada.
   • Traducir este refinamiento de vuelta a una actualización controlada de la iteración ruidosa actual.
3. Devolver la muestra factible final.

Este diseño separa claramente el denoising estocástico de la satisfacción de restricciones, dirigiendo progresivamente las muestras hacia trayectorias finales factibles sin distorsionar la dinámica de difusión aprendida.

Contribuciones Clave

1. Identificación de una Limitación Clave: El artículo identifica que imponer la viabilidad en las iteraciones de denoising intermedias ruidosas sobreconstriñe la dinámica de muestreo y degrada la calidad de la muestra. Propone formular la planificación con difusión restringida como un problema de SOC con restricciones terminales.
2. Algoritmo DiRecT: Un muestreador de difusión con restricciones libre de entrenamiento que reduce el intratable problema de SOC con restricciones a una secuencia de subproblemas tratables de optimización de trayectoria limpia. Dirige las muestras hacia la satisfacción de restricciones sin distorsionar el proceso de denoising aprendido.
3. Flexibilidad: El método soporta optimizadores estándar o específicos del dominio, maneja tanto restricciones de igualdad como de desigualdad, incorpora priors de dinámica específicos del entorno y optimiza recompensas o costos blandos adicionales en el tiempo de inferencia.
4. Validación Empírica: Experimentos extensos demuestran que DiRect mejora sustancialmente la seguridad del despliegue y el rendimiento de la tarea sobre las líneas base de planificación basadas en difusión existentes.

Resultados Experimentales

Los autores evaluaron DiRect a través de cuatro entornos diversos de planificación robótica:

• Navegación en Laberintos Seguros (Maze2D): En variantes de laberinto "amplio" y "estrecho" con obstáculos en tiempo de prueba, DiRect alcanzó una Tasa de Seguridad (SR) de 0.970 y 0.940 respectivamente, con violaciones casi nulas (0.45 y 0.23). En contraste, las líneas base como Diffuser, Gradient Guidance y Projected Diffusion alcanzaron SRs que oscilan entre 0.00 y 0.78, con conteos de violaciones significativamente mayores. DiRect mantuvo puntajes de tarea sólidos mientras aseguraba la seguridad.
• Manipulación Robótica Segura (D3IL): En una tarea que requiere que un brazo robótico alcance un objetivo mientras evita pilares y restricciones adicionales, DiRect logró una Tasa de Seguridad del 100% y un Éxito de Tarea del 100%, superando a todas las líneas base que mostraron caídas significativas en seguridad (por ejemplo, Gradient Guidance con 0.88 SR).
• Planificación de Movimiento Multi-Robot (MRMP): Probado en entornos con hasta 20 agentes, DiRect superó consistentemente a las líneas base (incluyendo MMD-CBS y Projected Coupled Diffusion) en Seguridad de Restricciones y Tasa de Éxito, particularmente a medida que aumentaba el número de agentes. Mantuvo una alta adherencia a los patrones de movimiento esperados mientras satisfacía complejas restricciones de colisión y velocidad.
• Manipulación de Contacto Rico (PushT): En una tarea de generación acoplada que involucra trayectorias diversas y no intersectadas, las variantes de DiRect (DiRect-LB y DiRect-DPP) lograron un 100% de Satisfacción de Restricciones mientras mejoraban la diversidad (medida por DTW y DFD) y los puntajes de completitud de la tarea en comparación con otros muestreadores con restricciones.

Significado y Reivindicaciones

El artículo afirma que DiRect ofrece un enfoque basado en principios para la planificación segura basada en difusión al desacoplar el proceso de denoising estocástico de la satisfacción de restricciones. Al imponer las restricciones solo en la muestra limpia final, evita la sobreconstricción de las dinámicas intermedias que plaga a los métodos de proyección existentes.

Los autores enfatizan que DiRect no requiere entrenamiento, lo que lo hace ampliamente aplicable a modelos de difusión preentrenados existentes sin necesidad de reentrenamiento o ajuste fino. Si bien esta flexibilidad introduce un cálculo adicional en el tiempo de inferencia (resolver subproblemas de optimización), el método proporciona garantías más fuertes para la planificación de seguridad crítica al asegurar la satisfacción de restricciones estrictas mientras retiene la flexibilidad para incorporar objetivos blandos y dinámicas específicas del dominio. El trabajo destaca el potencial para el despliegue fiable de modelos de difusión en tareas de seguridad crítica donde incluso una sola violación de restricción puede conducir a un fallo catastrófico.