Compositional Visual Planning via Inference-Time Diffusion Scaling

Resumen Técnico: Planificación Visual Composicional mediante Escalado de Difusión en Tiempo de Inferencia

1. El Problema

Los modelos de difusión han demostrado un gran éxito en la planificación robótica a corto plazo (horizontes cortos). Sin embargo, escalar estos modelos a tareas de largo horizonte presenta desafíos significativos:

• Limitaciones Computacionales: Los modelos de video suelen entrenarse en clips cortos; extender la longitud de la secuencia directamente requiere recursos computacionales y de memoria que crecen desfavorablemente.
• Falta de Datos: La escasez de datos de entrenamiento para secuencias largas impide aprender distribuciones globales coherentes.
• Inestabilidad en la Composición: Los enfoques existentes (como DiffCollage o Generative Skill Chaining) intentan unir segmentos cortos mediante la promediación de puntuaciones (score averaging) o la adición heurística de factores ruidosos. El artículo identifica que esto falla porque la hipótesis de factorización (asumir que los factores son independientes) se rompe en el espacio de datos ruidosos ($t > 0$) debido a la entrelazación de variables durante el proceso de difusión hacia adelante. Esto conduce a planes globales inconsistentes, con discontinuidades en los bordes y comportamientos frágiles.

2. Metodología Propuesta

Los autores proponen un marco de planificación visual composicional que opera exclusivamente en tiempo de inferencia, sin necesidad de reentrenamiento o ajuste fino (fine-tuning).

Concepto Central:
En lugar de imponer consistencia sobre los estados ruidosos intermedios, el método impone acuerdos de frontera sobre las estimaciones limpias (Tweedie estimates) del modelo de difusión. Estas estimaciones representan la predicción de los datos originales ($x_0$) dados los estados ruidosos actuales, ofreciendo un dominio más estable para la composición.

Componentes Clave:

1. Formulación como Grafo de Factores en Cadena:

   • La planificación a largo plazo se modela como un grafo de factores en cadena estructurado sobre fragmentos de video superpuestos.
   • Se utiliza un modelo de difusión preentrenado de corto horizonte como prior local para cada fragmento.
   • Las variables de frontera (inicio, objetivo y transiciones entre fragmentos) deben coincidir para garantizar la coherencia global.

2. Teorema del "Noisy-Bethe Gap" (Brecha Ruidosa de Bethe):

   • Los autores demuestran teóricamente que la aproximación de Bethe (usada en trabajos anteriores para combinar factores) es precisa solo en datos limpios ($t=0$). En estados ruidosos ($t>0$), existe una brecha sistemática debida a la covarianza entre los mensajes de los factores vecinos.
   • Solución: Se evita operar en el espacio ruidoso y se traslada la optimización a las estimaciones de Tweedie ($x_{0|t}$).

3. Paso de Mensajes Sincrónico y Asincrónico:
   Para lograr la coherencia global en las estimaciones limpias, se propone un esquema híbrido de paso de mensajes:

   • Paso de Mensajes Sincrónico: Trata la cadena como un sistema lineal gaussiano y penaliza la desviación de un sistema de restricciones lineales consistente. Preserva el paralelismo pero puede ser numéricamente rígido.
   • Paso de Mensajes Asincrónico: Utiliza objetivos con stop-gradient (similar a actualizaciones de Diferencia Temporal) para propagar restricciones hacia adelante y hacia atrás. Es más rápido y estable, aunque introduce un ligero sesgo.
   • Combinación: La unión de ambos métodos equilibra la rigidez de las restricciones con la flexibilidad de la optimización.

4. Guía de Esfera de Difusión (Diffusion-Sphere Guidance):

   • Para equilibrar la alineación con las restricciones y la diversidad de la muestra, el método utiliza una guía de esfera de difusión. Esto interpola entre la dirección de muestreo incondicional y la dirección de descenso del gradiente derivada de la pérdida de paso de mensajes, manteniendo la calidad de la muestra local.

5. Proceso de Planificación:

   • Se entrena un modelo de difusión de video corto en fragmentos aleatorios de demostraciones.
   • En tiempo de prueba, dado un estado inicial y uno objetivo, se divide la trayectoria en fragmentos superpuestos.
   • Se realiza el muestreo iterativo (DDIM) aplicando el paso de mensajes sobre las estimaciones de Tweedie para asegurar que los bordes de los fragmentos coincidan, generando una trayectoria visual coherente.
   • Finalmente, un modelo de dinámica inversa convierte la trayectoria visual en acciones ejecutables para el robot.

3. Contribuciones Clave

1. Marco de Planificación por Factores en Cadena: Un nuevo enfoque que modela planes a largo plazo como grafos de factores sobre segmentos de video, imponiendo acuerdos de frontera en las estimaciones de Tweedie en lugar de en estados ruidosos.
2. Método de Paso de Mensajes Híbrido: Una técnica novedosa que combina actualizaciones sincrónicas y asincrónicas sobre variables denoised, junto con una guía de esfera de difusión, para lograr consistencia global sin perder diversidad ni calidad local.
3. Marco Libre de Entrenamiento (Training-Free): El método es "plug-and-play" con modelos de difusión de video de corto horizonte preexistentes. No requiere reentrenamiento, ajuste fino ni adaptadores específicos para la tarea, permitiendo generalización a combinaciones de inicio-objetivo nunca vistas.
4. Benchmarks y Evaluación Empírica: Presentación de un benchmark de planificación composicional y un estudio exhaustivo que demuestra mejoras significativas en coherencia temporal, calidad estática y tasa de éxito en tareas no vistas (OOD).

4. Resultados Experimentales

El método fue evaluado en un entorno de simulación (basado en ManiSkill) y en un robot real (Franka Emika Panda) a través de 100 tareas (18 en distribución, 82 fuera de distribución - OOD).

• Calidad de Video: El método propuesto superó significativamente a DiffCollage en métricas de calidad dinámica (suavidad de movimiento y consistencia de fondo) y calidad estática (menos artefactos y borrosidad), lo cual es crucial para que el modelo de dinámica inversa pueda seguir la trayectoria.
• Tasa de Éxito en Planificación:
  • En tareas OOD (combinaciones inicio-objetivo no vistas en entrenamiento), los métodos basados en composición ruidosa (DiffCollage) fallaron casi en su totalidad (0% de éxito en algunos casos).
  • Los métodos de aprendizaje por política (como GCDP) funcionaron bien en datos en distribución (IND) pero degradaron severamente su rendimiento en OOD.
  • El método propuesto mantuvo un rendimiento alto y estable tanto en IND como en OOD (ej. ~96% de éxito en tareas de uso de herramientas OOD), demostrando una capacidad robusta de generalización composicional.
• Validación en Robot Real: En experimentos con hardware real, el método logró tasas de éxito muy superiores (ej. 9/10 vs 1/10 en tareas OOD) comparado con la línea base DiffCollage, confirmando que la coherencia visual generada es suficiente para la ejecución física.

5. Significado e Impacto

Este trabajo aborda una de las limitaciones fundamentales de la aplicación de modelos generativos a la robótica: la dificultad de escalar a horizontes largos sin perder coherencia.

• Paradigma de Inferencia: Cambia el enfoque de "entrenar modelos más grandes" a "optimizar la inferencia" mediante la composición inteligente de modelos pequeños.
• Generalización: Permite que los robots aprendan habilidades a partir de demostraciones cortas y las combinen dinámicamente para resolver tareas complejas y nuevas que nunca han visto explícitamente.
• Aplicabilidad Amplia: Aunque se centra en la robótica, el marco es aplicable a otros dominios que requieren generación de secuencias largas coherentes, como la síntesis de imágenes panorámicas o la generación de video de texto a largo plazo.

En resumen, el artículo demuestra que la clave para la planificación visual composicional estable no está en mejorar el modelo de difusión base, sino en cómo se orquestan sus estimaciones limpias durante la inferencia mediante un grafo de factores y un paso de mensajes riguroso.