Resumen Técnico: Difusión Composicional de Grueso a Fino para la Planificación de Largo Alcance

Planteamiento del Problema

Los modelos de difusión sobresalen en la generación de datos estructurados, pero suelen estar entrenados en escalas de corto alcance. Muchas tareas del mundo real, como la navegación robótica a largas distancias, la síntesis de imágenes panorámicas o la generación de videos largos, requieren salidas que exceden la escala de entrenamiento de estos modelos. Entrenar directamente modelos para tales salidas de largo alcance suele ser poco práctico debido a la escasez de datos y al rápido crecimiento de los costes de modelado con la longitud de la secuencia o la extensión espacial.

La generación composicional ofrece una solución al ensamblar planes locales superpuestos a partir de un prior de corto alcance preentrenado en una única salida de largo alcance. Sin embargo, los enfoques composicionales estándar principalmente imponen la consistencia local (acuerdo entre planes locales vecinos en sus solapamientos) sin especificar explícitamente la estructura global. En consecuencia, los planes localmente compatibles pueden fallar en la formación de una ruta, secuencia de tareas o evolución temporal global plausible. Los métodos existentes intentan mejorar la coherencia global mediante la propagación repetida de señales de consistencia local o añadiendo optimización en el tiempo de inferencia (por ejemplo, búsqueda iterativa o poda basada en poblaciones). Aunque son efectivos, estos procedimientos se vuelven computacionalmente costosos a medida que aumenta el número de planes locales o su dimensionalidad.

Metodología: Difusión Composicional de Grueso a Fino (CoFi)

Los autores proponen CoFi, un muestreador en el tiempo de inferencia que desacopla la formación de la estructura global del refinamiento del detalle local. A diferencia de los métodos que dependen de pasajes de mensajes repetidos o de una costosa optimización de bucle interno, CoFi opera en dos etapas distintas:

1. Construcción de Andamiaje Global Grueso

La primera etapa tiene como objetivo alinear las estimaciones de denoise locales alrededor de una estructura gruesa compartida para establecer la coherencia global.

• Alineación de Andamiaje: Para cada paso de denoise $t$, el método calcula una "estimación de Tweedie" $\hat{X}^i_{0|t}$ para cada plan local. Para imponer la alineación global, resuelve un objetivo de optimización simplificado que equilibra la fidelidad local con un componente global compartido. Esto produce una solución de forma cerrada donde cada estimación local se contrae hacia una media de andamiaje compartida $\bar{X}_{0|t}$:
  $$\bar{X}^i_{0|t} = (1 - \lambda_t) \bar{X}_{0|t} + \lambda_t \hat{X}^i_{0|t}$$
  Aquí, $\lambda_t$ es un coeficiente dependiente del cronograma que controla el compromiso. Al principio del proceso de difusión, $\lambda_t$ es pequeño, forzando a los planes locales a alinearse fuertemente con el andamiaje global. A medida que $t$ disminuye, $\lambda_t$ aumenta, permitiendo que emerjan los detalles locales.
• Actualización Guiada: El paso de difusión inversa se actualiza utilizando esta estimación alineada, sesgada hacia un andamiaje global coherente pero grueso localmente:
  $$X^i_{t-1} = \text{DDIM}_\theta(\bar{X}^i_{0|t}, t) + \sigma_t \nabla \hat{r}_t(X^i_t, X^{i+1}_t)$$
  El primer término impone la alineación global, mientras que el segundo término (guía local) asegura la consistencia de frontera entre segmentos adyacentes.

2. Refinamiento de Preservación de Estructura

La segunda etapa restaura los detalles locales finos suprimidos durante la etapa gruesa mientras preserva la estructura global establecida.

• Re-ruido (Re-noising): El plan global grueso $Y^c_0$ se difunde hacia adelante a un nivel de ruido intermedio $t^*$ utilizando una realización de ruido compartido. Esto es crítico; aplicar ruido independiente a los planes locales rompería la alineación lograda en la primera etapa.
  $$Y^r_{t^*} = \sqrt{\bar{\alpha}_{t^*}} Y^c_0 + \sqrt{1 - \bar{\alpha}_{t^*}} \epsilon$$
• Refinamiento: Partiendo de $t^*$, el muestreador realiza una segunda pasada de difusión inversa utilizando el mismo prior local preentrenado y guía local. Esta etapa recupera los detalles locales de alta frecuencia y la textura mientras el andamiaje global ancla la estructura general.

Contribuciones Clave

1. Diseño Desacoplado: CoFi separa la formación de la estructura global del refinamiento del detalle local, evitando la necesidad de costosos pasajes de mensajes iterativos o la optimización basada en búsqueda utilizada en métodos composicionales previos.
2. Mecanismo de Andamiaje Compartido: Al introducir una etapa de alineación gruesa que proyecta las estimaciones locales sobre un andamiaje compartido, el método asegura la coherencia de largo alcance sin requerir funciones de recompensa complejas que son difíciles de diseñar para espacios de alta dimensión.
3. Refinamiento de Preservación de Estructura: El uso de una realización de ruido compartido durante el paso de re-ruido asegura que los planes locales refinados sigan siendo vistas compatibles del mismo objeto global, evitando el "deriva" (drift) que se observa a menudo en la generación de largo alcance.
4. Eficiencia: El método requiere significativamente menos evaluaciones del denoiser (NFE) en comparación con las líneas base que dependen de iteraciones internas o búsqueda de población.

Resultados Experimentales

Los autores evaluaron CoFi en tres dominios: planificación robótica de largo alcance, generación de imágenes panorámicas y generación de videos largos.

• Planificación Robótica (OGBench): En las tareas desafiantes "Giant" y "Scene-Play", CoFi alcanzó tasas de éxito del 96% (PointMaze-Giant) y 63% (Scene-Play), superando al estado del arte anterior CDGS (82% y 51%, respectivamente). Se encontró que la etapa de andamiaje era crucial para resolver inconsistencias de largo alcance en trayectorias tipo laberinto.
• Generación de Imágenes Panorámicas: CoFi logró las mejores puntuaciones en todas las métricas (Intra-LPIPS, Intra-Style loss y CLIP score) en comparación con las líneas base como Multi-Diffusion, SyncDiffusion y CDGS. Produjo panoramas con estilos globales más estables y menos transiciones abruptas a través de los límites de los parches.
• Generación de Videos Largos: En la generación de videos de 273 fotogramas a partir de priors de 50 fotogramas, CoFi mejoró la consistencia del sujeto (94.11 frente a 9 de 91.67 para CDGS) y la calidad estética, acercándose a la calidad de la generación nativa de corto alcance. Evitó eficazmente la deriva del sujeto en horizontes temporales largos.
• Eficiencia Computacional: CoFi demostró una reducción de 2 a 8 veces en el número de evaluaciones de función (NFE) en comparación con CDGS, manteniendo o mejorando la calidad de la muestra. Esto se atribuye al reemplazo de la búsqueda iterativa por un único paso de grueso a fino.

Significado y Reivindicaciones

El artículo afirma que CoFi proporciona un muestreador en el tiempo de inferencia simple y efectivo que satisface tanto la consistencia local como la coherencia global sin la sobrecarga computacional de los métodos existentes. Al separar la construcción del andamiaje global del refinamiento de los detalles locales, CoFi aborda la limitación donde la consistencia local por sí sola no garantiza una estructura global plausible. Los autores posicionan esto como una alternativa práctica para escalar los priors de corto alcance a tareas de largo alcance en robótica, visión y generación de video, ofreciendo un equilibrio favorable entre rendimiento y coste computacional.

Los autores señalan modestamente las limitaciones: la calidad de la salida está limitada por la expresividad del prior local preentrenado, y los hiperparámetros (el cronograma del andamiaje $\lambda_t$ y la profundidad de refinamiento $t^*$) requieren una selección por dominio. Además, el mecanismo de consenso actual aplica un peso uniforme a todos los planes locales, lo cual puede ser subóptimo si los segmentos varían en importancia estructural.