Resumen Técnico: SSM se encuentra con los Modelos de Difusión de Video

1. Planteamiento del Problema

La comunidad de investigación se ha centrado cada vez más en extender los modelos de difusión de la generación de imágenes a la generación de video. Si bien los Modelos de Difusión de Video (VDM) recientes han demostrado capacidades impresionantes, dependen predominantemente de mecanismos de atención para extraer características temporales a través de los fotogramas de video. Una limitación crítica de este enfoque es que el costo computacional (memoria y tiempo) de las capas de atención escala de forma cuadrática ($O(L^2)$) con la longitud de la secuencia $L$.

Este escalado cuadrático representa una barrera significativa para la generación de secuencias de video de larga duración. En consecuencia, muchos métodos de vanguardia están restringidos a secuencias cortas (por ejemplo, 16 fotogramas, o aproximadamente dos segundos a 8 fps). Aunque algunos modelos recientes a gran escala intentan abordar secuencias más largas, las limitaciones prácticas de memoria y computación suelen restringir la longitud de generación factible. El artículo identifica la necesidad de un extractor de características temporales que mantenga una alta calidad generativa ofreciendo, al mismo tiempo, una complejidad computacional lineal para permitir la generación eficiente de videos de larga duración.

2. Metodología

Los autores proponen reemplazar las capas de atención temporal en los Modelos de Difusión de Video estándar con Modelos de Espacio de Estados Estructurados (SSM), utilizando específicamente la arquitectura Mamba.

Arquitectura Central

• Línea Base: El estudio utiliza un Modelo de Difusión de Video basado en U-Net como línea base. En los VDM estándar, las capas de atención espacial se intercalan con capas de atención temporal para capturar dependencias entre fotogramas.
• Modificación Propuesta: Los autores reemplazan las capas de atención temporal con Capas de SSM Temporal mientras mantienen las capas espaciales (convolucionales y de atención espacial) sin cambios.
• Mamba Bidireccional: A diferencia de los SSM estándar que son inherentemente causales (unidireccionales), la capa temporal propuesta emplea un bloque Mamba bidireccional. Este consiste en dos ramas paralelas:
  • Una rama hacia adelante que procesa los fotogramas desde el inicio hasta el final.
  • Una rama hacia atrás que procesa los fotogramas desde el final hacia el inicio.
  • Las salidas de ambas ramas se suman antes de una proyección lineal final. Esto permite que el modelo capture la dinámica temporal dependiente tanto de fotogramas pasados como futuros.
• Escaneo Selectivo (S6): La implementación utiliza el mecanismo de escaneo selectivo encontrado en Mamba. Aquí, los parámetros que gobiernan el espacio de estados ($B$, $C$ y el paso de discretización $\Delta$) dependen de la entrada. Esto permite que el modelo descarte selectivamente la información irrelevante y retenga la información esencial durante periodos extendidos, adaptando la actualización del estado basada en el contenido de cada fotograma.
• Complejidad: Al aprovechar los SSM, la asignación de memoria y el tiempo computacional para las capas temporales escalan linealmente ($O(L)$) con la longitud de la secuencia, en contraste con el escalado cuadrático de la atención.

3. Contribuciones Clave

1. Propuesta Arquitectónica: El artículo presenta la primera aplicación de bloques Mamba bidireccionales aplicados específicamente al eje temporal de los modelos de difusión de video para la generación de larga duración (≥256 fotogramas).
2. Análisis de Eficiencia: Demuestra que las capas temporales basadas en SSM pueden lograr un rendimiento generativo comparable o superior al de las capas basadas en atención, reduciendo significativamente los costos computacionales (memoria y tiempo de inferencia) para secuencias largas.
3. Perspectivas de Ablación: El estudio proporciona un análisis de ablación detallado que muestra que:
   • La bidireccionalidad es crucial; los SSM unidireccionales rinden por debajo de las líneas base basadas en atención.
   • El Escaneo Selectivo es esencial; los SSM no selectivos (como S4D) funcionan significativamente peor que las variantes selectivas en la captura de dependencias temporales en secuencias largas.
4. Evaluación Exhaustiva: El método se evalúa en múltiples conjuntos de datos (MineRL Navigate, GQN-Mazes, CARLA-Town01) y diversos tamaños de modelo (que van desde ~14M hasta ~913M de parámetros) y longitudes de secuencia (16, 64 y 256 fotogramas).

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos:

• MineRL Navigate: 1,186 videos (entorno Minecraft).
• GQN-Mazes: 108,200 videos (simulador de laberinto 3D).
• CARLA-Town01: 508 videos (simulador de conducción).

Hallazgos Clave:

• Secuencias Cortas (16–64 fotogramas): Los modelos basados en SSM alcanzan un rendimiento generativo (medido por la Distancia de Video de Fréchet, FVD) comparable al de los modelos basados en atención bajo las mismas restricciones computacionales.
• Secuencias Largas (256 fotogramas): Los modelos basados en SSM superan significativamente a los modelos basados en atención. Bajo restricciones idénticas de memoria y tiempo, los modelos SSM logran un FVD más bajo (mejor calidad).
• Eficiencia de Recursos: Para secuencias de 256 fotogramas, el enfoque basado en SSM demostró aproximadamente 1.56x de inferencia más rápida y 1.56x de menor uso de memoria en comparación con sus contrapartes basadas en atención del mismo tamaño.
• Comportamiento de Escala: Mientras que la memoria y el tiempo de inferencia para los modelos de atención aumentan cuadráticamente con la longitud de la secuencia, los modelos basados en SSM exhiben solo un aumento lineal.
• Resultados de Ablación: En el conjunto de datos de MineRL de 256 fotogramas, el SSM de escaneo selectivo bidireccional completo logró un FVD de 381, comparado con 458 para un SSM no selectivo y 610 para un SSM unidireccional.

5. Significado y Reivindicaciones

El artículo afirma que aprovechar los SSM como extractores de características temporales permite un mayor rendimiento generativo al mismo costo computacional en comparación con los métodos basados en atención, particularmente para secuencias de larga duración.

• Accesibilidad: Al reducir la barrera computacional para la generación de video de larga duración, este enfoque permite que instituciones con recursos computacionales limitados participen en la investigación de vanguardia en generación de video.
• Superioridad Arquitectónica: El estudio sugiere que la elección de la arquitectura temporal es crítica; reemplazar simplemente la atención con un SSM ingenuo es insuficiente. La combinación de bidireccionalidad y escaneos selectivos es necesaria para igualar o exceder el rendimiento de los mecanismos de atención en la generación de video.
• Potencial Futuro: Los autores señalan que su bloque de SSM temporal es un "reemplazo directo" (drop-in replacement) para la autoatención temporal. Esto implica que puede combinarse con otras estrategias existentes (por ejemplo, difusión latente, pipelines en cascada o generación autorregresiva) para mejorar aún más la generación de secuencias largas sin modificar la complejidad subyacente de la capa de mezcla temporal.

Los autores mantienen la modestia respecto a las limitaciones, reconociendo que sus experimentos se fijaron en una resolución espacial de 32×32 para aislar los efectos temporales, y que las métricas de evaluación como FVD pueden volverse menos confiables para secuencias muy largas (≥512 fotogramas) debido al preentrenamiento del backbone I3D en clips cortos. Identifican el escalado a resoluciones más altas y el desarrollo de mejores protocolos de evaluación de largo horizonte como trabajo futuro necesario.