Resumen Técnico: Difusión de Video Móvil

Planteamiento del Problema

Los modelos de difusión de video han logrado avances significativos en realismo y controlabilidad, principalmente a través de arquitecturas de eliminación de ruido espacio-temporales como UNets 3D o Transformers de Difusión 3D (DiTs). Sin embargo, estos modelos demandan un alto poder de memoria y computación, lo que restringe su despliegue a entornos de la nube con GPUs de alto nivel. Esta limitación dificulta la adopción de tecnologías de generación de video para aplicaciones que requieren ejecución local en dispositivos móviles.

Aunque trabajos previos se han centrado en acelerar la difusión de video reduciendo el número de pasos de muestreo (por ejemplo, mediante modelos de consistencia o destilación adversarial), estos enfoques no abordan la huella fundamental de memoria y computación de la arquitectura del modelo. En consecuencia, los métodos existentes siguen siendo impracticables para el despliegue en dispositivos debido a las restricciones de recursos.

Metodología

Los autores presentan MobileVD, el primer modelo de difusión de video optimizado para móviles. Partiendo de la UNet espacio-temporal de Stable Video Diffusion (SVD), los autores aplican una serie de optimizaciones arquitectónicas y de entrenamiento para reducir el uso de memoria y el costo computacional manteniendo la calidad visual.

1. Ajuste Fino Adversarial (Reducción de Pasos)

Siguiendo el marco de trabajo SF-V, los autores emplean el ajuste fino adversarial para reducir el proceso de eliminación de ruido de 25 pasos a un solo paso.

• Mecanismo: Un discriminador se inicializa con la parte del codificador de la UNet de eliminación de ruido. El generador se entrena utilizando pérdidas de pseudo-Huber y de no saturación, con una penalización R1 para la regularización del discriminador.
• Resultado: Permite la generación de video en una sola pasada, reduciendo drásticamente el tiempo de inferencia.

2. Arquitectura UNet Amigable para Móviles

Para adaptar la UNet a las restricciones móviles, se introducen varias modificaciones estructurales:

• Ajuste Fino de Baja Resolución: La resolución de entrada se reduce a $512 \times 256$ (resolución latente de $64 \times 32$). El modelo se ajusta finamente en esta resolución objetivo para evitar la degradación de la calidad observada al simplemente redimensionar un modelo preentrenado de alta resolución.
• Multiescala Temporal: En lugar de mantener una resolución temporal constante a lo largo de la red, los autores introducen operaciones de submuestreo y sobremuestreo temporal. Los mapas de características se submuestrean por un factor de 2 a lo largo del eje temporal después del primer bloque de submuestreo y se restauran mediante sobremuestreo de vecino más cercano antes del bloque de sobremuestreo final. Esto reduce los FLOPs y la latencia con una pérdida mínima de calidad.
• Atención Cruzada Optimizada: En SVD, las capas de atención cruzada atienden a un único token de contexto (el embedding CLIP de la imagen de condicionamiento). Los autores identifican que computar el mapa de similitud ($QK^T$) y el softmax para un único token de clave es una operación nula (no-op). Eliminan las matrices de proyección de consulta y clave, así como la computación de similitud, reduciendo significativamente la latencia móvil y evitando errores de falta de memoria (OOM) en los dispositivos.

3. Nuevas Técnicas de Poda

Para comprimir aún más el modelo, se proponen dos estrategias de poda novedosas:

• Canalización de Canales (Channel Funneling): Un método para reducir la dimensionalidad de los canales de las capas afines (específicamente en los mecanismos de atención) durante la inferencia.
  • Mecanismo: Se insertan dos matrices de embudo ($F_1, F_2$) entre las capas lineales para reducir la dimensión de canal intermedia ($c'$). Durante la inferencia, estos embudos se fusionan con las matrices de pesos originales.
  • Inicialización: Los autores proponen la Inicialización Singular Acoplada (CSI), utilizando la descomposición singular truncada para inicializar las matrices de embudo, imitando la mejor aproximación de bajo rango de la matriz de peso efectiva original.
  • Entrenamiento: Las matrices de embudo se entrenan junto con la red.
• Poda de Bloque Temporal Aprendible:
  • Mecanismo: A cada bloque temporal se le asigna un valor de importancia ($q_i$). Durante el entrenamiento, se muestrea una puerta de cero a uno para cada bloque basada en las probabilidades de inclusión derivadas de estos valores de importancia.
  • Optimización: Las probabilidades de inclusión se aprenden mediante un problema de optimización restringida para asegurar que se seleccione un presupuesto específico de bloques ($n$) por iteración. Un estimador de paso directo (STE) permite el entrenamiento de extremo a extremo.
  • Inferencia: Solo se retienen los $n$ bloques con las puntuaciones de importancia más altas.

Contribuciones Clave

1. Primer Modelo de Difusión de Video Móvil: El artículo presenta MobileVD, el primer intento de desplegar un modelo generativo de video espacio-temporal directamente en dispositivos móviles.
2. Optimizaciones Arquitectónicas: Introducción de la multiescala temporal y la atención cruzada optimizada, específicamente adaptadas a las restricciones de hardware móvil.
3. Esquemas de Poda Novedosos: Desarrollo de la "Canalización de Canales" para la reducción de ancho y una técnica de "Poda de Bloque Temporal Aprendible" que permite una reducción significativa de parámetros sin búsqueda manual de arquitectura.
4. Reducción de Pasos Adversarial: Aplicación del ajuste fino adversarial para lograr la generación en un solo paso sobre una base optimizada para móviles.

Resultados

Los autores evalúan MobileVD en un smartphone Xiaomi-14 Pro equipado con una plataforma móvil Qualcomm Snapdragon® 8 Gen 3.

• Eficiencia: MobileVD es 523 veces más eficiente en términos de costo computacional (1817.2 vs. 4.34 TFLOPs) en comparación con la línea base SVD.
• Latencia: Genera latentes para un clip de 14 fotogramas ($14 \times 512 \times 256$ px) en 1.7 segundos en el dispositivo móvil.
• Calidad: El modelo logra una Distancia de Video de Fréchet (FVD) de 149 (frente a 171 para la línea base en comparaciones específicas, aunque el resumen nota que 149 vs 171 es una ligera caída). Los autores señalan que una diferencia de hasta 20 unidades de FVD suele entrar dentro de la desviación estándar y no afecta significativamente la calidad visual.
• Comparación: MobileVD supera a otros métodos de aceleración (AnimateLCM, SF-V, UFOGen) en la relación calidad-eficiencia, ofreciendo un mejor FVD con una computación significativamente menor.

Significado y Reivindicaciones

El artículo afirma ser el primer trabajo que construye con éxito un modelo de difusión de video para el despliegue móvil. Al abordar tanto el costo de muestreo iterativo como la huella de memoria/computación de la arquitectura, los autores demuestran que la generación de video es factible en dispositivos móviles de consumo.

Los autores posicionan este trabajo como un "peldaño" hacia una mayor accesibilidad. Reconocen las limitaciones actuales, específicamente la restricción a 14 fotogramas a una resolución de $256 \times 512$, y sugieren que el trabajo futuro podría aprovechar autoencoders más eficientes para aumentar las tasas de compresión espacial y temporal. El trabajo se enmarca como un paso hacia la democratización de la generación de video, permitiendo a los usuarios crear contenido localmente con menos controles de acceso en comparación con las soluciones basadas en la nube.