Towards Redundancy Reduction in Diffusion Models for Efficient Video Super-Resolution

1. Declaración del Problema

Aunque los modelos de difusión han logrado resultados de vanguardia en la generación y restauración de video, su adaptación directa para la Super-Resolución de Video (VSR) presenta desafíos significativos:

• Incompatibilidad de Tareas: La generación de video comienza desde ruido aleatorio para sintetizar estructura y detalle. En contraste, la VSR es una tarea de restauración condicionada donde la entrada de baja calidad (LQ) ya contiene información sustancial sobre geometría, movimiento y contenido.
• Redundancia: Aplicar la maquinaria generativa completa (diseñada para la síntesis de ruido a imagen) a la VSR obliga al modelo a realizar operaciones superfluas, como aprender a filtrar información que ya está presente en la entrada. Esto conduce a:
  • Sobrecarga Computacional: Interacciones de atención de largo alcance innecesarias y pasos de codificación pesados (por ejemplo, codificadores VAE, extractores de prompts).
  • Carga de Aprendizaje: El modelo lucha por suprimir interacciones irrelevantes en lugar de centrarse en refinar detalles.
• Complejidad del Mundo Real: Los videos del mundo real sufren degradaciones diversas e impredecibles (desenfoque, ruido, compresión) que a menudo son temporalmente inconsistentes, lo que dificulta el entrenamiento.

2. Metodología: OASIS

Los autores proponen OASIS (Especialización de Atención en un Paso para la Velocidad de Inferencia), un modelo de difusión de un paso eficiente diseñado para mitigar la redundancia mientras preserva el conocimiento preentrenado.

A. Enrutamiento de Especialización de Atención (ASR)

En lugar de tratar todas las cabezas de atención en un Transformador de Difusión (DiT) como procesadores globales idénticos, OASIS analiza sus comportamientos intrínsecos y los enruta a patrones específicos:

• Observación: El análisis de DiTs preentrenados revela que, mientras algunas cabezas exhiben atención global, otras se comportan consistentemente como procesadores localizados (atención Intra-frame o Ventana).
• Mecanismo:
  • El modelo calcula la divergencia KL entre la distribución de atención global original de una cabeza y las alternativas localizadas (Intra-frame y Ventana).
  • Las cabezas se clasifican por similitud con patrones localizados.
  • Un algoritmo de enrutamiento asigna cabezas específicas a modos de atención Global, Intra-frame o Ventana basándose en una proporción predefinida ($\rho$).
• Beneficio: Esto reduce la redundancia al prevenir interacciones de largo alcance innecesarias que diluyen las señales de textura y movimiento locales, manteniendo al mismo tiempo la capacidad del modelo para capturar el contexto global cuando es necesario.

B. Reducción de Redundancia en la Condicionamiento

Para reducir aún más el costo computacional, OASIS simplifica la tubería de condicionamiento de entrada:

• Eliminación del Codificador VAE: En lugar de usar un codificador VAE pesado para mapear el video LQ al espacio latente, OASIS utiliza una operación ligera de Pixel-Unshuffle seguida de una Proyección Lineal. Los experimentos muestran que esto preserva la información estructural (disposición de la escena, límites) comparable al codificador VAE.
• Eliminación del Extractor de Prompts: Dado que el video LQ en sí mismo proporciona un condicionamiento suficiente, se omite el extractor de prompts y se utiliza un prompt vacío.

C. Estrategia de Entrenamiento Progresivo

Para abordar la carga de aprendizaje causada por las simplificaciones arquitectónicas y las degradaciones complejas del mundo real, se emplea una estrategia de aprendizaje curricular en dos etapas:

1. Etapa 1 (Temporalmente Consistente): El modelo se entrena con datos sintéticos donde todos los cuadros de una secuencia de video comparten el mismo tipo y severidad de degradación. Esto establece capacidades fundamentales de restauración.
2. Etapa 2 (Temporalmente Inconsistente): El entrenamiento cambia a entornos realistas donde las degradaciones varían cuadro a cuadro (simulando movimiento de cámara inestable, compresión variable, etc.).

• Funciones de Pérdida: El modelo optimiza una combinación de:
  • Pérdida de Reconstrucción Latente: MSE entre latentes predichos y latentes de verdad fundamental.
  • Pérdida Perceptual: Combina MSE y LPIPS en el espacio de píxeles para mejorar la fidelidad visual.
  • Pérdida Temporal: Utiliza el desplazamiento de flujo óptico para imponer consistencia entre cuadros.

3. Contribuciones Clave

1. Arquitectura OASIS: Un modelo de difusión de un paso novedoso que introduce Enrutamiento de Especialización de Atención (ASR) para asignar dinámicamente las cabezas de atención a patrones globales o localizados, reduciendo significativamente la redundancia.
2. Condicionamiento Eficiente: Reemplaza los codificadores VAE pesados y los extractores de prompts con proyecciones ligeras de pixel-unshuffle y prompts vacíos, reduciendo drásticamente la sobrecarga computacional sin sacrificar la fidelidad estructural.
3. Entrenamiento Progresivo: Una estrategia curricular que transita de degradaciones temporalmente consistentes a inconsistentes, permitiendo que el modelo maneje escenarios complejos del mundo real de manera efectiva.
4. Rendimiento de Vanguardia: Logra una calidad de reconstrucción superior y velocidad de inferencia en comparación con los métodos existentes de VSR basados en difusión.

4. Resultados Experimentales

• Rendimiento: OASIS logra resultados de Vanguardia (SOTA) en múltiples benchmarks (UDM10, SPMCS, YouHQ40, RealVSR, MVSR4x). Lidera o se coloca segundo en 27 de los 30 métricas reportadas, destacando tanto en precisión a nivel de píxel (PSNR, SSIM) como en calidad perceptual (DOVER, CLIP-IQA).
• Eficiencia:
  • Aceleración: OASIS es aproximadamente 6.2× más rápido que la línea base de un paso SeedVR2.
  • Parámetros: Utiliza menos parámetros (1.42B) en comparación con otros modelos de difusión de alto rendimiento (por ejemplo, SeedVR2 con 3.4B).
  • Tiempo de Ejecución: En un video de 33 cuadros a 720×1280 (GPU A100), OASIS tarda 4.97 segundos, en comparación con 30.81 segundos para SeedVR2.
• Estudios de Ablación:
  • ASR: Supera a la atención global uniforme y a las líneas base de patrón único (intra-frame/ventana), demostrando que la atención híbrida es óptima.
  • Arquitectura: Eliminar el codificador VAE y el extractor de prompts reduce los MACs y el tiempo de ejecución con una pérdida de rendimiento negligible.
  • Entrenamiento: La estrategia progresiva (S1+S2) supera significativamente al entrenamiento solo con datos inconsistentes, mejorando la consistencia temporal ($E^*_{warp}$).

5. Significado

Este trabajo aborda un cuello de botella crítico en la aplicación de la IA generativa a tareas de restauración: la incompatibilidad entre los paradigmas de generación y restauración. Al identificar y eliminar componentes redundantes (atención global donde lo local es suficiente, codificadores pesados donde las proyecciones simples bastan), OASIS demuestra que:

• Los modelos de difusión pueden hacerse altamente eficientes para la VSR sin reentrenar desde cero ni utilizar recursos computacionales masivos.
• La adaptación arquitectónica específica de la tarea es más efectiva que simplemente añadir más módulos a una columna vertebral generativa.
• Los modelos de difusión de un paso son viables para la restauración de video en tiempo real y de alta calidad, cerrando la brecha entre el poder generativo teórico y el despliegue práctico.