Low-Bitrate Video Compression through Semantic-Conditioned Diffusion

Resumen Técnico: DiSCo

1. El Problema

Los códecs de video tradicionales (como H.264, H.265, H.266) y las redes neuronales de compresión actuales están optimizados para maximizar la fidelidad de píxeles (precisión pixel a pixel). Sin embargo, este paradigma falla catastróficamente en regímenes de tasa de bits ultra-baja.

• Desalineación Fundamental: Existe una brecha entre la optimización de errores de píxeles y la percepción humana. Cuando la información disponible es extremadamente limitada, los métodos tradicionales producen artefactos severos (bloqueo, borrosidad, parpadeo temporal) que destruyen el realismo perceptual.
• Limitación de los Enfoques Semánticos Previos: Trabajos anteriores de compresión semántica han abordado la mejora espacial o la interpolación temporal por separado, o han utilizado modalidades semánticas redundantes (que describen lo mismo desde múltiples perspectivas), lo que genera ineficiencia en el ancho de banda. Además, no han explotado completamente la compactibilidad de las modalidades semánticas individuales.

2. Metodología: El Marco DiSCo

Los autores proponen DiSCo (Diffusion with Semantic Conditioning), un marco de compresión que factoriza el video fuente en representaciones semánticas compactas y utiliza un modelo generativo para la reconstrucción.

A. Codificación Multimodal (Emisor)
El video se descompone en tres modalidades complementarias, cada una comprimida con un códec especializado:

1. Descripción Textual: Captura la semántica global (objetos, contexto, acciones). Se genera mediante un modelo visión-lingüístico preentrenado (LLaVA) y se comprime sin pérdida (Zlib).
2. Video Degradado Espacio-Temporalmente: Proporciona una guía de apariencia y estructura. Se reduce agresivamente la resolución espacial ($D_s$) y temporal ($D_t$), conservando solo una de cada $D_t$ frames y muestreando espacialmente. Se comprime con un códec neuronal preentrenado (DCVC-RT).
3. Modalidades Opcionales (Bocetos o Posturas):
   • Bocetos: Para contenido con contornos definidos (animación), se extraen líneas usando modelos de aprendizaje profundo (InformativeDrawings) y se comprime con un códec DCVC-RT ajustado específicamente para datos de trazos.
   • Posturas: Para videos centrados en humanos, se extraen esqueletos 2D (DWPose), se cuantizan y se comprimen sin pérdida (LZMA).

B. Decodificación Generativa (Receptor)
El receptor reconstruye un video de alta calidad a partir de las señales decodificadas utilizando un Modelo de Difusión de Video Condicional:

• Arquitectura: Se basa en un Transformer de difusión de video (LTX-Video) ajustado con LoRA (Low-Rank Adaptation) en contexto, manteniendo los pesos preentrenados congelados.
• Estrategia de Generación:
  • Relleno Temporal hacia Adelante (Forward Filling): Para mantener la coherencia temporal, las frames omitidas durante la submuestreo temporal se rellenan duplicando la última frame disponible antes de la entrada al modelo, en lugar de usar ceros.
  • Interleaving de Tokens (Token Interleaving): En lugar de concatenar todos los tokens de todas las modalidades (lo que genera redundancia), se entrelazan los tokens. Por ejemplo, un token de video degradado se alterna con varios tokens de la modalidad auxiliar (boceto/postura). Esto asegura que cada frame se describa exclusivamente por una modalidad en el momento de la condición, eliminando información repetitiva y reduciendo la sobrecarga computacional.
• Entrenamiento: El modelo se entrena para reconstruir tokens latentes limpios a partir de tokens degradados/noisy bajo la supervisión de una pérdida L2 y rectified flow matching.

3. Contribuciones Clave

1. Factorización Semántica: Un marco que descompone el video en texto, video degradado y guías de movimiento (bocetos/posturas) para una compresión eficiente.
2. Generación Espacio-Temporal Conjunta: Un esquema que aprovecha la capacidad generativa de los modelos de difusión para restaurar tanto detalles espaciales como continuidad temporal simultáneamente, superando enfoques que tratan dimensiones por separado.
3. Mecanismo de Interleaving de Tokens: Una estrategia innovadora para condicionar modelos de difusión multimodales que elimina la redundancia semántica y es amigable con el streaming.
4. Códecs Especializados: Desarrollo y ajuste fino de códecs específicos para cada modalidad (texto, video, bocetos, posturas) para maximizar la compactibilidad.
5. Rendimiento Superior: Validación experimental que demuestra mejoras significativas sobre códecs tradicionales y semánticos en métricas perceptuales.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos estándar (HEVC-B, MCL-JCV, UVG) y específicos (Anim400K, OpenHumanVid) a tasas de bits muy bajas (ej. 0.005 BPP).

• Comparación de Métricas Perceptuales: DiSCo supera a los códecs tradicionales (H.266, H.265) y neuronales (DCVC-RT) entre 5 y 10 veces en métricas como LPIPS, DISTS, FID y FVD.
• Comparación con Semántica: Supera a los métodos semánticos previos (CVG, T-GVC) entre 2 y 3 veces.
• Calidad Visual: A 0.005 BPP, mientras los métodos tradicionales muestran bloques y borrosidad, DiSCo genera detalles ricos y coherencia temporal, preservando la semántica correcta incluso cuando la referencia degradada es casi irreconocible.
• Robustez Ultra-Baja: El sistema mantiene calidad perceptual aceptable incluso a 0.00045 BPP (3.58 kbps), reconstruyendo objetos basándose en la descripción textual cuando la guía visual falla.
• Generalización: El modelo entrenado a 512x512 y 57 frames generaliza a resoluciones más altas (1440x768) y secuencias más largas sin reentrenamiento.
• Eficiencia: La latencia de decodificación es de ~396 ms por frame en una GPU H100 (reducible a ~85 ms con un modelo destilado de 2B parámetros).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la compresión de video:

• De la Fidelidad de Píxeles a la Fidelidad Semántica: Demuestra que, en condiciones de ancho de banda extremadamente limitado, es más eficiente transmitir "qué hay en la escena" (semántica) y dejar que la IA "imagine" los detalles, en lugar de intentar transmitir los píxeles exactos.
• Potencial de los Modelos Generativos: Valida el uso de modelos de difusión no solo para generación ex nihilo, sino como decodificadores potentes en sistemas de comunicación, aprovechando los "priors generativos" para rellenar la información perdida.
• Aplicabilidad Futura: Abre la puerta a nuevas aplicaciones de comunicación en entornos con conectividad muy pobre (satélites, IoT, redes móviles de borde), donde la transmisión de video tradicional es imposible.

En conclusión, DiSCo establece un nuevo estado del arte para la compresión de video a baja tasa de bits, logrando una calidad perceptual superior mediante la sinergia entre representaciones semánticas compactas y la potencia generativa de la difusión condicional.