Geometric Transformation-Embedded Mamba for Learned Video Compression

Este trabajo presenta un marco de compresión de video aprendido basado en una estrategia de transformación directa que integra un módulo Mamba en cascada con transformaciones geométricas y una red de refinamiento local, logrando un rendimiento superior en calidad perceptiva y consistencia temporal a bajas tasas de bits en comparación con los métodos más avanzados.

Lo esencial

¡Claro que sí! Imagina que quieres enviar un álbum de fotos de tu viaje por WhatsApp a un amigo, pero tu conexión a internet es muy lenta. Si envías 100 fotos individuales, tardará una eternidad. Pero, ¿qué pasa si le dices a tu amigo: "Mira, en la foto 100, el árbol está en la misma posición que en la foto 99, solo que la hoja se movió un poquito"? Así, en lugar de enviar la foto completa, solo envías la "diferencia" (el movimiento de la hoja).

Los métodos antiguos de compresión de video funcionan así: intentan calcular exactamente cómo se mueve cada objeto (como si fuera un director de orquesta contando cada nota) y luego envían las diferencias. Es muy preciso, pero muy complicado y lento, como intentar resolver un rompecabezas gigante mientras corres.

Los autores de este paper proponen una forma más inteligente y fluida, como si tuvieras un asistente de IA superpoderoso que entiende el video como un todo. Aquí te explico sus tres grandes trucos con analogías sencillas:

1. El "Mamba" con Transformaciones Geométricas (El Explorador Multidireccional)

Imagina que el video es una gran biblioteca de libros (los cuadros del video).

• El problema: Los métodos anteriores leían los libros solo de izquierda a derecha, línea por línea. Se perdían las conexiones entre los libros de la estantería de arriba y los de abajo, o entre los de ayer y los de hoy.
• La solución (Cascaded Mamba): Ellos crearon un robot llamado "Mamba" que es un lector voraz. Pero no solo lee en línea recta. Este robot tiene un superpoder: puede girar la biblioteca.
  • A veces lee de adelante hacia atrás.
  • A veces lee de arriba hacia abajo.
  • A veces lee cruzando el tiempo (como si leyera el mismo personaje en diferentes capítulos).
  • La magia: Al "girar" la información (transformaciones geométricas) antes de leerla, el robot encuentra patrones ocultos que otros no ven. Esto le permite entender la historia completa del video sin tener que calcular cada movimiento de cada objeto por separado.

2. La Red de Refinamiento Local (El Cirujano de Detalles)

El robot "Mamba" es genial viendo el panorama general (el bosque), pero a veces se le escapan los detalles pequeños (las hojas individuales).

• El problema: Si solo miras el bosque, no ves si una hoja está rota o si un pájaro tiene una pluma azul.
• La solución (LRFFN): Aquí entra un segundo especialista, un "cirujano de detalles". En lugar de mirar todo el video de golpe, este especialista usa unas "gafas especiales" (convoluciones de diferencia) que solo se fijan en cómo cambia un píxel respecto a su vecino.
  • Es como si alguien pasara un dedo muy suave sobre la pantalla para sentir las texturas y bordes finos.
  • Esto asegura que, aunque el video esté comprimido, los detalles importantes (como los bordes de un edificio o la cara de una persona) no se vean borrosos o "plastificados".

3. El Modelo de Entropía Condicional (El Adivino del Futuro)

Para comprimir el video, el sistema necesita adivinar qué va a pasar en el siguiente cuadro para no tener que enviar toda la información.

• El problema: Los sistemas antiguos adivinaban basándose solo en lo que ya vieron (el cuadro anterior). A veces se equivocan si hay un movimiento brusco.
• La solución: Ellos crearon un "adivino" que usa dos fuentes de información:
  1. Lo que ya vio en los cuadros anteriores.
  2. Una pista extra que calcula cómo se mueven las cosas ahora mismo (como predecir la trayectoria de una pelota).
  • Al tener esta "pista extra", el sistema sabe exactamente qué información es redundante y puede borrarla sin que se note. Es como si el adivino supiera que la pelota siempre va a caer en el mismo lugar, así que no necesita enviar la foto de la pelota cayendo, solo dice "la pelota cayó".

¿Por qué es importante esto?

Imagina que quieres ver un video en 4K en tu celular mientras viajas en un tren con señal débil.

• Los métodos viejos: El video se ve borroso, con cuadros congelados o extraños porque el sistema se agotó intentando calcular los movimientos.
• Este nuevo método: El video se ve nítido, fluido y con detalles increíbles, incluso con muy pocos datos (poca "ancho de banda").

En resumen:
Este equipo de investigadores creó un sistema que no intenta "calcular" el movimiento de cada objeto como un robot torpe, sino que entiende la historia completa del video (mirando en todas direcciones), afina los detalles como un artista y adivina el futuro con mucha precisión. El resultado es un video que se ve genial, pesa muy poco y se transmite rápido.

¡Es como pasar de enviar una carta escrita a mano letra por letra, a enviar un mensaje de voz perfecto y claro!

Resumen técnico

Resumen Técnico: GTEM-LVC

1. Problema y Motivación

A pesar del rendimiento sobresaliente de los métodos de compresión de video aprendida (learned video compression), la mayoría sigue un paradigma de codificación híbrida (inspirado en codecs tradicionales como HEVC/H.266). Estos métodos requieren:

• Estimación y compensación de movimiento explícita.
• Codificación de vectores de movimiento y residuos.
• Soluciones complejas que aumentan la carga computacional y la dificultad de implementación.

Alternativamente, los métodos basados en transformaciones (sin movimiento explícito) han ganado atención, pero a menudo sufren de limitaciones:

• Las convoluciones 3D tienen campos receptivos locales, incapaces de capturar dependencias de largo alcance en el tiempo y el espacio.
• Los modelos basados en Transformers o Mamba existentes a menudo no explotan suficientemente las redundancias temporales complejas o dependen exclusivamente de latentes pasados, lo que resulta en un rendimiento subóptimo.

El objetivo es desarrollar un marco de compresión simplificado y efectivo que elimine la estimación de movimiento explícita, pero que mantenga una alta calidad perceptual y consistencia temporal, especialmente a bajas tasas de bits.

2. Metodología Propuesta

Los autores proponen un marco de compresión basado en transformaciones directas (Transformación No Lineal $\rightarrow$ Cuantización $\rightarrow$ Codificación Entropía), integrado con tres componentes clave:

A. Módulo Mamba en Cascada (CMM - Cascaded Mamba Module)

• Objetivo: Capturar dependencias espaciales y temporales de largo alcance (no locales).
• Innovación: Se introduce un bloque de Mamba con transformaciones geométricas incrustadas. A diferencia de los métodos que escanean en múltiples direcciones en paralelo (lo cual es costoso computacionalmente), este método aplica una transformación reversible antes de un escaneo direccional único.
• Estrategia de Escaneo: Utiliza cuatro estrategias de escaneo selectivo secuencialmente para cubrir el contexto global:
  1. FST: Espacio-Tiempo hacia adelante.
  2. BST: Espacio-Tiempo hacia atrás (mediante inversión de ejes).
  3. FTS: Tiempo-Espacio hacia adelante (mediante transposición).
  4. BTS: Tiempo-Espacio hacia atrás.
• Esto permite modelar el contexto global de manera eficiente sin la sobrecarga de escaneos paralelos repetidos.

B. Red de Alimentación Directa de Refinamiento de Localidad (LRFFN)

• Objetivo: Mejorar la representación de detalles espaciales locales y finos, complementando la modelación global del CMM.
• Innovación: Incorpora un Bloque de Convolución Híbrida (HCB) basado en convoluciones de diferencia.
• Funcionamiento: El HCB ejecuta cinco operaciones en paralelo:
  • Convolución Vertical y Horizontal de Diferencia.
  • Convolución Angular y Central de Diferencia.
  • Convolución Vanilla (estándar).
• Las convoluciones de diferencia capturan variaciones entre valores vecinos (bordes, texturas) con una representación más compacta, reduciendo la redundancia de bits necesaria para detalles finos.

C. Modelo de Entropía Condicional por Canal (CCEM)

• Objetivo: Estimar con precisión las distribuciones de probabilidad de las características latentes actuales para una codificación eficiente.
• Innovación: Utiliza priors temporales condicionales que van más allá de los latentes decodificados anteriores.
  • Módulo de Alineación de Movimiento Predictivo (PMA): Estima el movimiento entre latentes decodificados anteriores ($t-2$ y $t-1$) y lo utiliza para alinear características, actuando como un "pseudo-ground truth" para el movimiento actual.
  • Red de Generación de Condiciones (CGN): Fusiona los latentes decodificados anteriores y las características alineadas para generar condiciones ricas que guían la estimación de la entropía del frame actual.

3. Contribuciones Clave

1. Marco de Transformación Dependiente de Frame y Latente: Un método de compresión que logra calidad perceptual competitiva y coherencia temporal sin estimación de movimiento explícita.
2. Módulo Mamba con Transformación Geométrica: Desarrollo del CMM para capturar dependencias no locales en 3D (espacio-tiempo) mediante escaneos bidireccionales y transformaciones reversibles, superando las limitaciones de las convoluciones 3D y los escaneos unidireccionales.
3. Refinamiento Local con Diferencias: Diseño del LRFFN con convoluciones de diferencia para capturar detalles finos de manera eficiente.
4. Modelo de Entropía Avanzado: Un modelo que utiliza tanto latentes pasados como características de movimiento pseudo-alineadas del frame actual para mejorar la estimación de probabilidad y reducir la entropía.

4. Resultados Experimentales

• Configuración: Entrenado en datasets Vimeo-90k y REDS; evaluado en REDS4, UVG y MCL-JCV.
• Métricas: Se evaluó calidad perceptual (LPIPS, DISTS), distorsión (PSNR, MS-SSIM) y consistencia temporal (tLPIPS).
• Rendimiento:
  • El método propuesto supera a los enfoques de codificación híbrida de última generación (como la serie DCVC, DCVC-HEM, DCVC-FM) en métricas perceptuales (LPIPS y DISTS) y consistencia temporal (tLPIPS), especialmente a bajas tasas de bits.
  • Mantiene una fidelidad de píxel (PSNR) superior a métodos puramente perceptuales como ICISP, evitando el efecto de "suavizado" excesivo.
  • Visualización: Las reconstrucciones muestran mejor preservación de detalles estructurales (ej. farolas, puentes) y menos artefactos temporales en comparación con competidores.
• Complejidad: El modelo tiene una cantidad de parámetros comparable a los métodos híbridos (~47.8M), aunque el modelo de entropía condicional representa una parte significativa de la carga computacional.

5. Significado e Impacto

Este trabajo representa un avance significativo en la compresión de video aprendida al demostrar que es posible eliminar la complejidad de la estimación de movimiento explícita sin sacrificar la calidad.

• Simplificación: Al eliminar los bloques de estimación y compensación de movimiento tradicionales, el pipeline se vuelve más limpio y potencialmente más fácil de implementar en hardware.
• Eficiencia Temporal: La integración de Mamba con transformaciones geométricas ofrece una nueva vía para modelar dependencias 3D de manera eficiente, superando las limitaciones de las convoluciones locales y la ineficiencia de los escaneos paralelos masivos.
• Calidad Perceptual: El enfoque demuestra que la optimización orientada a la percepción, combinada con modelado temporal avanzado, es crucial para la compresión de video en escenarios de ancho de banda limitado.

En resumen, GTEM-LVC establece un nuevo estado del arte en compresión de video basada en aprendizaje, equilibrando eficiencia computacional, simplicidad arquitectónica y alta fidelidad visual.