Resumen Técnico: DCVC-MB: Compresión de Vídeo con B-Frames mediante Modelos de Espacio de Estados

Planteamiento del Problema

Aunque los códecs de vídeo tradicionales (p. ej., VVC, HEVC) logran avances significativos en la compresión mediante la predicción bidireccional (B-frames), los Códecs de Vídeo Neuronales (NVCs) se han basado predominantemente en estructuras de P-frames unidireccionales. Los intentos previos de incorporar B-frames en los NVCs han tenido dificultades con dos problemas principales:

1. Fusión Ineficaz: Los métodos anteriores no logran fusionar eficientemente la información temporal bidireccional, lo que a menudo resulta en un rendimiento inferior al de los enfoques de solo P-frames.
2. Complejidad Computacional: Las arquitecturas basadas en Transformers, que son capaces de capturar dependencias de largo alcance, escalan de forma cuadrática ($O(N^2)$) con la resolución. Esto conlleva un consumo de memoria prohibitivo (superando los límites de VRAM) y costes computacionales elevados en resoluciones altas (720p, 1080p), lo que los hace impracticables para el despliegue en el mundo real.

Metodología

Los autores proponen DCVC-MB (DCVC-Mamba), un marco de códec de vídeo neuronal diseñado específicamente para la codificación de B-frames utilizando Modelos de Espacio de Estados (SSMs). La arquitectura se basa en el marco DCVC-DC, pero introduce cambios fundamentales para permitir el acceso simultáneo a la información temporal pasada y futura.

Componentes Arquitectónicos Principales

1. Fusión de Características Bidireccional mediante Mamba:

   • A diferencia de los modelos anteriores que utilizan un único Búfer de Imágenes Decodificadas (DPB) del pasado, DCVC-MB mantiene dos DPBs: uno de la trama pasada ($X_{t-1}$) y uno de la trama futura ($X_{t+1}$).
   • Estas características se fusionan mediante un Bloque Mamba Bidireccional (BMB). La arquitectura Mamba ofrece una complejidad lineal ($O(N)$) en comparación con la complejidad cuadrática de los Transformers, lo que permite un procesamiento eficiente a altas resoluciones.
   • El proceso de fusión implica concatenar los fotogramas de referencia, embeberlos mediante una CNN 2D, tokenizarlos y procesar la secuencia a través del SSM. El SSM modela la dinámica del sistema mediante una Ecuación Diferencial Ordinaria (ODE) discretizada con parámetros aprendibles ($A, B, C$).
   • Para capturar dependencias bidireccionales complejas, el modelo emplea un método Espacial-Primero Bidireccional, procesando los tokens en escaneos de fila tanto hacia adelante como hacia atrás, y sumando las salidas.

2. Salto de Latentes Adaptativo (Adaptive Latent Skipping):

   • Para reducir el tiempo de codificación de entropía, el marco emplea un mecanismo de salto de latentes adaptativo. En lugar de un umbral fijo, utiliza una estrategia de umbralización relativa basada en la desviación estándar ($\sigma$) de los elementos latentes dentro de un fotograma.
   • Los latentes con $\sigma_i < \text{media}(\sigma)$ se omiten (se reemplazan por un valor medio), mientras que otros se codifican. Esto reduce el tiempo de codificación de entropía aproximadamente 9$\times$ para P-frames y 5$\times$ para B-frames sin introducir una computación asimétrica.

3. Incrustación de Posición Canónica (Canonical Position Embedding):

   • Para abordar el desajuste de resolución entre el entrenamiento (256$\times$256) y la inferencia (hasta 1080p), los autores sustituyen las incrustaciones de posición de coordenadas de píxeles estándar por Incrustaciones de Posición Canónicas.
   • Las coordenadas espaciales se normalizan a un plano de imagen canónico ($x, y \in [0, 1]$) en lugar de utilizar valores de píxeles brutos. Esto asegura que los armónicos posicionales permanezcan consistentes a través de las resoluciones, evitando el sobreajuste a la resolución de entrenamiento.

4. Optimizaciones en Tiempo de Inferencia:

   • Open GoP: Permite que el último B-frame de un Grupo de Imágenes (GoP) haga referencia al I-frame del GoP subsiguiente, proporcionando referencias temporalmente más cercanas.
   • Codificación Bidireccional: Codifica los GoPs de índice impar en ambas direcciones (hacia adelante y hacia atrás), seleccionando el resultado con el menor coste de tasa-distorsión. Los GoPs de índice par utilizan una configuración cerrada para mantener la complejidad lineal.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de una arquitectura de fusión de características bidireccional basada en Modelos de Espacio de Estados (Mamba) que permite la codificación eficiente de B-frames en altas resoluciones donde los enfoques basados en Transformers fallan debido a las restricciones de memoria.
• Estrategia de Fotogramas IBP: Implementación de un modelo de compresión neuronal base que soporta la codificación de vídeo de Acceso Aleatorio (RA) utilizando un orden de fotogramas IBP.
• Mecanismos de Eficiencia: Desarrollo de una técnica de salto de latentes basada en entropía adaptativa para acelerar la codificación de entropía y la integración de estrategias de tiempo de inferencia (Open GoP y Codificación Bidireccional) para mejorar el rendimiento de la compresión.
• Generalización de Resolución: El uso de incrustaciones de posición canónicas para asegurar que el modelo se generalice eficazmente desde datos de entrenamiento de baja resolución a inferencia de alta resolución.

Resultados Experimentales

El método fue evaluado en conjuntos de datos estándar (HEV, UVG, MCL-JCV) utilizando conversión RGB BT.709, comparándolo contra VTM-19.0 (configuraciones LDP y RA) y NVCs de vanguardia (DCVC-DC, DCVC-FM).

• Rendimiento vs. Códecs Tradicionales: DCVC-MB logra reducciones de BD-rate de hasta un 30.45% sobre VTM-19.0-LDP y un 1.81% sobre VTM-19.0-RA (Inter-GoP=16).
• Rendimiento vs. Códecs Neuronales: El modelo demuestra reducciones de BD-rate promedio del 8.98% en comparación con los códecs de vídeo neuronales previos (específicamente DCVC-FM) y un 20.19% sobre el benchmark más fuerte VTM-19.0-RA.
• Eficiencia: El escalado lineal del modelo de fusión Mamba permite que todo el pipeline de B-frame quepa dentro de 13.8GB de VRAM a 1080p, mientras que una arquitectura Transformer comparable excede los 40GB.
• Estudios de Ablación: Los experimentos confirman que el modelo de fusión Mamba es responsable de la mayor parte de las ganancias de BD-rate ($-4.55\%$), con las estrategias de tiempo de inferencia proporcionando mejoras aditivas. Se demostró que las incrustaciones de posición canónicas son críticas para la generalización a resoluciones no vistas.

Significado y Reivindicaciones

El artículo afirma que DCVC-MB representa un avance significativo en la compresión de vídeo neuronal al lograr cerrar la brecha entre la eficiencia de compresión de la predicción bidireccional y la viabilidad computacional de los modelos de aprendizaje profundo.

Los autores sostienen que:

1. Escalabilidad: Al aprovechar Mamba, el marco logra una codificación de B-frames práctica a altas resoluciones (720p, 1080p), superando los cuellos de botella de memoria que han limitado a los NVCs bidireccionales previos.
2. Competitividad: DCVC-MB es el primer NVC que supera la configuración más fuerte de VTM-19.0-RA, demostando que los enfoques neuronales ahora pueden competir o incluso exceder el rendimiento de los principales códecs tradicionales en escenarios de Acceso Aleatorio.
3. Practicidad: A través del salto de latentes adaptativo y las optimizaciones de tiempo de inferencia, el método equilibra un alto rendimiento de compresión con la reducción de los tiempos de codificación/decodificación, acercando la compresión de vídeo neuronal a un despliegue práctico.

Los autores reconocen limitaciones, señalando que el rendimiento puede degradarse en conjuntos de datos específicos (p. ej., MCL-JCV) debido a las brechas de dominio entre los datos de entrenamiento (vídeo natural) y los de prueba (contenido animado con movimiento drástico), y que la optimización de YUV420 sigue siendo un desafío en comparación con el entrenamiento en RGB.