Resumen Técnico: NAE-VC – Codificación Aritmética Neuronal como un Reemplazo Aprendido para CABAC

1. Planteamiento del Problema

La codificación de entropía representa la etapa final y sin pérdida de los códecs de vídeo híbridos (H.264/AVC, H.265/HEVC, H.266/VVC), determinando directamente la tasa de bits necesaria para lograr una calidad de reconstrucción específica. El estándar actual, la Codificación Aritmética Binaria Adaptativa Basada en Contexto (CABAC), depende de tres restricciones arquitectónicas fundamentales que limitan la precisión de la estimación de probabilidad:

1. Modelado de Probabilidad Binaria: CABAC descompone elementos de sintaxis multivalentes en decisiones binarias, estimando probabilidades de Bernoulli separadas para cada bit. Esto descarta la estructura estadística conjunta y la naturaleza multimodal de los coeficientes de transformada.
2. Derivación de Contexto Fija: El mapeo del estado de codificación al índice del modelo de contexto está diseñado a mano y congelado durante la estandarización. No puede adaptarse a las propiedades estadísticas específicas de secuencias de vídeo individuales o regiones de contenido local.
3. Adaptación de Tasa Única: Las actualizaciones de probabilidad utilizan una regla de media móvil exponencial (EMA) fija, que no puede distinguir entre contextos estacionarios (que requieren una adaptación lenta) y contextos no estacionarios (que requieren una adaptación rápida).

Si bien los marcos de compresión neuronal de extremo a extremo han demostrado una modelación de probabilidad superior utilizando hiperprioris aprendidos, contextos autorregresivos y Modelos de Mezcla Gaussiana (GMM), estos enfoques reemplazan todo el flujo de trabajo del códec. No son compatibles con los estándares y carecen de compatibilidad con versiones anteriores. Existe una brecha significativa en la transferencia de estos avances de modelación aprendida a la etapa de codificación de entropía de los códecs estandarizados existentes sin alterar las herramientas de predicción, transformada o filtrado.

2. Metodología: El Marco NAE-VC

Los autores proponen NAE-VC (Codificación Aritmética Neuronal para la Compresión de Vídeo), un marco modular diseñado para reemplazar quirúrgicamente solo el módulo CABAC en los códecs existentes (JM-19.0, HM-16.25, VTM-17.0) preservando todas las demás herramientas de codificación. El marco consta de tres componentes principales:

A. Red de Agregación de Contexto

Para superar la capacidad de representación limitada de los índices de contexto fijos de CABAC, NAE-VC emplea una red aprendida que fusiona tres fuentes de contexto complementarias en un vector de condicionamiento unificado ($D=192$):

• Contexto Espacial: Extraído mediante convoluciones de $3\times3$ enmascaradas sobre los coeficientes ya codificados dentro del bloque actual, aumentado con características de los bloques vecinos reconstruidos (izquierda/arriba) para manejar los límites.
• Contexto Autorregresivo por Canal: Los coeficientes se particionan en cuatro grupos y se procesan secuencialmente mediante un Perceptrón Multicapa (MLP) para capturar dependencias entre canales (por ejemplo, entre los coeficientes DC y AC).
• Contexto Temporal: Para los fotogramas inter-codificados, se extraen características de los bloques de referencia compensados por movimiento. Para los fotogramas intra, se utiliza un embedding por defecto aprendido.
• Fusión: Estos caminos se fusionan utilizando un mecanismo de Atención Cruzada Multi-Cabeza ($H=4$ cabezas, $d_k=48$), lo que permite a la red ponderar adaptativamente la fuente de contexto más informativa para cada elemento de sintaxis.

B. Estimación de Probabilidad Neuronal (GMM)

En lugar de probabilidades de Bernoulli simples, NAE-VC modela la distribución de los coeficientes de transformada cuantizados utilizando un Modelo de Mezcla Gaussiana (GMM) con $K=3$ componentes.

• Cabezales de Predicción: Tres cabezales lineales paralelos predicen la media ($\mu$), la escala ($\sigma$, vía Softplus) y los pesos de mezcla ($\pi$, vía Softmax) para los componentes del GMM basados en el vector de contexto fusionado.
• Discretización: La densidad continua del GMM se integra sobre los bins de cuantización unitarios para generar una Función de Masa de Probabilidad (PMF) discreta, que luego se convierte en una Función de Distribución Acumulativa (CDF) para la codificación de entropía.
• Ventaja: Este enfoque captura distribuciones multimodales, de cola pesada y asimétricas que los modelos de un solo modo de CABAC no pueden representar.

C. Modelado de Contexto Jerárquico y Codificación rANS

• Hiperprior: Una red de codificación ligera (1.8M de parámetros) comprime las estadísticas globales de los coeficientes en un vector de información lateral latente ($\hat{z}$), transmitido como información lateral para proporcionar estimaciones iniciales espacialmente adaptativas.
• Paralelismo de Tablero de Ajedrez: Para permitir un paralelismo parcial sin violar las dependencias causales, las posiciones de los coeficientes se dividen en conjuntos pares e impares (patrón de tablero de ajedrez). Las posiciones pares se codifican primero usando el hiperprior y el contexto temporal; las posiciones impares se codifican después, condicionadas adicionalmente por las posiciones pares ya decodificadas.
• Motor de Codificación: El marco utiliza rANS (Sistemas Numéricos Asimétricos de Rango) con precisión de CDF de 16 bits, reemplazando al codificador aritmético binario. Esto asegura una eficiencia de compresión casi óptima (dentro de 0.01 bits/símbolo de la entropía teórica) y una sincronización exacta entre el codificador y el decodificador.

3. Contribuciones Clave

1. Primer Reemplazo Neuronal Unificado: NAE-VC se presenta como el primer reemplazo neuronal para el flujo de trabajo de codificación de entropía de coeficientes de transformada evaluado en tres generaciones de códecs híbridos estandarizados (H.264, H.265, H.266) bajo una única arquitectura.
2. Fusión de Atención Cruzada Multi-Cabeza: La introducción de un mecanismo de fusión aprendido que combina adaptativamente contextos espaciales, de canal y temporales, superando el mapeo fijo de CABAC.
3. Evaluación Exhaustiva entre Códecs: El estudio proporciona una evaluación extensa en seis conjuntos de datos de referencia (UVG, MCL-JCV, clases HEVC B–E) y dos configuraciones (All-Intra, Low-Delay P), demostrando ganancias consistentes en las métricas PSNR, MS-SSIM y VMAF.
4. Estrategia de Integración Modular: El trabajo demuestra que la codificación de entropía aprendida puede integrarse como un reemplazo "drop-in" para CABAC, aislando la contribución de la estimación de probabilidad de otras herramientas de codificación y preservando la semántica de predicción y transformada del códec estándar.

4. Resultados Experimentales

Los experimentos se realizaron en seis conjuntos de datos de referencia utilizando valores de QP {22, 27, 32, 37}.

Ahorros de BD-Rate (vs. CABAC Nativo)

NAE-VC logró ahorros de tasa de bits de manera consistente en todos los códecs, siendo la magnitud de la mejora inversamente proporcional a la sofisticación de la implementación nativa de CABAC:

• H.264/AVC: $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P).
• H.265/HEVC: $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P).
• H.266/VVC: $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P).

Observaciones Clave

• Relación Inversa: Los resultados confirman la hipótesis de que a medida que el CABAC nativo se vuelve más sofisticado (de H.264 a H.266), el "margen" para el reemplazo neuronal disminuye, aunque persisten las ganancias medibles incluso en el altamente optimizado VVC.
• Contexto Temporal: La configuración Low-Delay P genera mayores ganancias que All-Intra (por ejemplo, un $1.33$ punto porcentual adicional para H.264), validando la contribución de la ruta de contexto temporal que modela las correlaciones de coeficientes entre fotogramas, las cuales no están disponibles para CABAC.
• Calidad Perceptual: Las ganancias fueron consistentes en todas las métricas, con mejoras de VMAF ($-5.47\%$ para H.264) que superan ligeramente las de PSNR, lo que sugiere que el GMM preserva mejor los coeficientes estructuralmente importantes.
• Ablación de Componentes: La mayor ganancia individual provino del reemplazo de tablas fijas por estimación de probabilidad neuronal ($-1.18$ pp), seguido de la modelación GMM ($-0.64$ pp), el hiperprior ($-0.56$ pp) y el contexto espacial ($-0.49$ pp).
• Impacto Transgeneracional: H.265+NAE-VC cierra aproximadamente el $25\%$ de la brecha de compresión respecto al H.266 nativo, demostando que la codificación de entropía aprendida puede proporcionar una fracción significativa de las ganancias generacionales sin un rediseño completo del códec.

Sobrecarga Computacional

• Codificación: La sobrecarga es mayor para H.264 (aprox. $3.9\times$ la base) debido a su codificación nativa rápida, pero es más modesta para H.266 ($1.15\times$) donde el flujo de trabajo base ya es computacionalmente intensivo.
• Tamaño del Modelo: El total de parámetros entrenables es de $8.6$ M, con un tamaño de modelo ONNX de $\approx 34$ MB.
• Despliegue: Los autores señalan que para H.264/H.265 en tiempo real, sería necesaria la aceleración por hardware o la compresión del modelo, mientras que la transcodificación basada en la nube es un escenario más viable de inmediato.

5. Significado y Reivindicaciones

El artículo afirma que NAE-VC proporciona evidencia concreta de que la codificación de entropía aprendida aborda limitaciones arquitectónicas fundamentales (modelado binario, derivación de contexto fija, adaptación de tasa única) que persisten en todas las variantes de CABAC.

• Modularidad: El enfoque ofrece un camino para mejorar la eficiencia de compresión sin reemplazar todo el ecosistema de códecs, preservando la compatibilidad con versiones anteriores a nivel de herramienta de codificación (aunque el formato del bitstream cambie, requiriendo un decodificador correspondiente).
• Cuantificación del Margen: Los resultados cuantifican el margen de codificación de entropía residual disponible incluso en los estándares más avanzados (VVC), sugiriendo que es posible obtener más ganancias mediante la modelación de probabilidad aprendida.
• Practicidad: Al aislar la etapa de entropía, el trabajo cierra la brecha entre el alto rendimiento de los códecs neuronales de extremo a extremo y la realidad del despliegue de la codificación de vídeo estandarizada, ofreciendo una vía de actualización "quirúrgica" para la infraestructura existente.

Los autores concluyen que, si bien la relación inversa entre la sofisticación de CABAC y las ganancias neuronales es direccionalmente consistente, esta se ve influenciada por otras diferencias a nivel de códec (partición, transformadas, etc.). No obstante, las mejoras consistentes a través de todas las generaciones validan el potencial de la codificación de entropía neuronal modular como una mejora viable para los futuros estándares de compresión de vídeo.