Resumen Técnico: Compresión de Representación de Video Neuronal Mejorada a través de Escalas Extremas de Complejidad y Calidad (NVRC++)

1. Declaración del Problema

Las Representaciones Neuronales Implícitas (INR, por sus siglas en inglés) han surgido como un enfoque prometedor para la compresión de video, ofreciendo un rendimiento competitivo de tasa-distorsión y una decodificación rápida al representar videos como redes neuronales sobreajustadas (overfitted). Sin embargo, los códecs basados en INR existentes enfrentan un compromiso crítico entre complejidad y escalabilidad:

• Los modelos de alto rendimiento (por ejemplo, NVRC, HiNeRV) suelen requerir que la complejidad del modelo aumente con la tasa de bits o la calidad objetivo. Esto resulta en una sobrecarga computacional de decodificación significativa en altas tasas de bits y evita el uso de un único modelo para diversos niveles de calidad.
• Los modelos ligeros pueden lograr escalabilidad de tasa con una complejidad fija, pero sufren de un rendimiento de compresión degradado debido a una capacidad de representación limitada y al codificado independiente de parches de video, lo que no logra explotar las redundancias espacio-temporales globales.
• El despliegue directo de rejillas de características de alta resolución (para mejorar la calidad sin aumentar la profundidad de la red) a menudo conduce a un rendimiento subóptimo en bajas tasas de bits y a una sobrecarga computacional/de memoria prohibitiva durante el proceso de optimización (sobreajuste) para secuencias de video largas.

El desafío central es la falta de una arquitectura unificada que mantenga una complejidad de decodificación constante a través de un amplio rango de tasas de bits mientras entrega un alto rendimiento de compresión.

2. Metodología: El Marco de Trabajo NVRC++

Los autores proponen NVRC++, un novedoso códec de video basado en INR diseñado para desacoplar la complejidad del modelo de la calidad de reconstrucción. El marco integra cuatro innovaciones clave:

A. Rejillas de Características de Alta Resolución con Complejidad Fija

NVRC++ utiliza una red neuronal ligera emparejada con múltiples rejillas de características de alta resolución. A diferencia de enfoques anteriores donde el tamaño del modelo escala con la calidad, NVRC++ utiliza una única configuración de modelo (capas de red fijas) para abarcar un amplio rango de tasa de bits/calidad. Las rejillas de alta resolución almacenan características espacio-temporales dinámicas directamente, permitiendo que el modelo represente detalles finos sin aumentar el costo computacional de la red del decodificador.

B. Estructura de Codificación de Parámetros Internos y Marco de Optimización

Para gestionar los costos computacionales y de memoria de la optimización de rejillas de alta dimensión para secuencias largas, NVRC++ introduce una estructura de codificación de parámetros internos inspirada en la codificación jerárquica de los códecs de video convencionales (por ejemplo, Hierarchical-B).

• Segmentación Temporal: Los parámetros de la rejilla de características se particionan en segmentos temporales. Las dependencias se modelan jerárquicamente, donde los segmentos en niveles inferiores dependen de los segmentos de referencia en niveles superiores, en lugar de procesar todo el tensor de la rejilla simultáneamente.
• Cuantificación Incondicional y Muestreo Aleatorio: Para evitar la explosión de memoria causada por las cadenas de propagación de características en el sobreajuste estándar, el marco emplea tamaños de cuantificación que no están condicionados a los fotogramas anteriores. Esto permite un muestreo aleatorio durante el proceso de optimización, donde solo se actualizan parcialmente los parámetros en cada paso. Esto reduce significamente la huella de memoria (permitiendo secuencias de 1080p de 600 fotogramas en GPUs de 24GB) manteniendo la consistencia entre entrenamiento y prueba.
• Enmascaramiento de la Rejilla de Características: Se aplica un mecanismo de enmascaramiento aleatorio (inspirado en Dropout) a las rejillas de alta resolución durante las etapas iniciales del entrenamiento. Esto obliga al modelo a depender inicialmente de las rejillas de menor resolución, evitando el sobreajuste a detalles finos en bajas tasas de bits y asegurando una explotación efectiva de la redundancia espacio-temporal en todo el rango de tasas de bits.

C. Modelo de Entropía de Rejilla Multidimensional

Para comprimir eficientemente los parámetros de la rejilla de alta dimensión, se diseñó un modelo de entropía avanzado que aprovecha tres tipos de priors:

1. Priors de Escala: Las rejillas de menor resolución condicionan la codificación de las rejillas de mayor resolución.
2. Priors Temporales: Los segmentos codificados de pasos de tiempo anteriores sirven como condiciones para los segmentos subsiguientes.
3. Priors Espaciales: Se utiliza el contexto espacial dentro del mismo segmento.
   Este modelo evita la naturaleza lenta y secuencial de los modelos autorregresivos mediante el uso de un enfoque de codificación de múltiples pasos con contextos espaciales enmascarados, equilibrando la eficiencia de compresión con una alta velocidad de codificación.

D. Arquitectura HiNeRV++

El marco emplea HiNeRV++, una versión mejorada de la red HiNeRV. Las modificaciones clave incluyen:

• Entradas de Referencia Múltiple: En lugar de depender únicamente de características interpoladas, HiNeRV++ utiliza múltiples segmentos de características crudas vecinas como contexto de entrada, proporcionando codificaciones de mayor fidelidad.
• Salida Simplificada: Los bloques de red de nivel superior se reemplazan por una única capa de Pixel Shuffle para reducir los costos de inferencia en altas resoluciones.
• Integración de Rejillas: Las codificaciones de diferentes conjuntos de rejillas de características se alimentan en múltiples etapas de la red, no solo en la primera.

3. Contribuciones Clave

1. Códec INR Escalable: Una arquitectura novedosa que soporta cuatro niveles distintos de complejidad (desde ~7k hasta ~360k MACs/píxel), donde cada nivel cubre un amplio rango de tasa de bits y calidad con una complejidad de decodificación fija.
2. Optimización Eficiente: Un marco de optimización que permite el entrenamiento de rejillas de alta dimensión en secuencias largas bajo estrictas restricciones de memoria mediante codificación de parámetros internos y muestreo aleatorio.
3. Modelado de Entropía Avanzado: Un modelo de entropía de rejilla multidimensional que explota las redundancias de escala, temporales y espaciales para una compresión de parámetros eficiente.
4. Diseño de Red Mejorado: La arquitectura HiNeRV++, que logra una decodificación en tiempo real y un rendimiento superior mediante el aprovechamiento de rejillas de alta resolución y entradas de referencia múltiple.

4. Resultados Experimentales

El marco NVRC++ fue evaluado en los conjuntos de datos UVG y MCL-JCV (secuencias Full HD) contra códecs convencionales de última generación (x265, HM, VTM), códecs neuronales basados en autoencoders (DCVC-FM, DCVC-RT) y códecs basados en INR existentes (HiNeRV, NVRC, C3).

• Rendimiento de Tasa-Distorsión: Las variantes de NVRC++ (S1–S4) demuestran un rendimiento altamente escalable. La variante S3 iguala el rendimiento del códec INR de vanguardia NVRC decodificando 7.6 veces más rápido. La variante S4 logra un rendimiento comparable a VTM y DCVC-RT.
• Complejidad vs. Velocidad: A diferencia de NVRC e HiNeRV, cuya complejidad escala con la tasa de bits, NVRC++ mantiene una complejidad fija para una escala dada. Logra velocidades de decodificación de hasta 73.4 FPS (S3) y 162.9 FPS (S2) en una NVIDIA RTX 4090, superando significativamente a los métodos INR existentes.
• Estudios de Ablación: Eliminar cualquier componente (rejillas de alta resolución, enmascaramiento, priors de entropía o entradas de referencia múltiple) resultó en una degradación significativa del rendimiento, validando la necesidad de cada innovación.
• HiNeRV++ vs. HiNeRV: La nueva arquitectura converge más rápido y logra un PSNR más alto (por ejemplo, +2.09 dB a 300 épocas) con un costo computacional menor al transferir la carga de representación a las rejillas.

5. Significado y Reivindicaciones

El artículo afirma que NVRC++ representa un paso significativo hacia el despliegue práctico de la codificación de video basada en INR. Al resolver el cuello de botella de la escalabilidad, permite que una única configuración de modelo sirva a diversas restricciones de hardware y requisitos de calidad sin sacrificar la eficiencia de compresión.

Los autores enfatizan que NVRC++ logra un compromiso de complejidad-rendimiento superior, entregando un rendimiento de vanguardia a través de un rango de calidad sin precedentes en cada nivel de complejidad. Crucialmente, permite la decodificación en tiempo real (hasta 73.4 FPS) manteniendo un rendimiento de tasa-distorsión competitivo, abordando la principal limitación de los códecs INR de alto rendimiento previos que eran demasiado costosos computacionalmente para aplicaciones del mundo real. El trabajo demuestra que las redes ligeras combinadas con rejillas de características de alta resolución y estrategias de optimización eficientes pueden superar tanto a los métodos tradicionales basados en autoencoders como a los modelos INR más pesados.