Resumen Técnico: NeR-SC – Adaptación de la Representación Neuronal de Video a Contenido de Pantalla

1. Enunciado del Problema

Las representaciones neuronales implícitas (INR) han surgido como un paradigma competitivo para la compresión de video, particularmente para escenas naturales. Sin embargo, los métodos existentes (por ejemplo, NeRV, SNeRV) tienen dificultades con el video de contenido de pantalla (común en escritorio remoto, educación en línea y juegos en la nube). El contenido de pantalla exhibe propiedades estadísticas distintas que los códecs de video naturales no logran explotar:

• Paletas de Colores Discretas: Los bordes nítidos y los elementos de la interfaz de usuario utilizan un conjunto limitado de colores en lugar de gradientes continuos.
• Redundancia Temporal Fuerte: Grandes porciones del fotograma permanecen estáticas a lo largo de las secuencias, con cambios confinados a pequeñas regiones (por ejemplo, cursores).
• Estructura Multiescala: El texto y los elementos gráficos requieren un manejo preciso de transiciones nítidas.

Los métodos actuales de representación neuronal de video regresan valores RGB continuos, utilizan fusión de características secuenciales que puede ser subóptima para contenido gráfico y decodifican cada fotograma de forma independiente, ignorando la redundancia temporal. Esto resulta en una brecha de rendimiento en comparación con los códecs tradicionales (como H.264/H.265) y los códecs especializados en aprendizaje profundo (como DSCVC) para contenido de pantalla.

2. Metodología

Los autores proponen NeR-SC (Representación Neuronal para Contenido de Pantalla), un marco construido sobre la base SNeRV. La arquitectura descompone los fotogramas de entrada utilizando una transformada de onda de Haar 2D de un solo nivel. La sub-banda de baja frecuencia (LL) es procesada por un codificador-decodificador ConvNeXt pesado, mientras que las sub-bandas de alta frecuencia (HF) se reconstruyen mediante cabezales convolucionales ligeros.

NeR-SC introduce tres innovaciones específicas para adaptar esta base al contenido de pantalla:

A. Paleta de Colores Aprendible

Reconociendo que el contenido de pantalla depende de colores discretos, los autores reemplazan la regresión RGB sin restricciones para la sub-banda LL con un enfoque de clasificación por píxel.

• Se aprende una matriz de paleta entrenable $P \in \mathbb{R}^{K \times 3}$ (donde $K=64$).
• El decodificador produce logits para $K$ índices de color, que se convierten en probabilidades mediante un softmax escalado por temperatura.
• La sub-banda LL reconstruida es una combinación convexa de estas entradas de la paleta.
• Las sub-bandas de alta frecuencia permanecen sin restricciones para preservar la fidelidad de los bordes y los gradientes.

B. Módulo de Fusión Densa de Múltiples Puertas (MGF)

El SNeRV original utiliza una estrategia de fusión secuencial par a par (MRF) que restringe el flujo de información a etapas adyacentes. NeR-SC reemplaza esto con una fusión densa y simultánea de las últimas tres etapas del decodificador ($F_3, F_4, F_5$).

• Las características se proyectan a una dimensión común y se alinean mediante interpolación bilineal.
• Un bloque residual fusiona las características concatenadas.
• Un bloque Squeeze-and-Excitation (SE) aplica un control de atención por canal de manera residual, permitiendo que la red aprenda dinámicamente la importancia de las características a través de las etapas.

C. Estrategia de Omisión de Fotogramas a Nivel de Incrustación

Para abordar la fuerte redundancia temporal, los autores introducen un mecanismo para eludir el decodificador en fotogramas estáticos.

• Dado que la función de decodificación es determinista, los fotogramas con incrustaciones latentes similares producen reconstrucciones casi idénticas.
• Durante la decodificación, la incrustación latente $z_i$ del fotograma actual se compara con la incrustación $z_k$ del último fotograma decodificado utilizando una distancia L1 normalizada.
• Si la distancia cae por debajo de un umbral $\tau$ (predeterminado 0.005), se omite el decodificador y se reutiliza el fotograma anterior.
• Esta estrategia incurre en cero sobrecarga de entrenamiento y requiere almacenar únicamente un umbral escalar.

3. Contribuciones Clave

1. Paleta de Colores Aprendible: Convierte la regresión continua en clasificación discreta para la sub-banda de baja frecuencia, modelando eficazmente las paletas de colores limitadas del contenido de pantalla mientras mantiene la expresividad para los detalles de alta frecuencia.
2. Fusión Densa de Múltiples Puertas (MGF): Reemplaza la fusión secuencial con una interacción cruzada entre etapas densa y controlada por atención, mejorando la integración de características multiescala y reduciendo la cantidad de parámetros.
3. Estrategia de Omisión a Nivel de Incrustación: Un mecanismo sin sobrecarga que detecta la redundancia temporal mediante incrustaciones latentes compactas, permitiendo la decodificación en tiempo real al omitir invocaciones redundantes del decodificador.
4. Validación del Rendimiento: Demuestra que NeR-SC supera a los métodos representativos de representación neuronal de video y, a bajas tasas de bits, supera a los códecs tradicionales (H.264, H.265) en las pruebas de referencia de contenido de pantalla.

4. Resultados Experimentales

El método fue evaluado en dos conjuntos de datos: DSCVC (contenido de pantalla diverso) y VCD (videoconferencia).

• Rendimiento Cuantitativo:

  • NeR-SC logró un PSNR promedio de 40.32 dB en DSCVC y 41.73 dB en VCD.
  • Superó a la base SNeRV en 0.54 dB (DSCVC) y 0.11 dB (VCD).
  • A bajas tasas de bits, NeR-SC superó a H.264 y H.265, demostrando un rendimiento superior tasa-distorsión adaptado a las estadísticas del contenido de pantalla.
  • En estudios de ablación del tamaño del modelo, NeR-SC con 1.5M de parámetros (38.54 dB) ya superó a HNeRV con 6.0M de parámetros (36.81 dB).

• Rendimiento Cualitativo:

  • Las comparaciones visuales mostraron que NeR-SC produjo estructuras más nítidas y una reproducción de color más consistente que NeRV y HNeRV.
  • En comparación con SNeRV, NeR-SC preservó mejor los elementos de contenido (por ejemplo, bloques rectangulares oscuros) y los límites, atribuido a los módulos de paleta y MGF.

• Eficiencia:

  • La estrategia de omisión a nivel de incrustación aumentó el rendimiento de decodificación en 20.7 FPS, alcanzando 61.7 FPS (tiempo real) sin pérdida de PSNR.
  • Los estudios de ablación confirmaron que el módulo de Paleta añadió +0.22 dB de PSNR, MGF añadió +0.17 dB de PSNR mientras reducía parámetros, y la estrategia de Omisión proporcionó la ganancia de rendimiento.

5. Significado y Afirmaciones

El artículo afirma que NeR-SC cierra con éxito la brecha entre la representación neuronal de video de propósito general y las necesidades estadísticas específicas del contenido de pantalla. Al modelar explícitamente colores discretos, mejorar la fusión multiescala y aprovechar la redundancia temporal a nivel de incrustación, el marco logra un rendimiento de vanguardia entre los métodos neuronales.

Los autores enfatizan que los métodos de representación neuronal, cuando se adaptan adecuadamente al tipo de contenido objetivo, pueden competir e incluso superar a los códecs tradicionales para contenido de pantalla, particularmente a bajas tasas de bits. El trabajo también destaca el potencial de las estrategias de omisión sin sobrecarga para habilitar la decodificación en tiempo real sin comprometer la calidad, abordando un cuello de botella crítico en la implementación de códecs neuronales para aplicaciones interactivas como juegos en la nube y escritorio remoto.

Se señala que el trabajo futuro se centrará en extender NeR-SC a resoluciones más altas e integrarlo con herramientas tradicionales de Codificación de Contenido de Pantalla (SCC) para pipelines híbridos.