Resumen Técnico: STAC-MV: Contexto Adaptativo Espacio-Temporal para la Compresión de Vídeo Multivista Neural

1. Planteamiento del Problema

La codificación de vídeo multivista (MVC) enfrenta desafíos significativos para explotar simultáneamente las redundancias temporales e inter-vista, particularmente para aplicaciones inmersivas emergentes como la Realidad Virtual (VR), la Realidad Aumentada (AR) y la Televisión de Punto de Vista Libre (FTV). Los enfoques convencionales, como el estándar VVC Multi-Layer (VVC-ML) y el estándar MPEG Immersive Video (MIV), dependen de una estimación de disparidad basada en bloques exhaustiva mediante modelos traslacionales fijos. Estos métodos sufren tres limitaciones principales:

1. Complejidad Prohibitiva: La coincidencia de bloques exhaustiva contra vistas de referencia aumenta el tiempo de codificación entre un 200 y 400% en comparación con la codificación de vista única.
2. Rigidez Geométrica: Los modelos de disparidad traslacional fijos no logran capturar las relaciones geométricas no lineales presentes en configuraciones de cámara no planas (por ejemplo, arreglos de arco y esféricos), lo que conduce a una degradación del rendimiento.
3. Operación Sintáctica: Los códecs convencionales operan a nivel de píxel, perdiendo las relaciones semánticas entre vistas que podrían permitir representaciones más compactas.

Aunque la compresión de vídeo neural (NVC) ha logrado resultados de vanguardia en escenarios de vista única (por ejemplo, el marco STAC), ningún trabajo previo ha extendido la compresión aprendida a escenarios multivista donde las correlaciones inter-vista deben modelarse conjuntamente con las dependencias temporales.

2. Metodología

Los autores proponen STAC-MV (Spatio-Temporal Adaptive Context for Multiview), el primer marco de compresión de vídeo multivista basado en transformadores. El sistema integra la arquitectura STAC con principios de gestión de complejidad adaptativa derivados del marco VVC-MV-CM. La arquitectura central consta de cinco módulos interconectados:

2.1 Transformación de Tasa Múltiple de Características

Los fotogramas de entrada de cada vista se convierten en representaciones latentes jerárquicas mediante una cascada de capas convolucionales con saltos (strided) con Normalización Divisiva Generalizada (GDN). El latente de la escala más fina (resolución 1/16) sirve como la representación primaria para la codificación de entropía.

2.2 Selector de Contexto Adaptativo Extendido (E-ACS)

Este módulo selecciona dinámicamente los fotogramas de referencia más informativos de un búfer unificado que contiene tanto referencias temporales (de la misma vista) como referencias inter-vista (de vistas adyacentes).

• Puntuación Consciente de la Geometría: El E-ACS calcula puntuaciones de relevancia utilizando una red neuronal ligera que concatena características latentes con incrustaciones (embeddings) geométricas aprendidas derivadas de los parámetros extrínsecos de la cámara (rotación y traslación).
• Restricciones de Conciencia de Vista: Un mecanismo de selección Top-K impone restricciones para asegurar que el conjunto seleccionado incluya al menos una referencia temporal y una inter-vista cuando estén disponibles, evitando estrategias de selección degeneradas.

2.3 Atención de Ventana Deslizante Mejorada Trans-Vista (CV-ESWA)

El modelo de entropía central extiende la Atención de Ventana Deslizante Mejorada (ESWA) de un volumen espacio-temporal 3D a un volumen espacio-temporal-vista 4D.

• Puerta Temporal-Vista: Una matriz de puerta incorpora un decaimiento dependiente de la línea de base de la cámara, permitiendo que los pesos de atención disminuyan suavemente con la distancia temporal y la distancia de la línea de base de la cámara. Esto permite correspondencias inter-vista aprendidas y no paramétricas sin modelos de disparidad fijos.
• Complejidad: El mecanismo opera con una complejidad de $O(N \cdot w_s^2 \cdot w_r)$, manteniendo una escalabilidad lineal con respecto al número de tokens.

2.4 Modelo de Entropía de Doble Ruta con Fusión de Vistas

Para capturar dependencias estadísticas complementarias, el modelo emplea dos rutas paralelas:

1. Ruta Autorregresiva por Canal: Predice distribuciones condicionadas a los canales previamente decodificados y a las referencias seleccionadas.
2. Ruta Espacio-Temporal-Vista: Utiliza CV-ESWA para predecir distribuciones conjuntas sobre todos los canales.
   Una puerta de fusión adaptativa dirige cada elemento latente a la ruta que proporciona el límite de probabilidad más ajustado. La estimación de la probabilidad utiliza un Modelo de Mezcla Gaussiana (GMM) de tres componentes.

2.5 Motor de Gestión de Complejidad Integrado

Para abordar el costo computacional de la codificación multivista, el marco incorpora un motor de decisión de dos etapas:

1. Pre-cribado Basado en Reglas: Reglas heurísticas (basadas en la energía residual temporal, límites espaciales y consistencia de movimiento) omiten las búsquedas inter-vista en casos claros.
2. Refinamiento Basado en CNN: Un Perceptrón Multicapa (MLP) ligero toma decisiones matizadas para casos ambiguos.
   Este motor está integrado con un marco de Optimización de Tasa-Distorsión consciente de la complejidad (RDO-C).

3. Principales Contribuciones

El artículo identifica cuatro contribuciones técnicas primarias:

1. E-ACS: Un selector de referencia consciente de la geometría que unifica los búferes de candidatos temporales e inter-vista, permitiendo una selección de referencia dependiente del contenido y la geometría.
2. CV-ESWA: Un mecanismo de atención 4D que aprende correspondencias inter-vista no paramétricas en el espacio latente, adaptándose a geometrías planas, de arco y esféricas sin modelos traslacionales fijos.
3. Modelo de Entropía de Doble Ruta: Una arquitectura que combina la autorregresión por canal y la predicción espacio-temporal-vista con fusión adaptativa y estimación GMM.
4. Gestión de Complejidad: Un motor integrado que logra una reducción significativa en el tiempo de codificación manteniendo la eficiencia de compresión.

4. Resultados Experimentales

El marco fue evaluado en 19 secuencias de prueba multivista que abarcan tres geometrías de cámara (Plana, Arco, Esférica) bajo dos configuraciones de vista (Todas las Vistas y Vista Seleccionada).

4.1 Rendimiento de Compresión (BD-Rate vs. Ancla MIV)

STAC-MV demostró una superioridad universal sobre las anclas MIV en las seis configuraciones:

• Plana: −7.0% (Todas las Vistas), −4.0% (Vista Seleccionada).
• Arco: −4.1% (Todas las Vistas), −2.7% (Vista Seleccionada).
• Esférica: −19.8% (Todas las Vistas), −15.0% (Vista Seleccionada).

4.2 Comparación con VVC Multi-Layer

El margen de rendimiento de STAC-MV sobre VVC-ML escaló monótonamente con la complejidad geométrica:

• Plana: Ganancias modestas (0.2 pp en Todas las Vistas), ya que la predicción basada en bloques es casi óptima para cámaras paralelas.
• Arco: Ganancias sustanciales (8.1 pp en Todas las Vistas, 13.6 pp en Vista Seleccionada).
• Esférica: Mayores ganancias (10.3 pp en Todas las Vistas, 13.3 pp en Vista Seleccionada).
  En configuraciones de Vista Seleccionada, STAC-MV superó consistentemente a VVC-ML por márgenes de 13.0–13.6 puntos porcentuales en todas las geometrías, demostrando robustez ante el muestreo de vistas dispersas.

4.3 Complejidad

El motor de gestión de complejidad logró una reducción del 45–62% en el tiempo de codificación en comparación con la búsqueda exhaustiva de VVC-ML, con un costo marginal de BD-rate de solo +0.2 puntos porcentuales.

4.4 Estudio de Ablación

El estudio aisló las contribuciones de los componentes individuales:

• Codificador temporal STAC: −2.7 pp.
• CV-ESWA (atención inter-vista): −1.7 pp.
• E-ACS (selección de referencia): −1.4 pp acumulados.
• Entropía de doble ruta con GMM: −0.6 pp.

5. Significación y Reivindicaciones

Los autores afirman que STAC-MV establece la predicción inter-vista basada en transformadores como un paradigma efectivo para la codificación de vídeo multivista. La significación del trabajo radica en:

1. Cerrar la Brecha: Es el primer marco que extiende la compresión de vídeo aprendida a escenarios multivista, abordando la brecha entre los códecs de vídeo de vista única de vanguardia y los requisitos de vídeo inmersivo.
2. Adaptabilidad Geométrica: A diferencia de los códecs convencionales limitados por modelos de disparidad fijos, STAC-MV aprende correspondencias geométricas arbitrarias en el espacio latente, proporcionando sus mayores beneficios precisamente donde los métodos convencionales tienen más dificultades (geometrías complejas y no planas).
3. Despliegue Práctico: Al integrar la gestión de la complejidad directamente en el flujo de trabajo neural, el marco logra reducciones sustanciales en el tiempo de codificación, abordando una barrera crítica para el despliegue práctico de los códecs neurales.
4. Arquitectura Unificada: El sistema opera eficazmente a través de diversos arreglos de cámara (planos, de arco, esféricos) y densidades de vista sin requerir ajustes específicos de la geometría o selección de modelo.

El artículo concluye que, si bien la latencia de decodificación sigue siendo un desafío para las aplicaciones en tiempo real, el marco demuestra con éxito que los mecanismos de atención aprendidos pueden superar sistemáticamente tanto la estimación de disparidad basada en bloques como la codificación inmersiva basada en síntesis.