GeoDualNet: Geometry-Aware Dual-Latent Neural Codec with Epipolar Cross-Attention for Joint Disparity Vector and Depth Prediction in Multi-View Video Coding

Resumen Técnico: GeoDualNet

1. Planteamiento del Problema

La codificación de video multi-vista más profundidad (MVD) es esencial para aplicaciones inmersivas como la realidad virtual y el video de punto de vista libre, donde las escenas son capturadas por múltiples cámaras calibradas para permitir la síntesis de vistas interactivas. Sin embargo, el volumen de datos escala linealmente con el número de vistas, lo que requiere una compresión altamente eficiente.

Las soluciones actuales enfrentan una limitación fundamental: no logran explotar conjuntamente la dualidad proyectiva entre los vectores de disparidad (DV) y los mapas de profundidad.

• Codecs Tradicionales (p. ej., 3D-HEVC): Tratan la predicción de DV y la codificación de profundidad como módulos independientes diseñados a mano. Aunque utilizan la profundidad para influir en la derivación de la disparidad, no existe una optimización conjunta ni una representación compartida, perdiendo la enorme información mutua implícita en la relación geométrica $d = fB/Z$.
• Codecs Aprendidos (p. ej., LMVC): Aunque existen codecs multi-vista aprendidos de extremo a extremo (end-to-end), el estado del arte (LMVC) evita la estimación explícita de la disparidad y omite la codificación de profundidad por completo. Este enfoque "libre de disparidad" renuncia a fuertes sesgos geométricos y no puede soportar el formato MVD requerido para el Renderizado Basado en Imágenes de Profundidad (DIBR).

El problema central es la falta de un marco neuronal unificado de extremo a extremo que aprenda conjuntamente la predicción de vectores de disparidad y la codificación de mapas de profundidad para explotar su redundancia geométrica.

2. Metodología: Arquitectura GeoDualNet

Se propone GeoDualNet como el primer codec neuronal de extremo a extremo para aprender conjuntamente la predicción de DV y la codificación de profundidad a través de un espacio latente geométrico unificado. El marco adopta una estructura de codificación por capas donde una vista base se codifica utilizando un codec de B-frame aprendido de vanguardia y congelado (DCVC-B), mientras que las vistas dependientes y todos los mapas de profundidad se procesan a través de cinco componentes novedosos y geométricamente acoplados:

2.1 Refinamiento Mutuo de Latentes Duales (DLMR)

Este es el mecanismo iterativo central donde las representaciones latentes de disparidad y profundidad ($z_d$ y $z_z$) se refinan mutuamente.

• Mecanismo: El codificador produce latentes iniciales, que luego se pasan a través de $K$ iteraciones de refinamiento cruzado. En cada paso, el latente de disparidad se actualiza utilizando información del latente de profundidad, y viceversa.
• Garantía Teórica: Los autores demuestran que, bajo una condición de Lipschitz (impuesta mediante normalización espectral), el DLMR converge a un punto fijo de consistencia geométrica único.
• Convergencia: Los experimentos muestran que más del 95% de la mejora se captura dentro de $K=3$ iteraciones.

2.2 Atención Cruzada Epipolar (ECA)

Para acoplar los espacios latentes de manera eficiente, GeoDualNet introduce un mecanismo de atención con restricciones geométricas.

• Máscara Epipolar: En lugar de una atención global, el mecanismo restringe las interacciones a correspondencias proyectivamente válidas a lo largo de líneas epipolares definidas por la matriz fundamental. Esto reduce la complejidad aproximadamente $6\times$ en comparación con la atención sin restricciones.
• Codificación Posicional Geométrica (GPE): Las codificaciones sinusoidales estándar se reemplazan con codificaciones condicionadas por la cámara que inyectan parámetros intrínsecos y extrínsecos ($\Pi$) directamente en las proyecciones de consulta (query) y clave (key).
• Cabezales Sensibles a la Escala: Los cabezales de atención se particionan para operar en bandas de escala específicas de disparidad/profundidad para evitar la interferencia entre objetos cercanos y lejanos.

2.3 Campo Geométrico Implícito (IGF)

Este componente reemplaza todas las operaciones de deformación (warping) diseñadas a mano (warping 3D, DIBR) con un único campo neuronal aprendible.

• Función: Mapea las representaciones latentes entre vistas mediante un MLP condicionado por coordenadas con capas de Modulación Lineal por Características (FiLM), condicionado por los parámetros de la cámara de origen y destino.
• Ventajas: Opera en el espacio latente (proporcionando robustez a las oclusiones y eficiencia computacional) y es totalmente diferenciable, evitando los artefactos de discretización inherentes al warping en el dominio de los píxeles.

2.4 Flujo de Disparidad con Puerta de Profundidad (DGDF)

Este módulo acelera y restringe la predicción de la disparidad utilizando sesgos de profundidad gruesa.

• Cadena Causal: Establece una cadena diferenciable: $Profundidad \rightarrow DV \rightarrow Profundidad \ Refinada$.
• Mecanismo: Un predictor de profundidad ligero genera un mapa de profundidad grueso, que se convierte en un corredor de búsqueda geométrica adaptativo (rango de disparidad). Luego, se calcula un volumen de correlación con puerta (gated) solo dentro de este corredor, reduciendo el costo computacional y la memoria de $4\text{--}10\times$ en comparación con los volúmenes de correlación completos.

2.5 Modelo de Entropía Geométrica Conjunta (JGEM)

Para maximizar la eficiencia de la compresión, GeoDualNet emplea un modelo de entropía condicional cruzada.

• Factorización: La entropía conjunta de la disparidad, la profundidad y los residuales de textura se factoriza condicionada a un sesgo (prior) geométrico compartido derivado de un hiperprior fusionado por transformador.
• Beneficio: Al condicionar el modelo de entropía de profundidad sobre el latente de disparidad decodificado (y viceversa), el codec explota la información mutua condicional $I(z_d; z_z | \Pi)$, ahorrando teóricamente bits proporcionales a esta redundancia.

2.6 Estrategia de Entrenamiento

El sistema se entrena de extremo a extremo utilizando una función de pérdida multiobjetivo que equilibra la tasa, la distorsión de textura, la distorsión de profundidad, la calidad de síntesis y la consistencia geométrica. Un regularizador de consistencia geométrica impone la dualidad proyectiva $d = fB/Z$ como un ancla autosupervisada. El entrenamiento sigue un currículo de tres fases: calentamiento de vista independiente, activación del acoplamiento geométrico y ajuste fino conjunto.

3. Contribuciones Clave

1. Primer Codec Conjunto DV-Profundidad: GeoDualNet es el primer codec neuronal de extremo a extremo que optimiza conjuntamente la predicción de vectores de disparidad y la codificación de mapas de profundidad, explotando explícitamente la dualidad proyectiva $d = fB/Z$.
2. Nuevos Componentes Arquitectónicos: La introducción de DLMR (con convergencia demostrable), ECA (con restricciones epipolares), IGF (warping aprendible), DGDF (búsqueda con puerta) y JGEM (entropía de componente cruzado).
3. Fundamentos Teóricos: El artículo proporciona pruebas teóricas para la convergencia del bucle de refinamiento mutuo y límites inferiores en el ahorro de tasa derivados de la información mutua condicional.
4. Evaluación Exhaustiva: Pruebas extensas en las condiciones de prueba comunes (CTC) de 3D-HEVC cubriendo textura, profundidad y calidad de vista sintetizada.

4. Resultados Experimentales

Evaluado en secuencias de prueba estándar de 3D-HEVC (p. ej., Poznan Street, GT Fly, Shark) bajo configuraciones de 3 y 5 vistas:

• Codificación de Textura: GeoDualNet logra ahorros promedio de BD-rate de 39.1% (PSNR), 42.5% (MS-SSIM) y 45.8% (VMAF) sobre 3D-HEVC.
• Codificación de Profundidad: Logra un ahorro promedio de BD-rate de 47.6% para mapas de profundidad sobre 3D-HEVC.
• Comparación con LMVC: Comparado con el codec multi-vista aprendido de vanguardia (LMVC), GeoDualNet proporciona 15.5 puntos porcentuales adicionales de ahorro de textura mientras añade soporte nativo de codificación de profundidad (que LMVC carece).
• Calidad de la Vista Sintetizada: La representación MVD decodificada produce una mejora de +2.12 dB en el PSNR de la vista sintetizada y +4.8 puntos VMAF sobre 3D-HEVC.
• Estudios de Ablación:
  • Eliminar DLMR causa la mayor degradación (+14.3% de pérdida de BD-rate de textura), confirmando que el refinamiento mutuo es el principal motor.
  • Eliminar la pérdida de consistencia geométrica ($L_{geo}$) tiene un impacto desproporcionado en la calidad de síntesis (+11.2% de degradación), resaltando el papel crítico de la coherencia geométrica para DIBR.
  • El JGEM contribuye significamente a los ahorros de profundidad (+12.4% de pérdida de BD-rate cuando se elimina), validando la explotación de la información mutua de componente cruzado.
• Escalabilidad: Las ganancias de rendimiento aumentan con el número de vistas (de -41.5% en configuraciones de 3 vistas a -47.7% en 5 vistas).
• Complejidad: El tiempo de codificación es de aproximadamente 0.84s por cuadro en una GPU A100 (342$\times$ más rápido que 3D-HEVC en CPU), con un overhead moderado del 35% respecto a LMVC debido a los módulos de profundidad y geometría añadidos.

5. Significado y Reivindicaciones

El artículo afirma que GeoDualNet establece un nuevo paradigma para la compresión MVD al demostrar que los sesgos inductivos geométricos explícitos (restricciones epipolares, dualidad proyectiva, representaciones condicionadas por la cámara) producen ganancias sustanciales sobre los enfoques agnósticos a la geometría, incluso cuando dichos enfoques utilizan mecanismos de propósito general como la atención sin restricciones.

El trabajo sostiene que:

• Aprender conjuntamente DV y profundidad es fundamentalmente más eficiente que la codificación independiente, ya que explota la redundancia física inherente a la geometría multi-vista.
• La filosofía "libre de disparidad" de los codecs aprendidos anteriores (como LMVC) es subóptima para formatos MVD que requieren profundidad; el modelado geométrico explícito es superior cuando se implementa con módulos aprendidos apropiados.
• El éxito del JGEM demuestra que los problemas de compresión de múltiples flujos se benefician significamente del modelado de entropía conjunta cuando los flujos comparten una estructura física subyacente.

Los autores posicionan este trabajo como un paso fundacional hacia la compresión unificada para medios inmersivos, cerrando la brecha entre la codificación multi-vista tradicional y las representaciones volumétricas emergentes, al tiempo que señalan que trabajos futuros podrían abordar cámaras no calibradas, restricciones conscientes de oclusión y arreglos densos de campos de luz.