Motion Estimation Techniques for Volumetric Video Attribute Compression

Resumen Técnico: Técnicas de Estimación de Movimiento para la Compresión de Atributos de Video Volumétrico

Planteamiento del Problema
Las nubes de puntos sólidas dinámicas (DSPC, por sus siglas en inglés) representan escenas 3D como colecciones de puntos con geometría y atributos (por ejemplo, color). Si bien el marco de Compresión de Nube de Puntos Basada en Geometría (G-PCC) ha logrado reducciones significativas en la tasa de bits para la geometría mediante enfoques basados en el movimiento, la compresión de atributos sigue estando poco explorada. Los métodos existentes enfrentan tres desafíos principales:

1. Compensación de Color Inexacta: Muchos enfoques calculan el movimiento de forma independiente para cada bloque basándose únicamente en la geometría, ignorando la información de color, la correlación de movimiento inter-bloque y los desplazamientos fraccionarios.
2. Precisión Limitada en Esquemas Jerárquicos: Métodos como GeS-TM aplican la compensación de movimiento (MC) solo en los niveles superiores y gruesos de la jerarquía del octree, lo que resulta en predicciones menos precisas en comparación con el procesamiento de resolución completa.
3. Ineficiencia de la Interpolación: La estimación de movimiento de vóxel fraccional (FvME) tradicional requiere la interpolación explícita de muestras de sub-vóxel y una búsqueda exhaustiva, lo cual es computacionalmente costoso, especialmente para precisiones más finas.

Además, la conversión de nubes de puntos 3D a video 2D (como en V-PCC) introduce inconsistencias temporales debido a la segmentación de parches y la proyección, lo que degrada la eficiencia inter-frame.

Metodología
El artículo propone un flujo de trabajo de inter-predicción de atributos en el dominio de los vóxeles integrado en el marco G-PCC. El esquema opera sobre la geometría decodificada (ya sea sin pérdida o con pérdida) y consta de las siguientes etapas:

1. Partición de Bloques: La nube de puntos dinámica se particiona en bloques 3D no superpuestos (por ejemplo, mediante un octree).
2. Estimación de Movimiento de Vóxel Entero Basada en Grafos (IvME):
   • En lugar de un emparejamiento de bloques independiente, los autores formulan la estimación de movimiento como un problema de optimización global.
   • Se utiliza una métrica de distancia híbrida que combina geometría y color para encontrar los vecinos más cercanos entre los cuadros actuales y de referencia.
   • Se introduce un término de regularización basado en grafos para imponer suavidad espacial y consistencia estructural entre bloques vecinos. Este término promueve la deformación isométrica al penalizar el estiramiento no rígido mientras permite rotaciones locales.
   • La optimización alterna entre la estimación de vectores de movimiento por bloque y la actualización de matrices de rotación locales para alinear las orientaciones de los bordes.
3. IvME de Refinamiento Local:
   • Para minimizar aún más los residuales de predicción de color, el movimiento inicial basado en grafos se refina mediante una búsqueda exhaustiva dentro de un pequeño vecindario entero (±1 vóxel) para cada bloque. Este paso prioriza la precisión del color manteniendo la consistencia geométrica establecida en la etapa anterior.
4. Estimación de Movimiento de Vóxel Fraccional Libre de Interpolación (IF-FvME):
   • En lugar de generar muestras de sub-vóxel mediante interpolación, el método modela el predictor de compensación de movimiento fraccional (FvMC) como una combinación lineal ponderada de 27 predictores de vóxel entero circundantes.
   • El problema se reformula como una optimización convexa sobre coeficientes de interpolación (pesos) en lugar de una búsqueda directa sobre desplazamientos fraccionarios.
   • Se emplea un algoritmo de Frank-Wolfe para resolver los pesos óptimos en un simplex de probabilidad.
   • Una vez encontrados los pesos continuos óptimos, estos se cuantizan al vector de coeficiente trilineal válido más cercano correspondiente a una rejilla de desplazamiento fraccional específica (por ejemplo, precisión de 1/4 de vóxel).
5. Codificación de Residuales: La diferencia entre los atributos originales y la predicción compensada por movimiento se codifica utilizando herramientas estándar de G-PCC (transformada RAHT y codificación de entropía).

Contribuciones Clave
El artículo afirma las siguientes contribuciones específicas:

• Un Flujo de Trabajo Unificado: Un esquema de inter-predicción de atributos en el dominio de los vóxeles compatible con la codificación de geometría tanto sin pérdida como con pérdida dentro del marco G-PCC.
• IvME Basada en Grafos: Un esquema de estimación de movimiento que estima conjuntamente el movimiento para todos los bloques utilizando una penalización basada en grafos para asegurar vectores de movimiento suaves y coherentes, abordando los artefactos de "desgarro" y "grietas" encontrados en la estimación de bloques independientes.
• FvME Libre de Interpolación: Un método novedoso que logra la estimación de movimiento de precisión fraccional sin la interpolación explícita de sub-vóxeles. Optimiza directamente los coeficientes de interpolación, reduciendo significativamente la complejidad computacional en comparación con los métodos de búsqueda exhaustiva, al tiempo que permite una mayor precisión de movimiento (por ejemplo, 1/4 de vóxel).
• Evaluación Justa: Una configuración experimental que aísla la eficiencia de la codificación de atributos comparando métodos bajo condiciones de geometría con pérdida idénticas.

Resultados Experimentales
Los autores evaluaron el esquema propuesto en el conjunto de datos de MPEG (secuencias: longdress, redandblack, loot, soldier, queen) contra G-PCC, GeS-TM y V-PCC.

• Condiciones de Geometría con Pérdida: El método propuesto logró ahorros promedio en la tasa de bits (BD-rate) de:
  • 55.3% sobre G-PCC.
  • 42.3% sobre GeS-TM.
  • 16.5% sobre V-PCC.
• Condiciones de Geometría Sin Pérdida: El método propuesto logró ahorros promedio en la tasa de bits de:
  • 51.3% sobre G-PCC.
  • 31.7% sobre GeS-TM.
  • 146.4% sobre V-PCC (notando que V-PCC tiene dificultades significativas en entornos sin pérdida debido a las inconsistencias de los parches).
• Complejidad: El codificador propuesto es más lento que GeS-TM pero significativamente más rápido que V-PCC. La complejidad está dominada por las búsquedas de vecinos más cercanos, pero permanece en el mismo orden de magnitud que otros métodos basados en geometría, evitando los altos costos de la conversión de 2D a 3D.

Significancia y Reivindicaciones
El artículo afirma que su enfoque basado en la geometría ofrece una alternativa superior a los métodos basados en video (V-PCC) para el video volumétrico, particularmente porque evita las inconsistencias temporales introducidas por la proyección 2D y la segmentación de parches. Al aprovechar una optimización global basada en grafos y una estimación fraccional libre de interpolación, el método logra una alta eficiencia de codificación con una complejidad computacional manejable.

Los autores reconocen las limitaciones: si bien el esquema captura eficazmente los patrones de movimiento dominantes, puede tener dificultades con movimientos altamente no rígidos (por ejemplo, la dinámica del cabello, el movimiento de la ropa o la deformación de tejidos blandos) donde los modelos de traslación simple son insuficientes, dejando una energía residual alta. Este desafío específico se identifica como un área para trabajos futuros.