Motion Estimation Techniques for Volumetric Video Attribute Compression

Resumo Técnico: Técnicas de Estimativa de Movimento para Compressão de Atributos de Vídeo Volumétrico

Definição do Problema
Nuvens de pontos sólidas dinâmicas (DSPCs) representam cenas 3D como coleções de pontos com geometria e atributos (ex: cor). O framework de Compressão de Nuvem de Pontos Baseada em Geometria (G-PCC) alcançou reduções significativas de taxa para a geometria usando abordagens baseadas em movimento, mas a compressão de atributos permanece subexplorada. Os métodos existentes enfrentam três desafios primários:

1. Compensação de Cor Imprecisa: Muitas abordagens calculam o movimento de forma independente para cada bloco baseando-se apenas na geometria, ignorando a correlação de movimento entre blocos e o deslocamento fracionário da informação de cor.
2. Precisão Limitada em Esquemas Hierárquicos: Métodos como o GeS-TM aplicam a compensação de movimento (MC) apenas nos níveis mais grosseiros da hierarquia de octree, resultando em predições menos precisas em comparação ao processamento de resolução total.
3. Ineficiência de Interpolação: A estimativa de movimento de voxel fracionário tradicional (FvME) requer a interpolação explícita de amostras sub-voxel e busca exaustiva, o que é computacionalmente caro, especialmente para precisões mais finas.

Além disso, converter nuvens de pontos 3D para vídeo 2D (como no V-PCC) introduz inconsistências temporais devido à segmentação de patches e projeção, degradando a eficiência inter-frame.

Metodologia
O artigo propõe um pipeline de inter-predição de atributos no domínio do voxel integrado ao framework G-PCC. O esquema opera sobre a geometria decodificada (seja ela lossless ou lossy) e consiste nas seguintes etapas:

1. Particionamento de Blocos: A nuvem de pontos dinâmica é particionada em blocos 3D não sobrepostos (ex: via octree).
2. Estimativa de Movimento de Voxel Inteiro (IvME) Baseada em Grafos:
   • Em vez de correspondência de blocos independente, os autores formulam a estimativa de movimento como um problema de otimização global.
   • Uma métrica de distância híbrida combinando geometria e cor é usada para encontrar vizinhos próximos entre os frames atuais e de referência.
   • Um termo de regularização baseado em grafos é introduzido para impor suavidade espacial e consistência estrutural entre blocos vizinhos. Este termo promove a deformação isométrica ao penalizar o estiramento não rígido, permitindo, contudo, rotações locais.
   • A otimização alterna entre a estimativa de vetores de movimento por bloco e a atualização de matrizes de rotação locais para alinhar as orientações das arestas.
3. IvME Refinado Localmente:
   • Para minimizar ainda mais os resíduos de predição de cor, o movimento baseado em grafos inicial é refinado via uma busca exaustiva dentro de uma pequena vizinhança de inteiros (±1 voxel) para cada bloco. Esta etapa prioriza a precisão da cor enquanto mantém a consistência geométrica estabelecida na etapa anterior.
4. Estimativa de Movimento de Voxel Fracionário Sem Interpolação (IF-FvME):
   • Em vez de gerar amostras sub-voxel via interpolação, o método modela o preditor de compensação de movimento fracionário (FvMC) como uma combinação linear ponderada de 27 preditores de voxel inteiro circundantes.
   • O problema é reformulado como uma otimização convexa sobre coeficientes de interpolação (pesos) em vez de uma busca direta sobre deslocamentos fracionários.
   • Um algoritmo de Frank-Wolfe é empregado para resolver os pesos ideais em um simplex de probabilidade.
   • Uma vez encontrados os pesos contínuos ideais, eles são quantizados para o vetor de coeficiente trilinear válido mais próximo correspondente a uma grade de deslocamento de voxel fracionário específica (ex: precisão de 1/4-voxel).
5. Codificação de Resíduo: A diferença entre os atributos originais e a predição compensada pelo movimento é codificada usando ferramentas padrão de G-PCC (transformada RAHT e codificação de entropia).

Principais Contribuições
O artigo reivindica as seguintes contribuições específicas:

• Um Pipeline Unificado: Um esquema de inter-predição de atributos no domínio do voxel compatível com codificação de geometria tanto lossless quanto lossy dentro do framework G-PCC.
• IvME Baseado em Grafos: Um esquema de estimativa de movimento que estima conjuntamente o movimento para todos os blocos usando uma penalidade baseada em grafos para garantir vetores de movimento suaves e coerentes, abordando os artefatos de "rasgo" (tearing) e "fissura" (cracking) encontrados na estimação de blocos independente.
• FvME Sem Interpolação: Um novo método que alcança estimativa de movimento de precisão fracionária sem interpolação sub-voxel explícita. Ele otimiza diretamente os coeficientes de interpolação, reduzindo significativamente a complexidade computacional em comparação aos métodos de busca exaustiva, ao mesmo tempo em que permite maior precisão de movimento (ex: 1/4-voxel).
• Avaliação Justa: Uma configuração experimental que isola a eficiência da codificação de atributos comparando métodos sob condições idênticas de geometria lossy.

Resultos Experimentais
Os autores avaliaram o esquema proposto no dataset MPEG de nuvens de pontos (sequências: longdress, redandblack, loot, soldier, queen) contra G-PCC, GeS-TM e V-PCC.

• Condições de Geometria Lossy: O método proposto alcançou economias médias de taxa de bits (BD-rate) de:
  • 55,3% sobre o G-PCC.
  • 42,3% sobre o GeS-TM.
  • 16,5% sobre o V-PCC.
• Condições de Geometria Lossless: O método proposto alcançou economias médias de taxa de bits de:
  • 51,3% sobre o G-PCC.
  • 31,7% sobre o GeS-TM.
  • 146,4% sobre o V-PCC (notando que o V-PCC tem dificuldades significativas em configurações lossless devido a inconsistências de patch).
• Complexidade: O codificador proposto é mais lento que o GeS-TM, mas significativamente mais rápido que o V-PCC. A complexidade é dominada pelas buscas de vizinho mais próximo, mas permanece na mesma ordem de magnitude de outros métodos baseados em geometria, evitando os altos custos da conversão 2D-para-3D.

Significância e Alegações
O artigo afirma que sua abordagem baseada em geometria oferece uma alternativa superior aos métodos baseados em vídeo (V-PCC) para vídeo volumétrico, principalmente porque evita as inconsistências temporais introduzidas pela projeção 2D e segmentação de patches. Ao aproveitar uma otimização global baseada em grafos e uma estimativa fracionária sem interpolação, o método alcança alta eficiência de codificação com complexidade computacional gerenciável.

Os autores reconhecem limitações: embora o esquema capture padrões de movimento dominantes de forma eficaz, pode ter dificuldades com movimentos altamente não-rígidos (ex: dinâmica de cabelos, flutuação de vestimentas, deformação de tecidos moles) onde modelos de translação simples são insuficientes, deixando a energia residual alta. Este desafio específico é identificado como uma área para trabalhos futuros.