Motion Estimation Techniques for Volumetric Video Attribute Compression

Sintesi Tecnica: Tecniche di Stima del Moto per la Compressione degli Attributi di Video Volumetrico

Problematica
Le nuvole di punti dinamiche solide (DSPC) rappresentano scene 3D come collezioni di punti con geometria e attributi (ad esempio, il colore). Sebbene il framework di compressione delle nuvole di punti basato sulla geometria (G-PCC) abbia ottenuto riduzioni significative del bitrate per la geometria tramite approcci basati sul moto, la compressione degli attributi rimane ampiamente inesplorata. Gli approcci esistenti affrontano tre sfide primarie:

1. Compensazione del Colore Imprecisa: Molti approcci calcolano il moto indipendentemente per ogni blocco basandosi esclusivamente sulla geometria, ignorando l'informazione del colore, la correlazione del moto inter-blocco e gli spostamenti frazionari.
2. Precisione Limitata nei Sistemi Gerarchici: Metodi come GeS-TM applicano la compensazione del moto (MC) solo ai livelli grossolani superiori della gerarchia dell'ottree, risultando in predizioni meno accurate rispetto all'elaborazione a risoluzione completa.
3. Inefficienza dell'Interpolazione: La tradizionale stima del moto frazionario del voxel (FvME) richiede l'interpolazione esplicita di campioni sub-voxel e una ricerca esaustiva, il che è computazionalmente costoso, specialmente per precisioni più fini.

Inoltre, la conversione delle nuvole di punti 3D in video 2D (come in V-PCC) introduce inconsistenze temporali a causa della segmentazione dei patch e della proiezione, degradando l'efficienza inter-frame.

Metodologia
Il documento propone una pipeline di inter-predizione degli attributi nel dominio dei voxel integrata nel framework G-PCC. Lo schema opera sulla geometria decodificata (sia essa lossless o lossy) e consiste nelle seguenti fasi:

1. Partizionamento dei Blocchi: La nuvola di punti dinamica viene partizionata in blocchi 3D non sovrapponibili (ad esempio, tramite octree).
2. Stima del Moto del Voxel Intero Basata su Grafi (IvME):
   • Invece del semplice matching dei blocchi indipendente, gli autori formulano la stima del moto come un problema di ottimizzazione globale.
   • Viene utilizzata una metrica di distanza ibrida che combina geometria e colore per trovare i vicini più prossimi tra i frame correnti e di riferimento.
   • È stato introdotto un termine di regolarizzazione basato su grafi per imporre la regolarità spaziale e la coerenza strutturale tra i blocchi vicini. Questo termine promuove la deformazione isometrica penalizzando lo stretching non rigido, pur permettendo rotazioni locali.
   • L'ottimizzazione alterna la stima dei vettori di moto per blocco all'aggiornamento delle matrici di rotazione locale per allineare le orientazioni dei bordi.
3. IvME Localmente Raffinata:
   • Per minimizzare ulteriormente i residui di predizione del colore, il moto iniziale basato su grafi viene raffinato tramite una ricerca esaustiva all'interno di un piccolo vicinato intero (±1 voxel) per ogni blocco. Questo passaggio dà priorità all'accuratezza del colore mantenendo la coerenza geometrica stabilita nella fase precedente.
4. Stima del Moto del Voxel Frazionario Senza Interpolazione (IF-FvME):
   • Invece di generare campioni sub-voxel tramite interpolazione, il metodo modella il predittore di compensazione del moto frazionario (FvMC) come una combinazione lineare pesata di 27 predittori di voxel interi circostanti.
   • Il problema viene riformulato come un'ottimizzazione convessa sui coefficienti di interpolazione (pesi) piuttosto che come una ricerca diretta sugli spostamenti frazionari.
   • Viene impiegato un algoritmo di Frank-Wolfe per risolvere i pesi ottimali su un simplesso di probabilità.
   • Una volta trovati i pesi continui ottimali, essi vengono quantizzati al vettore di coefficienti trilineari valido più vicino corrispondente a una specifica griglia di spostamento frazionario (ad esempio, precisione di 1/4 di voxel).
5. Codifica del Residuo: La differenza tra gli attributi originali e la predizione compensata dal moto viene codificata utilizzando gli strumenti standard G-PCC (trasformata RAHT e codifica entropica).

Contributi Chiave
Il documento rivendica i seguenti contributi specifici:

• Un Pipeline Unificato: Uno schema di inter-predizione degli attributi nel dominio dei voxel compatibile sia con la codifica della geometria lossless che con quella lossy all'interno del framework G-PCC.
• IvME Basata su Grafi: Uno schema di stima del moto che stima congiuntamente il moto per tutti i blocchi utilizzando una penalità basata su grafi per garantire vettori di moto fluidi e coerenti, affrontando gli artefatti di "strappo" (tearing) e "crepacci" (cracking) tipici della stima dei blocchi indipendente.
• FvME Senza Interpolazione: Un metodo innovativo che raggiunge una stima del moto a precisione frazionaria senza l'interpolazione esplicita dei sub-voxel. Ottimizza direttamente i coefficienti di interpolazione, riducendo significativamente la complessità computazionale rispetto ai metodi di ricerca esaustiva, pur consentendo una precisione del moto più fine (ad esempio, 1/4 di voxel).
• Valutazione Equa: Una configurazione sperimentale che isola l'efficienza della codifica degli attributi confrontando i metodi sotto identiche condizioni di geometria lossy.

Risultati Sperimentali
Gli autori hanno valutato lo schema proposto sul dataset MPEG (sequenze: longdress, redandblack, loot, soldier, queen) contro G-PCC, GeS-TM e V-PCC.

• Condizioni di Geometria Lossy: Il metodo proposto ha ottenuto risparmi medi di bitrate (BD-rate) del:
  • 55,3% rispetto a G-PCC.
  • 42,3% rispetto a GeS-TM.
  • 16,5% rispetto a V-PCC.
• Condizioni di Geometria Lossless: Il metodo proposto ha ottenuto risparmi medi di bitrate del:
  • 51,3% rispetto a G-PCC.
  • 31,7% rispetto a GeS-TM.
  • 146,4% rispetto a V-PCC (notando che V-PCC fatica significativamente in contesti lossless a causa delle inconsistenze dei patch).
• Complessità: L'encoder proposto è più lento di GeS-TM ma significativamente più veloce di V-PCC. La complessità è dominata dalle ricerche di vicinato più prossimi, ma rimane dello stesso ordine di grandezza degli altri metodi basati sulla geometria, evitando gli alti costi della conversione da 2D a 3D.

Significatività e Rivendicazioni
Il documento afferma che il suo approccio basato sulla geometria offre un'alternativa superiore ai metodi basati sul video (V-PCC) per il video volumetrico, poiché evita le inconsistenze temporali introdotte dalla proiezione 2D e dalla segmentazione dei patch. Sfruttando un'ottimizzazione globale basata su grafi e una stima frazionaria senza interpolazione, il metodo raggiunge un'elevata efficienza di codifica con una complessità computazionale gestibile.

Gli autori riconoscono i limiti: sebbene lo schema catturi efficacemente i modelli di moto dominanti, potrebbe avere difficoltà con i moti altamente non rigidi (ad esempio, dinamica dei capelli, sventolio dei vestiti, deformazione dei tessuti molli) dove i modelli di semplice traslazione sono insufficienti, lasciando un'energia residua elevata. Questa specifica sfida è identificata come un'area per lavori futuri.