Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

Sintesi Tecnica: Accelerazione del Merge con Motion Vector Difference tramite l'analisi della differenza di filtro per VVenC

Problema
Il Merge con Motion Vector Difference (MMVD) è uno strumento critico nel Versatile Video Coding (VVC) progettato per migliorare la precisione della predizione di movimento raffinando i vettori di movimento di base con un offset direzionale e una distanza. Tuttavia, l'implementazione standard si basa su una ricerca esaustiva su tutte le combinazioni direzione-distanza (quattro direzioni e otto step di distanza), il che impone un carico computazionale sostanziale. Nel codificatore VVenC, l'abilitazione di MMVD aumenta il tempo di codifica di circa il 36,39% sotto il preset "faster" e del 21,20% sotto il preset "fast". Questo overhead ostacola l'adozione di MMVD in scenari a bassa latenza. Le strategie di ricerca rapida esistenti in VVenC riducono questo carico, ma richiedono comunque la valutazione di una parte significativa di candidati, in particolare i candidati MVD a quarto di pixel, che rappresentano il 60%-80% dei tentativi totali.

Metodologia
Gli autori propongono un nuovo algoritmo MMVD veloce che utilizza l'analisi della differenza del filtro del vettore di movimento frazionario per stimare il potenziale guadagno di codifica dei candidati MMVD, consentendo l'interruzione anticipata dei percorsi di ricerca non promettenti. L'approccio principale prevede i seguenti passaggi:

1. Approssimazione del Filtro: Il metodo approssima gli standard filtri di interpolazione a 8 tap utilizzati in VVC con filtri leggeri a 2 tap. Questa semplificazione consente di modellare la differenza tra la predizione di merge regolare e la predizione MMVD utilizzando i gradienti spaziali.
2. Criterio del Residuo-Gradiente:
   • Caso di Supporto Allineato: Quando l'offset MMVD non sposta i campioni di riferimento in posizione intera, la differenza nella predizione viene approssimata come una funzione del gradiente spaziale del blocco di riferimento ($g_{ref}$) e del residuo del candidato di merge regolare ($e_i$). Un candidato viene saltato se il termine del prodotto interno $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$, indicando che il candidato MMVD difficilmente produrrà una distorsione inferiore rispetto al merge regolare.
   • Caso di Supporto Spostato: Quando l'offset attraversa un confine di campione intero, il supporto si sposta. Gli autori generalizzano il criterio per gestire questo caso fattorizzando la differenza di filtro e applicando un semplice filtro a 2 tap al gradiente, evitando il filtraggio diretto a 3 tap sul blocco di riferimento.
   • Filtraggio Separabile 2D: L'analisi 1D viene estesa all'interpolazione separabile 2D di VVC. Poiché l'MMVD cerca solo direzioni cardinali, i termini incrociati scompaiono, permettendo di applicare il criterio residuo-gradiente indipendentemente agli offset orizzontali e verticali.
3. Ottimizzazioni di Implementazione: Per minimizzare l'overhead del metodo proposto stesso, vengono introdotte due ottimizzazioni:
   • Inferenza di Offset Simmetrico: Per offset simmetrici (ad esempio, $+\Delta$ e $-\Delta$), la risposta di un caso di supporto spostato viene inferita tramite l'inversione del segno della risposta del caso di supporto allineato, riducendo i calcoli ridondanti.
   • Prodotto Scalare Downsampled a Forma di Croce: Inve alternativa al calcolo del prodotto scalare sull'intero blocco, il calcolo è limitato a una regione centrale a forma di croce (riga centrale per gli offset orizzontali, colonna centrale per quelli verticali).

Contributi Chiave

• Criterio Novello: Derivazione di un criterio leggero basato su gradienti spaziali e residui di predizione per stimare il guadagno MMVD senza ricerca esaustiva.
• Generalizzazione: Estensione del criterio per accomodare sia campioni di riferimento interi spostati che il filtraggio separabile 2D, coprendo scenari pratici di VVC.
• Ottimizzazioni di Ingegneria: Introduzione dell'inferenza di offset simmetrico e del calcolo efficiente del prodotto scalare per garantire che il metodo di accelerazione aggiunga una complessità minima.
• Integrazione: Integrazione fluida dell'algoritmo proposto nel framework di ricerca rapida esistente di VVenC (combinandosi con le strategie Fast1, Fast2 e Fast3).

Risultati Sperimentali
Gli esperimenti sono stati condotti utilizzando il codificatore VVenC-1.14.0 attraverso quattro preset (faster, fast, medium, slow) e sequenze di test standard (JVET CTC Classi A1, A2, B, C, D).

• Riduzione della Ricerca: Il metodo proposto riduce il rapporto medio di ricerca MMVD dal 21,07% (con le strategie di ricerca rapida esistenti) all'11,05%.
• Complessità vs. Performance: Sotto il preset "fast", l'overhead del tempo di codifica è ridotto dal 4,52% (strategie rapide esistenti) al 2,23%.
• Metrica di Efficienza ($\eta$): La metrica efficienza-complessità $\eta$ (overhead del tempo di codifica per unità di guadagno BD-rate) migliora significativamente. Per il preset "fast", $\eta$ diminuisce da 11,79 (strategie rapide esistenti) a 7,10. Miglioramenti simili si osservano in tutti gli altri preset.
• Guadagno di Codifica: Il metodo preserva la maggior parte del guadagno di codifica fornito da MMVD, con perdite di BD-rate trascurabili rispetto alla baseline della ricerca completa quando combinato con la potatura proposta.

Significato e Rivendicazioni
L'articolo afferma che l'algoritmo proposto raggiunge un compromesso superiore tra complessità di codifica e performance Rate-Distortion (RD) rispetto agli schemi di accelerazione MMVD esistenti in VVenC. Potendo eliminare efficacementmente i candidati meno promettenti attraverso l'analisi della differenza di filtro, il metodo riduce significativamente il carico computazionale di MMVD senza sacrificare l'efficienza di codifica. Gli autori osservano che l'attuale implementazione supporta solo le quattro direzioni cardinali standard e pianificano di estendere il metodo per supportare le modalità MMVD con angoli diagonali flessibili in lavori futuri.