Riepilogo Tecnico: Compressione della Rappresentazione Video Neurale Potenziata attraverso Complessità e Scale di Qualità Estreme (NVRC++)

1. Definizione del Problema

Le Rappresentazioni Neurali Implicite (INR) sono emerse come un approccio promettente per la compressione video, offrendo prestazioni rate-distorsione competitive e una decodifica rapida rappresentando i video come reti neurali in overfitting. Tuttavia, i codec basati su INR esistenti affrontano un compromesso critico tra complessità e scalabilità:

• I modelli ad alte prestazioni (ad es., NVRC, HiNeRV) richiedono tipicamente che la complessità del modello aumenti con il bitrate o la qualità target. Ciò comporta un carico computazionale di decodifica significativo ad alti bitrate e impedisce l'uso di un singolo modello per diversi livelli di qualità.
• I modelli leggeri possono raggiungere la scalabilità del bitrate con una complessità fissa, ma soffrono di prestazioni di compressione degradate a causa della capacità rappresentativa limitata e della codifica indipendente dei patch video, che non riesce a sfruttare le ridondanze spazio-temporali globali.
• L'implementazione diretta di griglie di feature ad alta risoluzione (per migliorare la qualità senza aumentare la profondità della rete) porta spesso a prestazioni subottimali a bassi bitrate e a un carico computazionale/di memoria proibitivo durante il processo di ottimizzazione (overfitting) per sequenze video lunghe.

La sfida principale è la mancanza di un'architettura unificata che mantenga una complessità di decodifica costante attraverso una vasta gamma di bitrate, fornendo al contempo elevate prestazioni di compressione.

2. Metodologia: Il Framework NVRC++

Gli autori propongono NVRC++, un nuovo codec video basato su INR progettato per disaccoppiare la complessità del modello dalla qualità di ricostruzione. Il framework integra quattro innovazioni chiave:

A. Griglie di Feature ad Alta Risoluzione con Complessità Fissa

NVRC++ utilizza un backbone di rete neurale leggero abbinato a molteplici griglie di feature ad alta risoluzione. A differenza degli approcci precedenti in cui la dimensione del modello scala con la qualità, NVRC++ utilizza una singola configurazione del modello (livelli di rete fissi) per coprire un ampio intervallo di bitrate/qualità. Le griglie ad alta risoluzione memorizzano direttamente le feature spazio-temporali dinamiche, consentendo al modello di rappresentare dettagli fini senza aumentare il costo computazionale della rete di decodifica.

B. Struttura di Codifica In-Parameter e Framework di Ottimizzazione

Per gestire i costi computazionali e di memoria dell'ottimizzazione di griglie ad alta dimensione per sequenze lunghe, NVRC++ introduce una struttura di codifica in-parameter ispirata alla codifica gerarchica nei codec video convenzionali (ad es., Hierarchical-B).

• Slicing Temporale: I parametri delle griglie di feature sono partizionati in slice temporali. Le dipendenze sono modellate gerarchamente, dove le slice ai livelli inferiori dipendono dalle slice di riferimento ai livelli superiori, invece di elaborare l'intero tensore della griglia simultaneamente.
• Quantizzazione Incondizionata e Campionamento Casuale: Per evitare l'esplosione di memoria causata dalle catene di propagazione delle feature nell'overfitting standard, il framework impiega step di quantizzazione che non sono condizionati ai frame precedenti. Ciò consente il campionamento casuale durante il processo di ottimizzazione, in cui solo parte dei parametri viene aggiornata in ogni step. Questo riduce significativamente l'impronta di memoria (permettendo sequenze 1080p da 600 frame su GPU da 24GB) pur mantenendo la coerenza training-testing.
• Mascheramento della Griglia di Feature: Un meccanismo di masking casuale (ispirato al Dropout) è applicato alle griglie ad alta risoluzione durante le prime fasi di training. Questo costringe il modello a fare affidamento inizialmente sulle griglie a bassa risoluzione, prevenendo l'overfitting sui dettagli fini a bassi bitrate e garantendo un'efficace sfruttamento della ridondanza spazio-temporale attraverso l'intero intervallo di bitrate.

C. Modello di Entropia per Griglie Multidimensionali

Per comprimere efficientemente i parametri della griglia ad alta dimensione, è stato progettato un modello di entropia avanzato che sfrutta tre tipi di prior:

1. Prior di Scala: Le griglie a bassa risoluzione condizionano la codifica delle griglie ad alta risoluzione.
2. Prior Temporali: Le slice codificate dai passi temporali precedenti fungono da condizioni per le slice successive.
3. Prior Spaziali: Viene utilizzato il contesto spaziale all'interno della stessa slice.
   Questo modello evita la natura lenta e sequenziale dei modelli autoregressivi utilizzando un approccio di codifica multi-step con contesti spaziali mascherati, bilanciando l'efficienza di compressione con un'elevata velocità di codifica.

D. Architettura HiNeRV++

Il framework impiega HiNeRV++, una versione potenziata della rete HiNeRV. Le modifiche chiave includono:

• Input Multi-Reference: Invece di fare affidamento esclusivamente sulle feature interpolate, HiNeRV++ utilizza molteplici slice di feature grezze vicine come contesto di input, fornendo codifiche a maggiore fedeltà.
• Output Semplificato: I blocchi di rete di livello superiore sono sostituiti da un singolo livello di Pixel Shuffle per ridurre i costi di inferenza ad alte risoluzioni.
• Integrazione della Griglia: Le codifiche provenienti da diversi set di griglie di feature vengono alimentate in più stadi della rete, non solo nel primo.

3. Contributi Chiave

1. Codec INR Scalabile: Una nuova architettura che supporta quattro distinti livelli di complessità (da circa 7k a circa 360k MACs/pixel), dove ogni livello copre un ampio intervio di bitrate e qualità con una complessità di decodifica fissa.
2. Ottimizzazione Efficiente: Un framework di ottimizzazione che consente l'addestramento di griglie ad alta dimensione su sequenze lunghe sotto rigidi vincoli di memoria tramite codifica in-parameter e campionamento casuale.
3. Modellazione dell'Entropia Avanzata: Un modello di entropia per griglie multidimensionali che sfrutta le ridondanze di scala, temporali e spaziali per una compressione efficiente dei parametri.
4. Design di Rete Potenziato: L'architettura HiNeRV++, che raggiunge la decodifica in tempo reale e prestazioni superiori sfruttando griglie ad alta risoluzione e input multi-reference.

4. Risultati Sperimentali

Il framework NVRC++ è stato valutato sui dataset UVG e MCL-JCV (sequenze Full HD) contro codec convenzionali allo stato dell'arte (x265, HM, VTM), codec neurali basati su autoencoder (DCVC-FM, DCVC-RT) e codec INR esistenti (HiNeRV, NVRC, C3).

• Prestazioni Rate-Distortion: Le varianti di NVRC++ (S1–S4) dimostrano prestazioni altamente scalabili. La variante S3 eguaglia le prestazioni del codec INR SOTA NVRC pur decodificando 7,6 volte più velocemente. La variante S4 raggiunge prestazioni comparabili a VTM e DCVC-RT.
• Complessità vs. Velocità: A differenza di NVRC e HiNeRV, la cui complessità scala con il bitrate, NVRC++ mantiene una complessità fissa per ogni scala. Raggiunge velocità di decodifica fino a 73,4 FPS (S3) e 162,9 FPS (S2) su una NVIDIA RTX 4090, superando significativamente i metodi INR esistenti.
• Studi di Ablazione: La rimozione di qualsiasi componente (griglie ad alta risoluzione, masking, prior di entropia o input multi-reference) ha comportato un significativo degrado delle prestazioni, validando la necessità di ogni innovazione.
• HiNeRV++ vs. HiNeRV: La nuova architettura converge più velocemente e raggiunge un PSNR più elevato (ad es., +2,09 dB a 300 epoche) con un costo computazionale inferiore, delegando il carico della rappresentazione alle griglie.

5. Significato e Rivendicazioni

L'articolo afferma che NVRC++ rappresenta un passo significativo verso la implementazione pratica della codifica video basata su INR. Risolvendo il collo di bottiglia della scalabilità, consente a una singola configurazione di modello di servire diverse restrizioni hardware e requisiti di qualità senza sacrificare l'efficienza di compressione.

Gli autori sottolineano che NVRC++ raggiunge un compromesso complessità-prestazioni superiore, offrendo prestazioni allo stato dell'arte attraverso un intervallo di qualità senza precedenti a ogni livello di complessità. Fondamentalmente, consente la decodifica in tempo reale (fino a 73,4 FPS) mantenendo prestazioni rate-distorsione competitive, affrontando il limite principale dei precedenti codec INR ad alte prestazioni che erano troppo costosi dal punto di vista computazionale per applicazioni reali. Il lavoro dimostra che reti leggere combinate con griglie di feature ad alta risoluzione e strategie di ottimizzazione efficienti possono superare sia i metodi tradizionali basati su autoencoder che i modelli INR più pesanti.