Riepilogo Tecnico: DCVC-MB: Compressione Video B-Frame tramite Modelli Neurali e State Space Models

Definizione del Problema

Mentre i codec video tradizionali (ad es., VVC, HEFC) ottengono significativi guadagni di compressione attraverso la predizione bidirezionale (B-frame), i Neural Video Codecs (NVC) si sono prevalentemente affidati a strutture P-frame unidirezionali. I tentativi esistenti di incorporare i B-frame nei NVC hanno incontrato due problemi primari:

1. Fusione Inefficace: I metodi precedenti non riescono a fondere efficientemente le informazioni temporali bidirezionali, spesso ottenendo prestazioni inferiori rispetto agli approcci basati solo su P-frame.
2. Complessità Computazionale: Le architetture basate su Transformer, pur essendo capaci di catturare dipendenze a lungo raggio, scalano quadraticamente ($O(N^2)$) con la risoluzione. Ciò comporta un consumo di memoria proibitivo (superando i limiti della VRAM) e costi computazionali elevati ad alte risoluzioni (720p, 1080p), rendendoli impraticabili per l'implementazione nel mondo reale.

Metodologia

Gli autori propongono DCVC-MB (DCVC-Mamba), un framework di codec video neurale progettato specificamente per la codifica B-frame utilizzando gli State Space Models (SSM). L'architettura si basa sul framework DCVC-DC ma introduce cambiamenti fondamentali per consentire l'accesso simultaneo alle informazioni temporali passate e future.

Componenti Architetturali Core

1. Fusione delle Caratteristiche Bidirezionale tramite Mamba:

   • A differenza dei modelli precedenti che utilizzano un singolo Decoded Picture Buffer (DPB) dal passato, DCVC-MB mantiene due DPB: uno dal frame passato ($X_{t-1}$) e uno dal frame futuro ($X_{t+1}$).
   • Queste caratteristiche vengono fuse tramite un Bidirectional Mamba Block (BMB). L'architettura Mamba offre una complessità lineare ($O(N)$) rispetto alla complessità quadratica dei Transformer, consentendo un'elaborazione efficiente ad alte risoluzioni.
   • Il processo di fusione prevede la concatenazione dei frame di riferimento, la loro codifica tramite una 2D CNN, la tokenizzazione e l'elaborazione della sequenza attraverso l'SSM. L'SSM modella la dinamica del sistema utilizzando un'equazione differenziale ordinaria (ODE) discretizzata con parametri apprendibili ($A, B, C$).
   • Per catturare complesse dipendenze bidirezionali, il modello impiega un metodo Spatial-First Bidirectional, elaborando i token sia in scansioni row-major in avanti che all'indietro e sommando i risultati.

2. Latent Skipping Adattivo:

   • Per ridurre i tempi di codifica dell'entropia, il framework utilizza un meccanismo di latent skipping adattivo. Invece di una soglia fissa, utilizza una strategia di soglia relativa basata sulla deviazione standard ($\sigma$) degli elementi latenti all'interno di un frame.
   • I latenti con $\sigma_i < \text{media}(\sigma)$ vengono saltati (sostituiti con un valore medio), mentre altri vengono codificati. Ciò riduce i tempi di codifica dell'entropia di circa 9 volte per i P-frame e di 5 volte per i B-frame senza introdurre asimmetria computazionale.

3. Canonical Position Embedding:

   • Per affrontare la discrepanza di risoluzione tra l'addestramento (256$\times$256) e l'inferenza (fino a 1080p), gli autori sostituiscono i classici position embedding basati sulle coordinate dei pixel con i Canonical Position Embeddings.
   • Le coordinate spaziali sono normalizzate su un piano immagine canonico ($x, y \in [0, 1]$) anziché utilizzare i valori dei pixel grezzi. Ciò assicura che gli armonici posizionali rimangano coerenti tra le diverse risoluzioni, evitando l'overfitting sulla risoluzione di addestramento.

4. Ottimizzazioni in Fase di Inferenza:

   • Open GoP: Permette all'ultimo B-frame di un Group of Pictures (GoP) di fare riferimento all'I-frame del GoP successivo, fornendo riferimenti temporalmente più vicini.
   • Codifica Bidirezionale: Codifica i GoP con indice dispari in entrambe le direzioni (avanti e indietro), selezionando il risultato con il minor costo rate-distortion. I GoP con indice pari utilizzano una configurazione chiusa per mantenere la complessità lineare.

Contributi Chiave

• Nuova Architettura: Introduzione di un'architettura di fusione delle caratteristiche bidirezionale basata su State Space Models (Mamba) che consente una codifica B-frame efficiente ad alte risoluzioni dove gli approcci basati su Transformer falliscono a causa dei vincoli di memoria.
• Strategia Frame IBP: Implementazione di un modello di compressione neurale di base che supporta la codifica video Random Access (RA) tramite l'ordinamento dei frame IBP.
• Meccanismi di Efficienza: Sviluppo di una tecnica di latent-skipping adattiva basata sull'entropia per accelerare la codifica dell'entropia e l'integrazione di strategie di inferenza (Open GoP e Codifica Bidirezionale) per migliorare le prestazioni di compressione.
• Generalizzazione della Risoluzione: L'uso di canonical position embeddings per garantire che il modello si generalizzi efficacemente dai dati di addestramento a bassa risoluzione ai dati di inferenza ad alta risoluzione.

Risultati Sperimentali

Il metodo è stato valutato su dataset standard (HEV, UVG, MCL-JCV) utilizzando la conversione RGB BT.709, confrontandolo con VTM-19.0 (configurazioni LDP e RA) e con i NVC allo stato dell'arte (DCVC-DC, DCVC-FM).

• Prestazioni vs Codec Tradizionali: DCVC-MB raggiunge riduzioni del BD-rate fino al 30,45% rispetto a VTM-19.0-LDP e all' 1,81% rispetto a VTM-19.0-RA (Inter-GoP=16).
• Prestazioni vs Codec Neurali: Il modello dimostra riduzioni medie del BD-rate del 8,98% rispetto ai precedenti codec video neurali (specificamente DCVC-FM) e del 20,19% rispetto al benchmark più forte VTM-19.0-RA.
• Efficienza: La scalabilità lineare del modello di fusione Mamba permette all'intera pipeline B-frame di rientrare in 13,8 GB di VRAM a 1080p, mentre un'architettura Transformer comparabile supera i 40 GB.
• Studi di Ablazione: Gli esperimenti confermano che il modello di fusione Mamba è responsabile della maggior parte dei guadagni in termini di BD-rate ($-4,55\%$), con le strategie di inferenza che forniscono miglioramenti additivi. È stato dimostrato che i canonical position embeddings sono critici per la generalizzazione a risoluzioni non viste.

Significato e Rivendicazioni

Il documento afferma che DCVC-MB rappresenta un avanzamento significativo nella compressione video neurale, riuscendo a colmare il divario tra l'efficienza di compressione della predizione bidirezionale e la fattibilità computazionale dei modelli di deep learning.

Gli autori sostengono che:

1. Scalabilità: Sfruttando Mamba, il framework raggiunge una codifica B-frame pratica ad alte risoluzioni (720p, 1080p), superando i colli di bottiglia della memoria che hanno limitato i precedenti NVC bidirezionali.
2. Competitività: DCVC-MB è il primo NVC a superare la configurazione più forte VTM-19.0-RA, dimostrando che gli approcci neurali possono ora competere o eccedere le prestazioni dei principali codec tradizionali in scenari di Random Access.
3. Praticità: Attraverso il latent skipping adattivo e le ottimizzazioni in fase di inferenza, il metodo bilancia l'alta prestazione di compressione con la riduzione dei tempi di codifica/decodifica, avvicinando la compressione video neurale a un impiego pratico.

Gli autori riconoscono i limiti, notando che le prestazioni possono degradare su specifici dataset (ad es., MCL-JCV) a causa dei gap di dominio tra i dati di addestramento (video naturali) e i dati di test (es. contenuti animati con movimenti drastici) e che l'ottimizzazione YUV420 rimane una sfida rispetto all'addestramento in RGB.