TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling

Riepilogo Tecnico: TVRN: Reti Neurali Invertibili per il Ridimensionamento Temporale di Video Consapevole della Compressione

Enunciato del Problema
La rapida crescita dei contenuti video ad alta frequenza di fotogrammi (HFR) crea un collo di bottiglia per la trasmissione su reti con larghezza di banda limitata. Una soluzione comune consiste nel ridimensionare temporalmente i video HFR verso formati a bassa frequenza di fotogrammi (LFR) per la trasmissione, seguita da un upscaling (interpolazione dei fotogrammi) sul lato client. I metodi esistenti trattano tipicamente il downscaling e l'upscaling come compiti separati o li collegano solo attraverso obiettivi di addestramento, non sfruttando appieno la loro natura reciproca. Ciò porta spesso alla perdita di informazioni ad alta frequenza. Inoltre, gli approcci attuali trascurano frequentemente l'impatto dei codec video lossy (ad es. HEVC, VVC, AV1) sui video LFR. La maggior parte dei metodi appresi si basa su operazioni di arrotondamento che limitano la compatibilità con i codec lossy standard, e le reti surrogate esistenti faticano a modellare accuratamente gli artefatti di compressione inter-fotogramma, in particolare quelli derivanti dalla compensazione del moto. Di conseguenza, ottenere un ridimensionamento della frequenza dei fotogrammi efficace e di alta qualità sotto compressione lossy non differenziabile rimane una sfida significativa.

Metodologia
Gli autori propongono TVRN (Temporal Video Rescaling Network), un framework end-to-end progettato per il ridimensionamento della frequenza dei fotogrammi consapevole della compressione. L'architettura centrale e i componenti includono:

1. Architettura Invertibile con MIMO-TWT: Per regolarizzare la perdita di informazioni durante il downscaling, TVRN adotta una struttura di rete neurale invertibile (INN). Introduce una Trasformata Wavelet Temporale Multi-Ingresso Multi-Uscita (MIMO-TWT). A differenza delle wavelet temporali tradizionali che richiedono ulteriori segnali di movimento, MIMO-TWT impiega uno schema di sollevamento "predizione-prima" utilizzando una rete leggera di interpolazione di fotogrammi video per la predizione e blocchi Dense3D-T per gli aggiornamenti. Ciò scompone i video HFR in fotogrammi a bassa frequenza temporale (LFR) e residui ad alta frequenza (HF) senza necessità di trasmettere informazioni di movimento aggiuntive.
2. Ricostruzione ad Alta Frequenza: Per recuperare i componenti HF scartati durante l'upscaling, il framework utilizza un modulo di ricostruzione guidato dal flusso ottico bidirezionale. Questo modulo allinea le caratteristiche contestuali dai fotogrammi LFR vicini utilizzando il flusso ottico bidirezionale per affrontare lo sfasamento spaziale causato dal movimento, affinando le stime iniziali HF tramite una U-Net consapevole del contesto.
3. Rete Surrogata per Codec Lossy: Per abilitare l'addestramento end-to-end attraverso codec lossy non differenziabili, gli autori progettano una rete surrogata ($G$). Questa rete imita le distorsioni di compressione degradando i componenti HF. Incorpora Blocchi Q-Invertibili, che sono strati di accoppiamento invertibili consapevoli della compressione che condizionano le loro funzioni di trasformazione sui parametri di quantizzazione (QP) derivati dal codec. Ciò permette alla rete di simulare gli artefatti di previsione inter-fotogramma e la perdita di codifica dei residui in modo più accurato rispetto ai precedenti surrogati basati su Dense3D-T.
4. Architettura Asimmetrica con Caratteristiche Consapevoli della Compressione: Riconoscendo che le architetture invertibili simmetriche sono sensibili agli spostamenti di distribuzione causati da livelli di compressione variabili, TVRN si estende a un design asimmetrico. Integra moduli di Miglioramento della Qualità Video (VQE). Crucialmente, invece di applicare VQE direttamente per rimuovere gli artefatti (il che potrebbe distorcere le informazioni HF incorporate), il framework tratta l'upscaling come un processo di disaccoppiamento. Incorpora caratteristiche consapevoli della compressione apprese tramite una strategia di pairwise learning-to-rank. Queste caratteristiche permettono a un singolo modello di controllare adattivamente l'intensità del miglioramento attraverso diversi QP, migliorando la robustezza senza richiedere modelli specifici per QP.
5. Strategia di Addestramento Alternata: Il framework impiega una strategia di ottimizzazione alternata in cui la rete surrogata e la rete di ridimensionamento vengono addestrate in passaggi alternati per garantire una convergenza stabile.

Contributi Chiave

• Framework Invertibile: La progettazione di MIMO-TWT e di un modulo di ricostruzione HF guidato dal flusso ottico bidirezionale, che regolarizza e ricostruisce efficacemente le informazioni ad alta frequenza perse durante il downscaling all'interno di un'architettura invertibile.
• Surrogato Consapevole della Compressione: L'introduzione di una rete surrogata con blocchi invertibili consapevoli della compressione per stimare i gradienti di codec lossy non differenziabili, abilitando l'ottimizzazione end-to-end in scenari di compressione realistici.
• Estensione Asimmetrica: L'identificazione delle sfide nell'integrazione di metodi VQE e la proposta di un'architettura asimmetrica che utilizza caratteristiche consapevoli della compressione derivate dal learning-to-rank per migliorare la robustezza attraverso livelli di compressione variabili.
• Prestazioni: La dimostrazione che TVRN supera i metodi esistenti di salto dei fotogrammi e basati sull'apprendimento nella qualità di ricostruzione in scenari di compressione video industriale.

Risultati Sperimentali
Sono stati condotti esperimenti estesi su benchmark standard (UCF-101, Vimeo90K, SNU-FILM) utilizzando i codec H.265, VVC e AV1.

• Qualità di Ricostruzione: TVRN raggiunge prestazioni all'avanguardia nella ricostruzione HFR, superando i migliori metodi VFI esistenti (ad es. GIMM-VFI) con margini significativi in PSNR e SSIM. Ad esempio, sul set di test Vimeo90K, ottiene 35,65 dB di PSNR rispetto ai 35,23 dB di GIMM-VFI.
• Prestazioni Tasso-Distorsione (RD): TVRN è il primo metodo di ridimensionamento della frequenza dei fotogrammi apprendibile a superare i metodi VFI all'avanguardia nelle prestazioni RD. Raggiunge miglioramenti BD-rate del -7,22% (PSNR) e del -16,40% (SSIM) su UCF-101 rispetto a GIMM-VFI.
• Efficacia del Surrogato: Studi di ablazione mostrano che sostituire lo stimatore di gradiente di un metodo concorrente (CSTVR) con la rete surrogata proposta ne migliora significativamente le prestazioni, validando la capacità del surrogato di modellare le distorsioni del codec.
• Efficienza: Una variante leggera, TVRN-S, riduce i FLOPs al 6,54% e il tempo di upscaling al 35,75% di GIMM-VFI mantenendo una qualità competitiva.
• Qualità Soggettiva: Uno studio sul Mean Opinion Score (MOS) con 25 partecipanti indica una chiara preferenza per TVRN (4,02) rispetto al secondo miglior metodo (3,69).

Significato e Affermazioni
Il documento afferma che TVRN rappresenta un avanzamento significativo integrando con successo reti neurali invertibili con meccanismi consapevoli della compressione per il ridimensionamento temporale dei video. Gli autori dichiarano che questo è il primo metodo di ridimensionamento della frequenza dei fotogrammi apprendibile a superare i metodi VFI all'avanguardia sotto codec lossy moderni. Modellando la natura reciproca del downscaling e dell'upscaling e simulando accuratamente la compressione lossy, TVRN affronta il divario critico tra il ridimensionamento teorico della frequenza dei fotogrammi e il dispiegamento pratico in ambienti di streaming con larghezza di banda limitata. Il lavoro evidenzia che l'ottimizzazione congiunta di questi processi, piuttosto che trattarli separatamente, è essenziale per preservare le informazioni di movimento ad alta frequenza e ottenere una ricostruzione ad alta fedeltà.