CWRNN-INVR: A Coupled WarpRNN based Implicit Neural Video Representation

Probleemstelling

Bestaande methoden voor Implicit Neural Video Representation (INVR) richten zich voornamelijk op het ontwikkelen van nieuwe rasterstructuren (grids) voor latente representatie of op het vergroten van de capaciteit van neurale netwerken. Er is echter een gebrek aan onderzoek naar de specifieke rollen en voordelen van neurale netwerken versus learnable grids in de context van videorepresentatie.

De auteurs identificeren dat video-informatie uit twee fundamenteel verschillende soorten bestaat:

1. Gestructureerde informatie: Regelmatige patronen in ruimte en tijd (zoals algemene beweging en gestructureerde verschijning) die efficiënt door neurale netwerken kunnen worden geleerd.
2. Irreguliere informatie: Unieke lokale details en onregelmatige bewegingen (zoals specifieke haarstructuur of plotselinge scèneveranderingen) die moeilijk door een enkel neurale netwerk te modelleren zijn, maar goed kunnen worden vastgelegd door learnable grids.

Bestaande methoden gebruiken vaak ofwel alleen netwerken ofwel alleen grids, zonder deze complementariteit optimaal te benutten. Daarnaast ontbreekt er vaak een expliciete modellering van complexe tijdsafhankelijke beweging (zowel lokaal als globaal) binnen de netwerkarchitectuur.

Methodologie: CWRNN-INVR

De paper stelt een nieuw framework voor, genaamd INVR-M (Implicit Neural Video Representation based on Mixed neural network and residual grid), en implementeert dit als CWRNN-INVR. De kern van de methode is de decompositie van video-informatie in een regulier deel (voor het netwerk) en een irregulier deel (voor het grid).

De architectuur bestaat uit drie hoofdcomponenten:

1. Gekoppelde WarpRNN voor Multi-Schaal Bewegingsrepresentatie:

   • Om de gestructureerde tijdsinformatie te modelleren, wordt een Coupled WarpRNN ontwikkeld op basis van Recurrente Neurale Netwerken (RNN), specifiek ConvGRU.
   • WarpRNN: In plaats van alleen temporale semantische informatie te aggregëren, voegt deze module een spatial warping toe aan de verborgen toestand (hidden state) op basis van geschatte beweging. Dit zorgt voor temporale alignatie tussen frames.
   • Lokaal vs. Globaal Decompositie: De beweging wordt opgesplitst in lokale beweging (objecten) en globale beweging (camera). Een leerbaar masker (soft mask) scheidt deze informatie. Er zijn twee gekoppelde WarpRNN-lagen: één voor lokale beweging en één voor globale beweging, die iteratief worden bijgewerkt om multi-schaal bewegingscompensatie te realiseren.

2. Mixed Residual Grid (MRG):

   • Voor de irreguliere informatie (die het netwerk mist) wordt een Mixed Residual Grid gebruikt.
   • In tegenstelling tot methoden die aparte grids gebruiken voor beweging en verschijning, leert deze methode één gezamenlijk grid dat zowel irreguliere beweging als verschijning bevat. Dit is gebaseerd op de observatie dat deze twee aspecten sterk gecorreleerd zijn in de rate-distortion optimalisatie.
   • Het grid wordt getemporale geïnterpoleerd en vervolgens toegevoegd aan de verborgen toestand van de globale WarpRNN, wat netwerkhergebruik (network reuse) mogelijk maakt.

3. Spatial Reconstruction:

   • De gecompenseerde temporale features worden via een ruimtelijke projectie (convolutie) omgezet in beeldfeatures.
   • Deze features worden vervolgens verwerkt door een stack van NeRVBlocks om het uiteindelijke videoframe te reconstrueren.

Belangrijkste Bijdragen

1. INVR-M Framework: Een nieuw framework dat video expliciet decomposeert in gestructureerde informatie (voor neurale netwerken) en irreguliere informatie (voor grids), wat de efficiëntie van beide representaties maximaliseert.
2. Coupled WarpRNN: Een innovatieve architectuur voor tijdsmodellering die bewegingsgebaseerde warping integreert in een RNN, met een specifieke decompositie voor lokale en globale beweging.
3. Mixed Residual Grid: Een gezamenlijk grid dat zowel irreguliere beweging als verschijning leert, waardoor de correlatie tussen deze factoren wordt benut en de reconstructiekwaliteit voor complexe scènes verbetert.
4. Uitgebreide Validatie: De methode is getest op videoreconstructie, videocompressie en downstream taken, en overtreft bestaande state-of-the-art methoden.

Resultaten

De methode is geëvalueerd op de UVG en DAVIS datasets met een modelgrootte van 3M parameters.

• Videoreconstructie: CWRNN-INVR behaalde de beste resultaten in vergelijking met bestaande methoden (zoals NeRV, HNeRV, DSNeRV).
  • Gemiddelde PSNR op UVG: 33.73 dB (tegenover 33.31 dB voor de volgende beste, DSNeRV).
  • De methode presteert vooral sterk op video's met sterke temporale correlatie en kleine bewegingen, maar behoudt ook details in complexe scènes dankzij het MRG.
• Videocompressie: In termen van BD-rate (Bitrate Difference) toonde de methode een aanzienlijke verbetering.
  • BD-rate op UVG: -54.24% ten opzichte van HEVC, wat een aanzienlijke besparing is ten opzichte van andere INVR-methoden (bijv. DSNeRV: -31.20%).
• Snelheid: De methode is niet alleen nauwkeuriger, maar ook sneller in het decoderen (85.18 FPS) dan andere INVR-methoden, wat cruciaal is voor praktische toepassingen.
• Ablatiestudies: Experimenten bevestigden dat zowel de Coupled WarpRNN (ongeveer +1 dB verbetering voor camera-opnames) als de Mixed Residual Grid essentieel zijn voor de prestaties, vooral bij het vastleggen van fijne details en plotselinge scèneveranderingen.

Betekenis

Deze paper is significant omdat het een fundamenteel inzicht biedt in de complementaire rollen van neurale netwerken en learnable grids in videocompressie. Door deze twee benaderingen te combineren in een hybride framework, overwint CWRNN-INVR de beperkingen van bestaande methoden die zich op slechts één van deze aspecten richten.

De introductie van een expliciete bewegingscompensatie binnen een RNN-structuur (WarpRNN) lost het probleem op van het modelleren van complexe bewegingen zonder de noodzaak van externe optische flow of grote grids voor elke frame. De methode zet een nieuwe standaard voor Implicit Neural Video Representation, zowel qua reconstructiekwaliteit als compressie-efficiëntie, en biedt een robuust kader voor toekomstig onderzoek in videocompressie en generatieve modellen.