Technische Samenvatting: NeR-SC – Aanpassing van Neuronale Videorepresentatie aan Schermcontent

1. Probleemstelling

Impliciete neurale representaties (INR) hebben zich ontwikkeld tot een concurrerend paradigma voor videocompressie, met name voor natuurlijke scènes. Echter, bestaande methoden (zoals NeRV, SNeRV) kampen met moeilijkheden bij schermcontentvideo (veelvoorkomend bij remote desktop, online onderwijs en cloudgaming). Schermcontent vertoont specifieke statistische eigenschappen die traditionele videocodecs niet optimaal benutten:

• Discrete Kleurenpaletten: Scherpe randen en UI-elementen gebruiken een beperkte set kleuren in plaats van continue gradiënten.
• Sterke Temporele Redundantie: Grote delen van het beeld blijven statisch doorheen sequenties, met veranderingen beperkt tot kleine gebieden (bijvoorbeeld cursors).
• Multischaalstructuur: Tekst en grafische elementen vereisen een nauwkeurige verwerking van scherpe overgangen.

Huidige methoden voor neurale videorepresentatie regresseren continue RGB-waarden, maken gebruik van sequentiële feature-fusie die suboptimaal kan zijn voor grafische content, en decoderen elke frame onafhankelijk, waardoor temporele redundantie wordt genegeerd. Dit resulteert in een prestatiekloof ten opzichte van traditionele codecs (zoals H.264/H.265) en gespecialiseerde deep learning-codecs (zoals DSCVC) voor schermcontent.

2. Methodologie

De auteurs stellen NeR-SC (Neural Representation for Screen Content) voor, een framework gebaseerd op de SNeRV-backbone. De architectuur decomposeert invoerframes met behulp van een enkel-niveau 2D Haar-wavelettransformatie. Het laagfrequente (LL) sub-band wordt verwerkt door een zware ConvNeXt encoder-decoder, terwijl hoogfrequente (HF) sub-bands worden gereconstrueerd via lichtgewicht convolutiehoofden.

NeR-SC introduceert drie specifieke innovaties om deze backbone aan te passen voor schermcontent:

A. Leerbaar Kleurenpalet

Omdat schermcontent vertrouwt op discrete kleuren, vervangen de auteurs de onbeperkte RGB-regressie voor het LL-sub-band door een per-pixel classificatie-benadering.

• Een trainbaar paletmatrix $P \in \mathbb{R}^{K \times 3}$ (waarbij $K=64$) wordt geleerd.
• De decoder geeft logits voor $K$ kleurindices, die worden omgezet in kansen via een temperatuur-geschaalde softmax.
• Het gereconstrueerde LL-sub-band is een convexe combinatie van deze paletinvoer.
• Hoogfrequente sub-bands blijven onbeperkt om randtrouw en gradiënten te behouden.

B. Multi-Gate Dense Fusion (MGF) Module

De originele SNeRV maakt gebruik van een sequentiële paarsgewijze fusiestrategie (MRF) die informatiestroom beperkt tot aangrenzende stadia. NeR-SC vervangt dit door dichte, gelijktijdige fusie van de laatste drie decoderstadia ($F_3, F_4, F_5$).

• Features worden geprojecteerd naar een gemeenschappelijke dimensie en uitgelijnd via bilineaire interpolatie.
• Een residual blok fuseert de samengevoegde features.
• Een Squeeze-and-Excitation (SE) blok past per-kanaal attentiegating toe op een residuale manier, waardoor het netwerk dynamisch de belangrijkheid van features over stadia heen kan leren.

C. Embedding-niveau Frame Skip Strategie

Om sterke temporele redundantie aan te pakken, introduceren de auteurs een mechanisme om de decoder over te slaan voor statische frames.

• Omdat de decoderfunctie deterministisch is, leveren frames met vergelijkbare latente embeddings bijna identieke reconstructies op.
• Tijdens het decoderen wordt de latente embedding $z_i$ van de huidige frame vergeleken met de embedding $z_k$ van de laatst gedecodeerde frame met behulp van een genormaliseerde L1-afstand.
• Als de afstand onder een drempelwaarde $\tau$ valt (standaard 0,005), wordt de decoder overgeslagen en wordt de vorige frame hergebruikt.
• Deze strategie brengt geen extra trainingskosten met zich mee en vereist alleen het opslaan van één scalair drempelwaarde.

3. Belangrijkste Bijdragen

1. Leerbaar Kleurenpalet: Zet continue regressie om naar discrete classificatie voor het laagfrequente sub-band, wat effectief de beperkte kleurenpaletten van schermcontent modelleert terwijl expressiviteit voor hoogfrequente details behouden blijft.
2. Multi-Gate Dense Fusion (MGF): Vervangt sequentiële fusie door dichte, attentie-gated cross-stadia interactie, wat de integratie van multischaalfeatures verbetert en het aantal parameters verlaagt.
3. Embedding-niveau Skip Strategie: Een mechanisme zonder overhead dat temporele redundantie detecteert via compacte latente embeddings, waardoor real-time decodering mogelijk wordt door overbodige decoderoproepen over te slaan.
4. Prestatievalidatie: Toont aan dat NeR-SC representatieve methoden voor neurale videorepresentatie overtreft en, bij lage bitrates, traditionele codecs (H.264, H.265) verslaat op benchmarks voor schermcontent.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee datasets: DSCVC (diverse schermcontent) en VCD (videoconferentie).

• Kwantitatieve Prestaties:

  • NeR-SC behaalde een gemiddelde PSNR van 40,32 dB op DSCVC en 41,73 dB op VCD.
  • Het presteerde beter dan de SNeRV-backbone met 0,54 dB (DSCVC) en 0,11 dB (VCD).
  • Bij lage bitrates overtrof NeR-SC H.264 en H.265, wat een superieure rate-distortion-prestatie aantoont die is toegesneden op statistieken van schermcontent.
  • In ablatiestudies voor modelgrootte overtrof NeR-SC met 1,5M parameters (38,54 dB) al HNeRV met 6,0M parameters (36,81 dB).

• Kwalitatieve Prestaties:

  • Visuele vergelijkingen toonden aan dat NeR-SC scherpere structuren en consistentere kleurreproductie produceerde dan NeRV en HNeRV.
  • In vergelijking met SNeRV behield NeR-SC contentelementen (bijvoorbeeld donkere rechthoekige blokken) en grenzen beter, wat wordt toegeschreven aan het palet- en MGF-module.

• Efficiëntie:

  • De embedding-niveau skip strategie verhoogde de decoderdoorvoer met 20,7 FPS, waardoor 61,7 FPS (real-time) werd bereikt zonder verlies in PSNR.
  • Ablatiestudies bevestigden dat het Palet-module +0,22 dB PSNR toevoegde, MGF +0,17 dB PSNR toevoegde terwijl het parameters verlaagde, en de Skip-strategie de toename in doorvoer leverde.

5. Betekenis en Claims

Het artikel claimt dat NeR-SC succesvol de kloof overbrugt tussen algemene neurale videorepresentatie en de specifieke statistische behoeften van schermcontent. Door expliciet discrete kleuren te modelleren, multischaalfusie te verbeteren en temporele redundantie op embedding-niveau te benutten, bereikt het framework state-of-the-art prestaties onder neurale methoden.

De auteurs benadrukken dat neurale representatiemethoden, wanneer ze correct zijn aangepast aan het doeltype content, kunnen concurreren met en zelfs traditionele codecs kunnen overtreffen voor schermcontent, met name bij lage bitrates. Het werk onderstreept ook het potentieel van skip-strategieën zonder overhead om real-time decodering mogelijk te maken zonder kwaliteit te compromitteren, waarmee een kritieke bottleneck wordt aangepakt bij het inzetten van neurale codecs voor interactieve toepassingen zoals cloudgaming en remote desktop.

Toekomstig werk wordt vermeld als gericht op het uitbreiden van NeR-SC naar hogere resoluties en het integreren ervan met traditionele Screen Content Coding (SCC)-tools voor hybride pipelines.