NeRV360: Neural Representation for 360-Degree Videos with a Viewport Decoder

NeRV360 is een end-to-end framework dat de geheugenconsumptie met een factor zeven verlaagt en de decoderingssnelheid verdubbelt voor 360-gradenvideo's door alleen de geselecteerde weergavevenster te reconstrueren in plaats van het volledige panoramabeeld.

De kern

Stel je voor dat je een enorme, 360-graden filmkubus hebt. Je zit erin en kunt naar elke kant kijken: links, rechts, boven, beneden. Dit is hoe virtual reality (VR) werkt. Het probleem is dat deze films gigantisch groot zijn. Ze moeten zo scherp zijn dat je zelfs als je heel dicht bij een object kijkt, nog steeds kunt zien hoe de textuur eruitziet.

Het oude probleem: De hele kubus openen
Voorheen, als je zo'n film wilde afspelen op je VR-bril, deed de computer alsof hij de hele kubus openmaakte. Hij rekende elke hoek, elke muur en elk plafond uit, ook de delen waar jij op dat moment niet naar keek.
Stel je voor dat je een gigantische pizza hebt, maar je eet alleen een klein stukje. De oude methode was alsof je eerst de hele pizza in de oven zou bakken, hem op een bord zou leggen, en daarna pas een klein stukje zou afsnijden om te eten. Dat kost veel tijd, veel energie en je hebt een enorme oven (een krachtige computer) nodig. Voor gewone mensen met een normale computer of telefoon was dit vaak te zwaar; de film liep vast of de computer werd heet.

De oplossing: NeRV360 (De slimme snijder)
De onderzoekers van NHK hebben een nieuwe uitvinding bedacht, genaamd NeRV360. In plaats van de hele pizza te bakken, hebben ze een slimme manier bedacht om direct het stukje te bakken dat jij op dat moment wilt eten.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Neurale" Recept:
   In plaats van de hele video op te slaan als een reusachtig bestand (zoals een MP4), wordt de video opgeslagen als een soort "recept" in een klein computerprogramma (een neuraal netwerk). Dit recept is heel klein, maar bevat alle informatie om de video te maken.

2. Direct Snijden (Viewport Decoder):
   De oude methoden maakten eerst de hele video en haalden dan je kijkrichting eruit. NeRV360 doet het andersom. Het weet direct waar jij kijkt (naar links, naar de zon, naar de grond). Het programma zegt: "Ah, je kijkt naar het noorden? Dan bereken ik alleen dat stukje."

   • Analogie: Het is alsof je in plaats van een hele wereldkaart te printen, direct een navigatie-app gebruikt die alleen de straat toont waar je nu loopt. Je hoeft de rest van de wereld niet te laden.

3. De Magische Bril (STAT-module):
   Omdat het programma alleen een klein stukje berekent, zou de rand van dat stukje wazig kunnen worden (alsof je door een wazige bril kijkt). Om dit op te lossen, hebben ze een slimme "magische bril" toegevoegd (de STAT-module). Deze bril past zich automatisch aan aan je kijkrichting en de tijd in de film. Hij zorgt ervoor dat het beeld scherp blijft, zelfs als je snel omkijkt.

4. Het Resultaat: Snel en Lichtgewicht
   Door deze trucjes is het resultaat verbazingwekkend:

   • Geheugen: Het heeft 7 keer minder geheugen nodig. In plaats van een zware vrachtwagen (een dure server) te nodig hebben, kan het nu met een kleine bestelbus (een gewone computer of zelfs een krachtige telefoon) werken.
   • Snelheid: Het is 2,5 keer sneller. De film start direct en loopt soepel, zonder haperingen.
   • Kwaliteit: Het beeld is zelfs nog scherper dan de oude methoden, omdat er geen tijd verloren gaat aan het berekenen van dingen die je niet ziet.

Waarom is dit belangrijk?
Vroeger kon je alleen super-scherpe 360-graden video's bekijken op dure, professionele computers. Met NeRV360 kunnen we straks strakke, 8K-VR-ervaringen hebben op gewone apparaten. Het maakt de toekomst van virtueel reizen, gaming en onderwijs toegankelijk voor iedereen, zonder dat je een supercomputer nodig hebt.

Kortom: NeRV360 is de slimme manier om een gigantische wereld te bekijken door alleen te focussen op wat je nu ziet, in plaats van de hele wereld tegelijk te proberen te vatten.

Technische samenvatting

Probleemstelling

Neurale representaties voor video's (NeRV) hebben zich bewezen als een krachtige techniek voor videocompressie. Echter, het toepassen van bestaande NeRV-methoden op hoogresolutie 360-gradenvideo's (bijvoorbeeld 6K) leidt tot ernstige beperkingen:

• Hoge geheugenvraag: Bestaande methoden decoderen eerst het volledige panoramische beeld voordat het zichtbare venster (viewport) wordt geëxtraheerd. Voor een 6K-resolutie vereist dit bijvoorbeeld ongeveer 30 GiB GPU-geheugen (zelfs met half-precision berekening), wat real-time toepassingen onmogelijk maakt op consumentenhardware.
• Trage decodering: Het volledig reconstrueren van het beeld is computatief zwaar en vertraagt de weergavesnelheid.
• Overtollige verwerking: Aangezien weergaveapparaten (zoals VR-headsets) slechts een klein deel van het panorama tonen, is het decoderen van het gehele beeld inefficiënt en kostbaar.

Methodologie: NeRV360

De auteurs stellen NeRV360 voor, een end-to-end framework dat specifiek is ontworpen voor 360-gradenvideo's. Het kernprincipe is het integreren van de viewport-extractie direct in het decodeerproces, in plaats van dit als een naslagstap uit te voeren.

De architectuur bestaat uit de volgende belangrijke componenten:

1. Viewport Decoder (Directe Extractie):

   • In tegenstelling tot conventionele pipelines (zoals HNeRV) die eerst een embedding $y_t$ genereren en deze decoderen naar een volledig frame $\hat{x}_t$, gebruikt NeRV360 de kijkrichting (longitude $\theta$ en breedtegraad $\phi$) om direct een perspectiefprojectie toe te passen op de embedding.
   • Hierdoor wordt alleen het gebied in de embedding geselecteerd dat overeenkomt met de gebruikersviewport, waarna dit direct wordt gedecodeerd naar het uitvoerbeeld $\hat{x}^{vp}_{t,\theta,\phi}$.

2. Kanaal-expansie Laag (Channel Expansion):

   • Het toepassen van bilineaire interpolatie in de embeddingruimte (om de viewport te extraheren) kan leiden tot wazigheid en kwaliteitsverlies.
   • Om dit op te lossen, introduceert NeRV360 een kanaal-expansie laag voordat de perspectiefprojectie plaatsvindt. Deze laag verhoogt de kanaaldimensie van $d$ naar $c^2$ en maakt gebruik van een SNeRV-blok (Sinusoidal NeRV) en een TAT-module (Temporal-Aware Affine Transform) om de kwaliteit te behouden.

3. STAT-module (Spatio-Temporal-Aware Affine Transform):

   • Bestaande NeRV-modellen gebruiken vaak alleen tijdsafhankelijke embeddings. Omdat de input-embedding in NeRV360 afhankelijk is van het kijkpunt, is een geavanceerdere conditionele decodering nodig.
   • De STAT-module breidt de TAT-module uit door ook longitudinale en breedtegraad-embeddings te gebruiken. Deze module leert affiene parameters ($\beta$ en $\gamma$) op basis van tijd ($t$), breedtegraad ($\phi$) en lengtegraad ($\theta$).
   • De transformatie wordt als volgt uitgevoerd: $STAT(f_{t,\theta,\phi} | \beta, \gamma) = \gamma \cdot f_{t,\theta,\phi} + \beta$. Dit zorgt voor robuustheid tegen variaties in de kijklocatie.

Belangrijkste Bijdragen

• Viewport Decoder: Een nieuwe decoder die viewports direct reconstrueert zonder het volledige frame te hoeven decoderen.
• Kanaal-expansie: Een innovatieve laag die artefacten veroorzaakt door interpolatie in de embeddingruimte minimaliseert.
• Viewpoint-geconditioneerde Mechanisme: Een STAT-module die gebruikmaakt van ruimtelijke (lengte- en breedtegraad) en temporele embeddings voor conditionele decoding.

Resultaten

De prestaties zijn geëvalueerd op JVET Class S2 360-gradenvideo's met een resolutie van 6K (3072 × 6144 pixels), vergeleken met HNeRV en HNeRV-Boost (met een decodergrootte van 2,2M parameters).

• Geheugenefficiëntie: NeRV360 reduceert het geheugengebruik met een factor 7 ten opzichte van HNeRV. Waar HNeRV ongeveer 30 GiB vereist, komt NeRV360 uit op ongeveer 3,6 GiB. Dit maakt training en inferentie mogelijk op consumer-grade GPUs (24 GiB).
• Decoderingssnelheid: Er is een 2,5x toename in decoderingssnelheid (van 15,0 FPS naar 38,4 FPS).
• Beeldkwaliteit: Ondanks de efficiëntie behaalt NeRV360 betere objectieve kwaliteitsmetrieken (hogere PSNR en MS-SSIM) dan de bestaande methoden.
• Ablatiestudies: Deze bevestigden dat het behouden van een hoge resolutie in de embedding (128 × 256) cruciaal is en dat zowel de kanaal-expansie als de STAT-inputs (lengte- en breedtegraad) essentieel zijn voor de prestaties.

Betekenis en Toekomstperspectief

NeRV360 lost een kritieke schaalbaarheidsprobleem op in neurale videocompressie voor 360-gradenvideo's. Door het elimineren van de noodzaak om onzichtbare delen van het panorama te decoderen, maakt het real-time, hoogresolutie (6K en toekomstig 8K+) 360-gradenvideo-weergave haalbaar op apparaten met beperkte rekenkracht en geheugen.

Dit opent de deur voor efficiëntere levering van immersive content (VR/AR) en maakt het mogelijk om modellen te trainen die voorheen te groot waren voor standaard hardware. Toekomstig werk richt zich op het uitbreiden van de ondersteuning voor roll-rotaties en variabele gezichtsvelden (FOV) voor nog flexibeler weergave.