TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling

Technische Samenvatting: TVRN: Inverteerbare Neuronale Netwerken voor Compressie-bewuste Temporele Video-herformatering

Probleemstelling
De snelle groei van video-inhoud met een hoge beeldfrequentie (HFR) creëert een knelpunt voor transmissie over netwerken met beperkte bandbreedte. Een gebruikelijke oplossing omvat het tijdelijk verkleinen van HFR-video's naar formaten met een lage beeldfrequentie (LFR) voor transmissie, gevolgd door vergroting (frame-interpolatie) aan de client-kant. Bestaande methoden behandelen verkleining en vergroting doorgaans als afzonderlijke taken of koppelen deze slechts via trainingsdoelen, waardoor ze de wederkerige aard ervan niet volledig benutten. Dit leidt vaak tot verlies van informatie op hoge frequenties. Bovendien negeren huidige benaderingen vaak de impact van verliesbeperkende video-codecs (zoals HEVC, VVC, AV1) op LFR-video's. De meeste geleerde methoden vertrouwen op afrondingsoperaties die de compatibiliteit met standaard verliesbeperkende codecs beperken, en bestaande surrogate-netwerken worstelen met het nauwkeurig modelleren van inter-frame compressie-artefacten, met name die welke voortvloeien uit bewegingscompensatie. Bijgevolg blijft het bereiken van effectieve, hoogwaardige frame-rate herformatering onder niet-differentieerbare verliesbeperkende compressie een aanzienlijke uitdaging.

Methodologie
De auteurs stellen TVRN (Temporal Video Rescaling Network) voor, een end-to-end framework ontworpen voor compressie-bewuste frame-rate herformatering. De kernarchitectuur en componenten omvatten:

1. Inverteerbare Architectuur met MIMO-TWT: Om informatieverlies tijdens verkleining te regulariseren, adopteert TVRN een inverteerbaar neuronale netwerk (INN) structuur. Het introduceert een Multi-Input Multi-Output Temporal Wavelet Transform (MIMO-TWT). In tegenstelling tot traditionele temporele wavelets die extra bewegingsinformatie vereisen, maakt MIMO-TWT gebruik van een 'prediction-first' lifting-scheme met een lichtgewicht video frame-interpolatienetwerk voor voorspelling en Dense3D-T-blokken voor updates. Dit splitst HFR-video's op in temporele laagfrequente (LFR) frames en hoogfrequente (HF) residuen zonder dat er extra bewegingsinformatie hoeft te worden verzonden.
2. Herconstructie van Hoogfrequente Informatie: Om de verworpen HF-componenten tijdens vergroting te herstellen, maakt het framework gebruik van een bidirectioneel optische stroom-gestuurde reconstructiemodule. Deze module richt contextuele kenmerken uit naburige LFR-frames uit met behulp van bidirectionele optische stroom om ruimtelijke misalignement veroorzaakt door beweging aan te pakken, en verfijnt de initiële HF-schattingen via een context-bewust U-Net.
3. Surrogaatnetwerk voor Verliesbeperkende Codecs: Om end-to-end training door niet-differentieerbare verliesbeperkende codecs mogelijk te maken, ontwerpen de auteurs een surrogaatnetwerk ($G$). Dit netwerk nabootst compressievervormingen door HF-componenten te degraderen. Het omvat Q-Inverteerbare Blokken, wat compressie-bewuste inverteerbare koppelingslagen zijn die hun transformatiefuncties conditioneren op kwantisatieparameters (QP) afgeleid van de codec. Hierdoor kan het netwerk inter-frame voorspelling-artefacten en verlies bij residu-encoding nauwkeuriger simuleren dan eerdere Dense3D-T-gebaseerde surrogaten.
4. Asymmetrische Architectuur met Compressie-bewuste Kenmerken: Gezien het feit dat symmetrische inverteerbare architecturen gevoelig zijn voor distributieveranderingen veroorzaakt door variërende compressieniveaus, breidt TVRN uit tot een asymmetrisch ontwerp. Het integreert Video Quality Enhancement (VQE) modules. Cruciaal, in plaats van VQE direct toe te passen om artefacten te verwijderen (wat ingebedde HF-informatie kan vervormen), behandelt het framework vergroting als een ontkoppelingsproces. Het omvat compressie-bewuste kenmerken die worden geleerd via een paarsgewijze learning-to-rank strategie. Deze kenmerken stellen een enkel model in staat om adaptief de versterkingssterkte te controleren over verschillende QP's, waardoor de robuustheid wordt verbeterd zonder QP-specifieke modellen te vereisen.
5. Alternatieve Trainingsstrategie: Het framework hanteert een alternatieve optimalisatiestrategie waarbij het surrogaatnetwerk en het herformatering-netwerk in afwisselende stappen worden getraind om stabiele convergentie te waarborgen.

Belangrijkste Bijdragen

• Inverteerbaar Framework: Het ontwerp van MIMO-TWT en een bidirectioneel optische stroom-gestuurde HF-reconstructiemodule, die effectief hoogfrequente informatie regulariseert en reconstrueert die tijdens verkleining verloren gaat binnen een inverteerbare architectuur.
• Compressie-bewuste Surrogaat: De introductie van een surrogaatnetwerk met compressie-bewuste inverteerbare blokken om gradiënten van niet-differentieerbare verliesbeperkende codecs te schatten, waardoor end-to-end optimalisatie onder realistische compressie-instellingen mogelijk wordt.
• Asymmetrische Uitbreiding: De identificatie van uitdagingen bij het integreren van VQE-methoden en het voorstellen van een asymmetrische architectuur die learning-to-rank afgeleide compressie-bewuste kenmerken gebruikt om robuustheid over variërende compressieniveaus te verbeteren.
• Prestaties: De demonstratie dat TVRN bestaande frame-skipping en leer-gebaseerde methoden overtreft in reconstructiekwaliteit onder industriële video-compressie-instellingen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op standaard benchmarks (UCF-101, Vimeo90K, SNU-FILM) met H.265, VVC en AV1 codecs.

• Reconstructiekwaliteit: TVRN bereikt state-of-the-art prestaties in HFR-reconstructie en presteert aanzienlijk beter dan de beste bestaande VFI-methoden (zoals GIMM-VFI) in PSNR en SSIM. Bijvoorbeeld, op de Vimeo90K-testset bereikt het 35,65 dB PSNR vergeleken met 35,23 dB voor GIMM-VFI.
• Rate-Distortion (RD) Prestaties: TVRN is de eerste leerbare frame-rate herformateringsmethode die state-of-the-art VFI-methoden overtreft in RD-prestaties. Het bereikt BD-rate verbeteringen van -7,22% (PSNR) en -16,40% (SSIM) op UCF-101 vergeleken met GIMM-VFI.
• Effectiviteit van Surrogaat: Ablatiestudies tonen aan dat het vervangen van de gradiënt-schatter van een concurrerende methode (CSTVR) door het voorgestelde surrogaatnetwerk de prestaties aanzienlijk verbetert, wat de capaciteit van het surrogaat valideert om codec-vervormingen te modelleren.
• Efficiëntie: Een lichtgewicht variant, TVRN-S, reduceert FLOPs tot 6,54% en de vergrotingstijd tot 35,75% van GIMM-VFI terwijl het concurrerende kwaliteit behoudt.
• Subjectieve Kwaliteit: Een Mean Opinion Score (MOS) studie met 25 deelnemers geeft een duidelijke voorkeur voor TVRN (4,02) ten opzichte van de op één na beste methode (3,69).

Betekenis en Beweringen
Het artikel beweert dat TVRN een aanzienlijke vooruitgang vertegenwoordigt door inverteerbare neuronale netwerken succesvol te integreren met compressie-bewuste mechanismen voor temporele video-herformatering. De auteurs stellen dat dit de eerste leerbare frame-rate herformateringsmethode is die state-of-the-art VFI-methoden overtreft onder moderne verliesbeperkende codecs. Door de wederkerige aard van verkleining en vergroting te modelleren en verliesbeperkende compressie nauwkeurig te simuleren, adresseert TVRN de kritieke kloof tussen theoretische frame-rate herformatering en praktische implementatie in streaming-omgevingen met beperkte bandbreedte. Het werk benadrukt dat het gezamenlijk optimaliseren van deze processen, in plaats van ze afzonderlijk te behandelen, essentieel is voor het behoud van hoogfrequente bewegingsinformatie en het bereiken van hoogwaardige reconstructie.