Technische Samenvatting: Versnellen van Video Inverse Probleemoplossers met Autoregressieve Diffusiemodellen

Probleemstelling

Video inverse problemen streven ernaar een schoon video $x$ te reconstrueren uit een gedegradeerde meting $y$ (bijvoorbeeld lage resolutie, gemaskerd of onscherp), gedefinieerd door $y = A(x) + n$. Hoewel diffusie- en stromingsgebaseerde modellen zijn opgekomen als krachtige zero-shot priors voor deze taken, wordt hun real-time implementatie momenteel gehinderd door twee kritieke inefficiënties:

1. Hoge Initiële Latentie: Bestaande op Diffusiemodellen gebaseerde Video Inverse Probleemoplossers (DVIS) herstellen video's doorgaans holistisch, waarbij het volledige sequentie gelijktijdig wordt bemonsterd. Bijgevolg kan het eerste frame pas worden weergegeven nadat de volledige video is hersteld, wat een latentieknelpunt creëert dat gelijk is aan de totale hersteltijd.
2. Lage Doorvoer: Moderne video-diffusiemodellen werken vaak in de latente ruimte van een Variational Autoencoder (VAE). Om meetconsistentie af te dwingen, vereisen huidige oplossers meerdere VAE-passen (coderen en decoderen) tijdens het herstelproces, waardoor de doorvoer wordt beperkt tot onder de 1 FPS.

Methodologie

De auteurs stellen de Autoregressieve Video Inverse Probleemoplosser (AVIS) en zijn versnelde variant, AVIS Flash, voor, die autoregressieve (AR) video-diffusiemodellen benutten om deze knelpunten aan te pakken.

Kernkader: AVIS

In tegenstelling tot niet-autoregressieve oplossers die het volledige video gezamenlijk verwerken, herstelt AVIS video's op een streamende manier, waarbij videoblokken sequentieel worden gegenereerd. Deze architectuur elimineert op natuurlijke wijze het initiële latentieknelpunt. Om het doorvoerprobleem en de inherente traagheid van diffusiemodellen aan te pakken, introduceert AVIS een meetconsistent initialisatie:

• Initialisatie: In plaats van te beginnen met reverse diffusie vanuit puur Gaussisch ruis, berekent AVIS eerst een ruwe, meetconsistente schatting $x_{init}$ in pixelruimte door het minimaliseren van de doelstelling $\|y - A(x)\|^2$ met behulp van een meerstaps optimalisatiealgoritme (Geconjugeerde Gradient).
• Versnelde Bemonstering: Deze schatting wordt gecodeerd in de latente ruimte en gediffuseerd naar een tussenliggend tijdstip $t_0$. Het reverse diffusieproces begint vervolgens vanaf $t_0$ in plaats van $t=1$, wat het aantal vereiste bemonsteringsstappen aanzienlijk reduceert.
• Iteratieve Leiding: Voor elk videoblok dwingt AVIS meetconsistentie af bij elke ontdenningsstap met behulp van het Decomposed Diffusion Sampling (DDS)-kader. Dit omvat het decoderen van de latente schatting, het oplossen van een proximaal optimalisatieprobleem om af te stemmen op metingen, en het opnieuw coderen, allemaal zonder dat er dure Jacobiaan-berekeningen nodig zijn.

Versnelde Variant: AVIS Flash

Om de efficiëntie verder te verhogen, wijzigt AVIS Flash de leidingstrategie:

• Eén-Blok Leiding: Het dwingt meetconsistentie af (via iteratieve VAE-passen) alleen op het eerste videoblok.
• Autoregressieve Propagatie: Opvolgende blokken ($n \ge 2$) worden uitsluitend gegenereerd via autoregressieve propagatie vanuit het gecorrigeerde voorvoegsel (met gebruik van KV-caching), waarbij expliciete meetleiding wordt omzeild.
• Theoretische Rechtvaardiging: De auteurs bieden een foutdecompositieanalyse (Propositie 1), waarin wordt aangetoond dat de uiteindelijke fout wordt begrensd door de initiële fout (verzacht door de initialisatie) en de contextfout die wordt doorgegeven vanuit vorige blokken. Zij observeren dat de contextfout fungeert als een additieve verstoring in plaats van een multiplicatieve versterker, waardoor het systeem trouw kan behouden zonder continue leiding.
• Stabiliteit bij Lange Video's: Voor zeer lange sequenties kan het kader periodiek meetconsistentie opnieuw injecteren (bijvoorbeeld elke $N$ blokken) om temporale drift te voorkomen.

Belangrijkste Bijdragen

1. AVIS Kader: Het onderzoek naar autoregressieve video-diffusiemodellen voor zero-shot videoherstel. AVIS versnelt herstel door het reverse diffusieproces te initialiseren met een meetconsistente schatting, wat de bemonsteringsstappen reduceert terwijl consistentie voor elk blok behouden blijft.
2. AVIS Flash: Een sterk versnelde variant die meetconsistentie uitsluitend oplegt aan het eerste blok. Deze aanpak verhoogt de doorvoer aanzienlijk terwijl concurrerende prestaties worden behouden, en biedt een gunstige afweging tussen efficiëntie en prestaties.
3. Prestatiewinsten: Het artikel toont aan dat deze methoden de initiële latentie drastisch reduceren en de doorvoer verhogen in vergelijking met toonaangevende niet-autoregressieve oplossers, wat de weg vrijmaakt voor real-time implementatie.

Experimentele Resultaten

De methoden werden geëvalueerd op 100 hoogresolutie video's over vijf inverse problemen: Super-Resolution (4×), Random Inpainting (50% masker), Gaussian Deblur, Temporal Average en Spatio-Temporal Average.

• Efficiëntie:
  • Latentie: AVIS reduceert de initiële latentie van 114s (LVTINO) naar 4s.
  • Doorvoer: AVIS verhoogt de doorvoer van 0,71 FPS naar 1,18 FPS. AVIS Flash bereikt 5,91 FPS op een enkele RTX 4090 GPU (en 10,2 FPS op een H100), wat een 8× tot 12× versnelling vertegenwoordigt ten opzichte van baselines.
• Herstelkwaliteit:
  • AVIS behaalt superieure of zeer concurrerende resultaten op betrouwbaarheidsmetrieken (PSNR, SSIM, LPIPS, FVD) en perceptuele metrieken (VBench) in vergelijking met baselines zoals DiffIR2VR-Zero, VISION-XL en LVTINO.
  • AVIS Flash behoudt concurrerende prestaties, met slechts een lichte daling in specifieke metrieken ten opzichte van AVIS, maar biedt een dramatische verbetering in snelheid.
• Ablatiestudies:
  • Het verwijderen van de autoregressieve KV-cache verslechtert de prestaties, wat de waarde van contextpropagatie bevestigt.
  • Het starten van het reverse proces vanuit puur ruis (zonder initialisatie) leidt tot drift; de meetconsistente initialisatie is cruciaal voor trouw.
  • Een starttijd $t_0 = 0,1$ en $K=2$ bemonsteringsstappen bleken de beste balans tussen snelheid en kwaliteit te bieden.

Betekenis en Beweringen

Het artikel beweert dat AVIS en AVIS Flash een sterke basis leggen voor de praktische, real-time implementatie van op diffusie gebaseerde video inverse probleemoplossers. Door autoregressieve generatie en een nieuwe initialisatiestrategie te benutten, overbrugt het kader de kloof tussen de hoogwaardige generatieve priors van diffusiemodellen en de strikte latentie- en doorvoervereisten van real-world toepassingen.

De auteurs merken op dat hoewel de methoden de state-of-the-art aanzienlijk vooruitbrengen, ze nog steeds afhankelijk zijn van meerdere VAE-passen voor de initiële pixelruimte-leiding. Toekomstig werk zou kunnen onderzoeken om meetconsistentie direct in de latente ruimte af te dwingen om het proces verder te versnellen. Bovendien roept het vermogen om hoogwaardige video's te herstellen uit gedegradeerde invoer ethische overwegingen op met betrekking tot desinformatie en de reconstructie van gevoelige data, wat de auteurs erkennen als een bredere impact om rekening mee te houden.