Training-free Latent Inter-Frame Pruning with Attention Recovery

Dit paper introduceert LIPAR, een trainingsvrij kader dat de rekentijd voor videogeneratie verlaagt door tijdsredundantie in latente patches te omzeilen en een nieuwe Attention Recovery-mechanisme te gebruiken om visuele artefacten te voorkomen, waardoor de doorvoer met 1,45 keer toeneemt zonder kwaliteitsverlies.

De kern

LIPAR: De Slimme "Slaapstand" voor Video-Generatie

Stel je voor dat je een animatiefilm maakt met een kunstmatige intelligentie. Normaal gesproken doet de computer voor elk beeldje (frame) in de film precies hetzelfde zware werk: hij bedenkt elke pixel opnieuw, alsof hij elke seconde van de film voor het eerst ziet.

Maar in een echte film verandert er niet altijd iets. Denk aan een achtergrond van een blauwe lucht of een muur. Die blijft 10 seconden lang exact hetzelfde. Waarom zou de computer dan 10 seconden lang hard werken om diezelfde blauwe lucht opnieuw te tekenen? Dat is net zo inefficiënt als een kok die elke keer een hele nieuwe maaltijd kookt, terwijl hij alleen maar een schepje zout hoeft toe te voegen.

Dit is het probleem dat LIPAR (Latent Inter-Frame Pruning with Attention Recovery) oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme Herkenning (Het "Slaapstand"-idee)

In de wereld van videobewerking bestaat er een trucje: als twee beelden bijna identiek zijn, hoef je ze niet opnieuw te berekenen. LIPAR kijkt naar de "geheime taal" (de latent space) waarin de AI denkt.

• De Analogie: Stel je voor dat de AI een chef-kok is die een recept volgt. LIPAR is de assistent die zegt: "Chef, de pan staat nog steeds op hetzelfde vuur en de soep kookt nog net zo. We hoeven niet opnieuw te roeren; we kunnen gewoon wachten."
• Het Resultaat: De computer slaapt voor de delen van het beeld die niet veranderen. Dit bespaart enorm veel rekenkracht en geheugen.

2. Het Grote Gevaar: De "Gekke Spiegel"

Maar er zit een addertje onder het gras. Als je gewoon de berekeningen overslaat en de oude beelden hergebruikt, kan de video eruitzien als een vervormde spiegel. De AI raakt in de war omdat ze plotseling minder informatie krijgt dan ze gewend is tijdens haar training.

• De Analogie: Stel je voor dat je een gesprek voert met iemand die plotseling halverwege de zin stopt en dan een stukje van 5 minuten geleden herhaalt. De persoon aan de andere kant van de lijn raakt in paniek en begint te stotteren of maakt rare geluiden. In een video zie je dit als vage vlekken, ruis of vreemde trillingen.

3. De Oplossing: "Attention Recovery" (De Herstel-Boodschapper)

Hier komt de echte genialiteit van LIPAR om de hoek kijken. Ze noemen dit Attention Recovery.

• De Analogie: In plaats van de AI gewoon te laten stotteren, geeft LIPAR haar een "geheugensteun". De AI mag wel stoppen met rekenen voor de statische delen, maar LIPAR zorgt ervoor dat de AI voelt alsof ze nog steeds alle informatie heeft.
• Hoe? LIPAR gebruikt een slimme truc:
  1. De Schone Kopie: Het haalt de "schone" versie van het oude beeld (zonder ruis) uit het geheugen.
  2. De Nieuwe Ruis: Het voegt daar nieuwe, willekeurige ruis aan toe (net zoals bij een echte video).
  • Waarom? Omdat AI-modellen zijn getraind om te werken met een mix van een duidelijk beeld en wat ruis. Als je alleen het oude beeld kopieert, is er geen ruis en dat verstoort het evenwicht. Door de ruis slim toe te voegen, blijft de video er natuurlijk en scherp uitzien, terwijl de computer toch minder hard hoeft te werken.

Wat levert dit op?

Dankzij deze methode gebeurt er iets magisch:

• Snelheid: De video wordt 1,45 keer sneller gegenereerd. In plaats van 8,4 beelden per seconde, haal je er nu 12,2. Dat is het verschil tussen een haperende video en een vloeiende, real-time ervaring.
• Geheugen: De computer heeft 29% minder geheugen nodig. Dit betekent dat je zware video's kunt maken op een gewone videokaart, zonder dat je computer vastloopt.
• Kwaliteit: Het belangrijkste: de video ziet er even goed uit als de dure, trage versie. Geen vage vlekken, geen rare trillingen.

Samenvattend

LIPAR is als een slimme regisseur die zegt: "Waarom moeten we de hele scène opnieuw filmen als alleen de acteur een beetje beweegt? Laten we de achtergrond gewoon vasthouden en alleen de acteur opnieuw acteren, maar dan zo slim dat niemand het merkt."

Dit maakt het mogelijk om in de toekomst video's in echt-tijd te maken en te bewerken, zonder dat je een supercomputer nodig hebt of urenlang hoeft te wachten.

Technische samenvatting

1. Het Probleem

Huidige video-generatiemodellen, zoals Diffusion Transformers (DiTs), kampen aan hoge computatietijden en een groot geheugengebruik. Dit maakt real-time toepassingen (bijv. 30 fps) op enkele GPU's onhaalbaar en duur.

• Oorzaak: Bestaande Latent Diffusion Models (LDM) alloceren vaste rekenkracht voor elk token, ongeacht of de inhoud redundant is. In tegenstelling tot traditionele videocompressie (die herhalende pixels in de tijd overslaat), worden in de latente ruimte alle patches opnieuw berekend.
• Beperkingen van eerdere methoden: Bestaande technieken zoals Token Merging vereisen dure berekeningen om vergelijkbare tokens te vinden, werken vaak slechts in specifieke lagen, en leiden tot visuele artefacten door een discrepantie tussen training en inferentie (door het direct samenvoegen van tokens).

2. Methodologie: LIPAR

De auteurs stellen LIPAR (Latent Inter-Frame Pruning with Attention Recovery) voor. Dit is een training-vrije methode die temporal redundantie in de latente ruimte exploiteert zonder het model opnieuw te hoeven trainen. De aanpak bestaat uit drie hoofdstappen:

A. Motivatie en Observatie

De auteurs tonen empirisch aan dat er een sterke correlatie bestaat tussen veranderingen in de pixelruimte en de latente ruimte. Als een patch in de pixelruimte niet verandert tussen frames, blijft deze ook stabiel in de latente ruimte. Dit maakt het mogelijk om traditionele videocompressie-ideeën toe te passen op de generatieve pipeline.

B. Latent Inter-Frame (LIF) Pruning

In plaats van alle tokens te verwerken, identificeert LIPAR redundantie door de verschil tussen opeenvolgende frames op dezelfde ruimtelijke locatie te vergelijken.

• Als het verschil (gemeten met L1-norm) onder een bepaalde drempelwaarde ($\tau$) ligt, wordt het token "gepruned" (uitgesloten) van de berekening.
• Om subtiele bewegingen niet per ongeluk te verwijderen, wordt bewegingsdetectie geïntegreerd die rekening houdt met zowel korte-termijn als lange-termijn verschillen.

C. Attention Recovery (De Kerninnovatie)

Het direct verwijderen van tokens verstoort de zelf-attentie (Self-Attention) berekening, wat leidt tot visuele artefacten en een discrepantie met de training. LIPAR lost dit op met een wiskundige benadering bestaande uit twee mechanismen:

1. M-Degree Approximation: In plaats van alle verwijderde tokens te herberekenen, worden de Key (K) en Value (V) vectoren van de verwijderde tokens benaderd door die van de behouden tokens uit het KV-cache (van het vorige frame). Dit houdt rekening met RoPE (Rotary Positional Embedding) rotaties.
2. Noise-Aware Duplication: Een cruciale observatie is dat tokens in diffusion-modellen onafhankelijke ruis (I.I.D. noise) bevatten. Het simpelweg kopiëren van een token zou deze ruis-correlatie creëren, wat leidt tot ruisversterking en visuele defecten. LIPAR lost dit op door alleen de "schone" (ruis-vrije) componenten van de tokens te kopiëren uit het KV-cache (gegenereerd via een extra denoising stap bij nul ruis), terwijl de ruiscomponenten correct worden behandeld om de onafhankelijkheid te behouden.

D. Restauratie

Na het denoising-proces worden de verwijderde tokens hersteld door ze te dupliceren uit het vorige frame, zodat de decoder een volledige sequentie van tokens ontvangt met de juiste afmetingen.

3. Belangrijkste Bijdragen

1. Observatie: Het vaststellen van een sterke Pearson-correlatie tussen pixel- en latente ruimtelijke veranderingen, wat de basis vormt voor latente compressie.
2. Theoretische Analyse: Het formuleren van de wiskundige voorwaarden waaraan pruning moet voldoen om de kwaliteit te behouden, specifiek de benadering van Multi-head Self-Attention (MSA) outputs.
3. Pipeline Design: Een end-to-end pruning pipeline die werkt op alle lagen van het model, in tegenstelling tot eerdere methoden die beperkt waren tot specifieke lagen.
4. Oplossing: De introductie van Attention Recovery (M-degree + Noise-Aware Duplication), waardoor pruning mogelijk is zonder visuele kwaliteitsverlies en zonder extra training.

4. Resultaten

De methode is getest op het DAVIS dataset (51 video-prompt paren) op een NVIDIA A6000 GPU.

• Snelheid: LIPAR bereikt een 1.45x versnelling in doorvoer (throughput), van 8.4 FPS naar 12.2 FPS.
• Geheugen: Het reduceert het GPU-geheugengebruik met 29% (van 26.24 GB naar 18.56 GB).
• Kwaliteit:
  • Menselijke evaluatie (14 deelnemers) toont een 86.4% win-tie rate ten opzichte van de ongeprunte baseline (Self-Forcing).
  • LIPAR presteert aanzienlijk beter dan andere training-vrije pruning methoden (zoals ToMe, IDM, Importance-based Token Merging) op zowel visuele kwaliteit als kwantitatieve metrics (VBench, Warp Error).
  • De methode behoudt hoge visuele fideliteit zonder de flickering of structurele defecten die bij concurrenten voorkomen.
• Generalisatie: De methode werkt zowel voor causale attention (zoals in Self-Forcing) als voor bidirectionele attention (geïmplementeerd in Time-to-Move/TTM), waar het een 1.5x snelheidswinst boekte.

5. Betekenis en Conclusie

LIPAR vormt een brug tussen traditionele videocompressie-algoritmen en moderne generatieve pipelines. Het bewijst dat het mogelijk is om computationele kosten drastisch te verlagen door temporal redundantie in de latente ruimte te exploiteren, zonder de kwaliteit van de gegenereerde video te compromitteren.

De belangrijkste doorbraak is dat dit training-vrij is en direct kan worden geïntegreerd in bestaande modellen. Dit opent de deur voor real-time video-editing en interactieve toepassingen op consumer-grade hardware, wat eerder onmogelijk was vanwege de hoge rekenkosten van diffusion-modellen.