Technische Samenvatting: Instance-Specific Parametric Absorption (ISPA) voor Geheugenefficiënte Videogeneratie

1. Probleemstelling

Autoregressieve (AR) streamingmodellen zijn uitgegroeid tot een leidend paradigma voor lange videogeneratie, waarbij ze video's van willekeurige lengte kunnen synthetiseren door sequentiële blokken te genereren die geconditioneerd zijn op historische context via een Key-Value (KV) cache. Echter, deze aanpak kampt met een kritieke bottleneck: de KV-cache groeit lineair met de videoduur, waardoor het GPU-geheugen uiteindelijk verzadigd raakt en de inferentie-doorvoer verslechtert.

Bestaande oplossingen vertrouwen primair op token dropping of pruning strategieën (veelvoorkomend bij Large Language Models) om de cachegrootte te verkleinen. De auteurs stellen dat het direct toepassen van deze methoden op videogeneratie instabiel is. In tegenstelling tot tekst, waar context schaars kan zijn, vereisen videosignalen een dichte temporele coherentie. Het weggooien van historische KV-tokens verbreekt langetermijnafhankelijkheden, wat leidt tot ernstige artefacten zoals achtergrondflikkering, structurele vervorming en identiteitsverlies (bijv. het veranderen van de vorm van het gezicht van een personage in de loop van de tijd). De kernuitdaging is het comprimeren van de KV-cache zonder de globale consistentie op te offeren die vereist is voor hoogwaardige videosynthese.

2. Methodologie: Instance-Specific Parametric Absorption (ISPA)

Het paper stelt Instance-Specific Parametric Absorption (ISPA) voor, een framework dat het paradigma verschuift van het "weggooien" van tokens naar het "destilleren" van context in de gewichten van het model. In plaats van de KV-cache te behandelen als een extern geheugen dat bewerkt moet worden, internaliseert ISPA een deel van deze historie in de modelparameters via test-time adaptatie.

Kernframework

ISPA werkt via een driestaps-pipeline tijdens de inferentie:

1. Dual-Stream Warmup:
   Tijdens de eerste $T_{warm}$ frames (bijv. de eerste 12 latente frames) opereert het model in een dual-stream configuratie met behulp van Full-Attention Layers (F-Layers). Het berekent simultaan:

   • $A_{full}$: De attention output die gebruikmaakt van de volledige historische context (ground truth).
   • $A_{loc}$: De attention output die alleen gebruikmaakt van lokale context (huidig frame en "sink" tokens).
     Om de computationele overhead van het draaien van twee aparte attention-passes te vermijden, gebruikt ISPA een Decomposable Attention mechanisme. Door gebruik te maken van de Log-Sum-Exp (LSE) staten die door hardware-bewuste kernels (zoals FlashAttention) worden bijgehouden, ontkoppelt het de attention in lokale en historische takken en voegt deze post-hoc samen. Dit maakt het mogelijk om beide signalen te verzamelen met verwaarloosbare FLOP-overhead.

2. Layer Absorb (Gewichtsmodulatie):
   Op het overgangspunt ($T_{warm}$) identificeert het systeem welke lagen kunnen worden omgezet naar Local-Attention Layers (L-Layers). Voor deze geselecteerde lagen wordt de historische context "geabsorbeerd" door een gesloten vorm least-squares optimalisatieprobleem op te lossen. Het doel is om een gewichtsmodulatiematrix $\Delta W$ te vinden zodat de output van de lokale stream, wanneer geprojecteerd door de nieuwe gewichten, de output van de volledige stream reconstrueert:
   $$\min_{\Delta W} || A_{loc}(W + \Delta W) - A_{full}W ||^2_2 + \lambda || \Delta W ||^2_2$$
   De optimale $\Delta W$ wordt analytisch afgeleid:
   $$\Delta W = (A_{loc}^\top A_{loc} + \lambda I)^{-1} A_{loc}^\top (A_{full} - A_{loc})W$$
   Dit proces is niet-iteratief en vereist geen gradiënt-gebaseerde optimalisatie, waardoor de real-time inferentie latentie behouden blijft.

3. Memory-Efficient Inference:
   Voor alle daaropvolgende frames ($t > T_{warm}$) transformeren de geselecteerde $K$ lagen permanent naar L-Layers. Zij verwijderen hun historische KV-cache ($K_{hist}, V_{hist}$) en opereren uitsluitend op lokale context, gecompenseerd door de bijgewerkte gewichten $W_{new} = W + \Delta W$. De overige $N-K$ lagen blijven als F-Layers om globale coherentie te behouden.

Dynamische Laagselectie

ISPA maakt gebruik van Instance-Specific Selection. In plaats van vast te leggen welke lagen worden gecomprimeerd, rangschikt het alle lagen op basis van hun reconstructiefout ($\epsilon$) na de warmup-fase. De lagen met de laagste fout (de lagen waar lineaire gewichtsmodulatie de ontbrekende historie het beste benadert) worden geselecteerd voor conversie naar L-Layers. Dit stelt de modeltopologie in staat zich aan te passen aan de specifieke temporele dynamiek van de gegenereerde video-instantie.

3. Belangrijkste Bijdragen

De auteurs identificeren drie primaire bijdragen:

1. Paradigmaverschuiving: De introductie van ISPA, die de KV-cache compressie herkadert van token pruning naar parametrische geheugenconsolidatie. Het destilleert instantie-specifieke context in gewichten, waardoor lagen kunnen opereren met minimale lokale cache terwijl globale coherentie behouden blijft.
2. Niet-iteratieve Optimalisatie: Het voorstellen van een gesloten vorm, niet-iteratieve oplossing voor gewichtsmodulatie. Door gebruik te maken van een Decomposable Attention mechanisme gebaseerd op Online Softmax, verzamelt de methode de noodzakelijke signalen en werkt het de parameters bij tijdens de standaard forward pass met verwaarloosbare overhead.
3. Uitgebreide Validatie: Uitgebreide experimenten over diverse autoregressieve architecturen (variërend van 1.3B tot 14B parameters) en taken (tekst-naar-video en spraak-naar-video).

4. Experimentele Resultaten

Het paper evalueert ISPA op benchmarks inclusief VBench-Long en MovieGen prompts, met modellen zoals LongLive (1.3B), Reward-Forcing (1.3B), Krea-Realtime (14B) en LiveAvatar (spraak-naar-video).

• KV Cache Reductie: ISPA slaagt erin om tot 50% van de KV-cache te verwijderen (het converteren van de helft van de lagen naar L-Layers) met een bijna verliesloze visuele kwaliteit.
• Visuele Kwaliteit: Op 5-seconden en 30-seconden generatietaken bereikt ISPA metrieken die bijna identiek zijn aan de full-cache baseline. Opvallend genoeg presteert ISPA op de 14B Krea-modellen voor 30-seconden generatie zelfs iets beter op esthetische scores en temporele consistentie, wat wordt toegeschreven aan het "macroscopische regularisatie"-effect door het filteren van hoogfrequente ruis uit massale historische tokens.
• Geheugenefficiëntie: In het 14B Krea-model vermindert ISPA het piek GPU-geheugengebruik met 23.7GB, waardoor langdurige videogeneratie haalbaar wordt op consumentenhardware.
• Versnelling: Wanneer gecombineerd met post-training quantisatie (W8A8), bereikt ISPA een geaggregeerde 1.86× inferentieversnelling vergeleken met de full-precision baseline.
• Ablatie-studies:
  • No Absorb: Het verwijderen van de gewicht-adaptatie leidt tot catastrofale "subject mismatch" (vormverandering).
  • No Sink: Het verwijderen van de sink frame (initiële KV-paren) veroorzaakt overmatig gladgestreken, lage-getrouwheid outputs.
  • Warmup Duur: Een warmup van $T_{warm} \ge 12$ frames is voldoende om de temporele dynamiek te vangen; kortere duur leidt tot informatiegebrek.

5. Betekenis en Claims

Het paper claimt dat ISPA een fundamentele heroverweging biedt van hoe context wordt beheerd in streaming generatieve modellen. Door verder te gaan dan extern token-niveau cachebeheer, demonstreert het dat parametrische geheugenconsolidatie een levensvatbare en efficiënte route is voor langetermijn-afhankelijkheidsmodellering.

De auteurs benadrukken dat hun methode niet louter een efficiëntie-optimalisatie is, maar een mechanisme dat kan fungeren als een regularisator, die ruis uit langetermijn-attention filtert om de stabiliteit in langdurige generatie te verbeteren. Ze positioneren ISPA als een robuust fundament voor ultra-efficiënte streaming systemen, compatibel met quantisatie en aanpasbaar aan diverse autoregressieve architecturen, wat toekomstig werk aanmoedigt om geheugen te internaliseren in plaats van enkel externe buffers te beheren.