VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Technische Samenvatting: VideoMLA

Probleemstelling
Causale video-diffusiemodellen met lange rollouts zijn de dominante aanpak geworden voor het streamen van video's op minuut-schaal. Deze modellen vertrouwen doorgaans op een cache van Key-Value (KV) met een vaste grootte en een schuivend venster om autoregressieve generatie mogelijk te maken. Hoewel recente werken binnen deze opzet hebben geïnnoveerd door tokenselectie, positionele codering (bijv. Infinity-RoPE) of trainingsstrategieën (bijv. Self-Forcing) aan te passen, behouden ze grotendeels de KV-indeling per hoofd. Bij standaard dichte attention slaat elke gecachete token volledige keys en values op voor alle attention-heads. Voor een model zoals Wan-1.3B resulteert dit in een enorme geheugenvoetafdruk (ongeveer 6,0 GB voor een cache van 21 latent frames), wat de batchgroottes, de doorvoer en de haalbare lengte van video-rollouts beperkt. Bestaande efficiënte methoden veranderen de attention-mechanisme volledig (bijv. lineaire attention) of cachen alleen specifieke lagen, maar weinigen adresseren de geheugenkost van de per-token, per-head KV-toestand over alle gecachete lagen heen.

Methodologie: VideoMLA
Het artikel introduceert VideoMLA, de eerste toepassing van Multi-Head Latent Attention (MLA) op autoregressieve video-diffusie. VideoMLA herbouwt de KV-cache fundamenteel door dichte per-head keys en values te vervangen door een gedeelde low-rank representatie.

1. Gedeelde Low-Rank Content Latent: In plaats van afzonderlijke keys ($K$) en values ($V$) op te slaan voor elk van de $n_h$ heads, comprimeert VideoMLA de inhoud van een token $x_t$ tot een enkele gedeelde latent vector $c^{KV}_t$ via een down-projection matrix $W^{KV}_\downarrow$. Deze latent heeft een dimensie $d_c \ll n_h d_h$.
2. Op Aanvraag Reconstructie: Tijdens de attention-berekening worden de per-head content keys ($k^{nope}_{t,h}$) en values ($v_{t,h}$) gereconstrueerd vanuit de gedeelde latent met behulp van head-specifieke up-projection matrices ($W^K_\uparrow, W^V_\uparrow$).
3. Gekoppelde 3D-RoPE: Om positionele informatie te verwerken zonder deze in de gedeelde latent te vouwen (wat head-sharing zou voorkomen), splitst de methode de per-head dimensie op in een content subruimte ($d^{nope}_h$) en een positionele subruimte ($d^{rope}_h$). Er wordt een enkele, head-gedeelde positionele key $k^R_t$ berekend en geroteerd met 3D-RoPE. De cache slaat het paar $(c^{KV}_t, k^R_t)$ op in plaats van dichte per-head toestanden.
4. Geheugenreductie: Dit ontwerp reduceert de per-token gecachete toestand van $2n_h d_h$ scalarwaarden naar $d_c + d^{rope}_h$. In de standaardconfiguratie ($d_c=192, d^{rope}_h=32$) levert dit een reductie van 92,7% op in KV-cache-geheugen per laag.

Belangrijkste Bevindingen en Spectrale Analyse
Een centrale bijdrage van het artikel is het oplossen van een theoretisch raadsel over waarom MLA werkt in video-diffusie.

• Het Raadsel: In taalsmodellen wordt MLA vaak gemotiveerd door de aanname dat voorgeöefende $W^K$ en $W^V$ matrices intrinsiek low-rank zijn. Spectrale analyse van de video-backbone Wan-1.3B toont echter aan dat de gezamenlijke operator $[W^K; W^V]$ niet low-rank is; de effectieve rank met 99%-energie overschrijdt 1300, ver boven praktische latent-dimensies ($d_c=192$).
• De Oplossing: De auteurs tonen aan dat de effectieve rank van de geleerde samengestelde operator in VideoMLA wordt bepaald door de architecturale bottleneck ($d_c$), en niet door het voorgeöefende spectrum. Zowel SVD-initialisatie als willekeurige initialisatie verzadigen het opgelegde rank-budget vanaf het begin, en training behoudt dit budget terwijl het zich binnen die grenzen aanpast. VideoMLA slaagt dus niet door een verborgen low-rank structuur te herstellen, maar door een rank-budget op te leggen dat het model leert effectief te benutten.

Resultaten

• Kwaliteit: Op VBench komt VideoMLA overeen met baselines voor streaming op korte horizon en behaalt de beste totaalscore op lange horizon (60s) onder de geëvalueerde methoden. Het behoudt subjectidentiteit, scènestructuur en bewegingsdynamiek, en vermijdt de statische degradatie die bij andere compressiemethoden wordt waargenomen.
• Efficiëntie: De methode verbetert de inferentie-doorvoer met 1,23× op een enkele B200 GPU ten opzichte van baselines.
• Schaalbaarheid: Onder een vast geheugenbudget (B200) maakt VideoMLA batchgroottes mogelijk die 8,0× groter zijn dan dichte Multi-Head Attention (MHA) bij de standaard $d_c=192$, en tot 11,4× groter bij lagere $d_c$-instellingen, zonder out-of-memory (OOM) fouten.

Betekenis en Claims
Het artikel claimt dat VideoMLA de per-token KV-indeling identificeert als een directe en effectieve hefboom voor het schalen van efficiënte video-diffusie op lange horizon, orthogonaal aan bestaande methoden die zich richten op tokenselectie of positionele herparameterisatie. Door het per-token KV-geheugen met 92,7% te reduceren terwijl visuele fideliteit en bewegingsconsistentie behouden blijven, maakt VideoMLA video-generatie op minuut-schaal mogelijk met aanzienlijk lagere latentie en hogere doorvoer. Het werk verschuift de ontwerpvraag van "wat is het intrinsieke rank van video attention?" naar "welk latent budget behoudt video-kwaliteit?", en toont aan dat architecturale beperkingen het leren succesvol kunnen sturen, zelfs wanneer het voorgeöefende spectrum high-rank is.