🤖 AI

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Ce papier présente VideoMLA, une architecture novatrice appliquant l'attention latente multi-têtes à la diffusion vidéo autoregressive à l'échelle de la minute, permettant une réduction de 92,7 % de la mémoire du cache KV et une amélioration du débit de 1,23 fois tout en maintenant ou dépassant la qualité de référence, même si la méthode réussit bien que l'attention préentraînée ne soit pas intrinsèquement de faible rang.

Auteurs originaux : Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

Publié 2026-05-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de raconter une histoire qui dure une heure, mais que vous n'avez qu'un petit carnet pour l'écrire. Chaque fois que vous ajoutez une nouvelle phrase, vous devez vous souvenir de tout ce que vous avez écrit auparavant pour vous assurer que l'histoire reste cohérente.

Dans le monde de la génération de vidéos par IA, ce « carnet » s'appelle le Cache KV. C'est une banque de mémoire où l'IA stocke les informations sur les images vidéo qu'elle a déjà générées afin de pouvoir produire les suivantes.

Le Problème : Le Carnet est Trop Lourd

Les modèles actuels de génération vidéo par IA sont comme des étudiants tentant d'écrire une histoire d'une heure, mais leurs carnets sont si lourds qu'ils peuvent à peine les soulever.

L'Ancienne Méthode : Pour chaque image vidéo que l'IA mémorise, elle écrit une description massive et détaillée pour chaque « cellule cérébrale » (tête) de son réseau.
Le Résultat : À mesure que la vidéo s'allonge (de plusieurs minutes), ce carnet devient si énorme qu'il épuise la mémoire. Pour résoudre ce problème, la plupart des systèmes se contentent de jeter les anciennes pages (fenêtre glissante), mais les pages qu'ils conservent restent incroyablement volumineuses et lentes à lire.

La Solution : VideoMLA (Le Carnet de « Résumé »)

L'article présente VideoMLA, une nouvelle façon d'écrire cette histoire qui réduit la taille du carnet de 92,7 %.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le « Résumé Partagé » (Latent de Rang Faible)
Imaginez que vous décrivez une scène à un groupe de 12 amis (les 12 « têtes » de l'IA).

Avant : Vous écriviez un rapport détaillé unique de 128 pages pour chaque ami. Cela représente $12 \times 128 = 1\,536$ pages d'informations par image !
VideoMLA : Vous réalisez que tous vos amis écoutent la même histoire. Au lieu d'écrire 12 rapports séparés, vous écrivez un seul résumé condensé (le « latent ») qui capture l'essence fondamentale de la scène. Les 12 amis partagent ce seul résumé.
La Magie : Ce résumé est beaucoup plus petit (seulement 192 pages au lieu de 1 536). Il capture le « quoi » (le contenu) sans la redondance.

2. La « Carte Séparée » (3D-RoPE Découplée)
Le résumé vous dit ce qui se passe, mais pas où ni quand.

Avant : Les informations de localisation et de temps étaient mélangées dans ces rapports énormes et encombrants.
VideoMLA : Vous prenez les informations de localisation et de temps (comme « il pleut sur le côté gauche à 14 h ») et vous les mettez sur un petit post-it séparé. Ce post-it est également partagé par tout le monde.
Le Résultat : Vous avez maintenant un petit résumé + un petit post-it, au lieu de 12 rapports géants.

La Grande Surprise : Cela Fonctionne Même Quand Cela « Ne Devrait Pas »

Habituellement, les scientifiques utilisent cette astuce du « résumé » (appelée Attention Latente Multi-Têtes) parce qu'ils croient que l'information originale est naturellement simple et facile à résumer (comme un problème mathématique de rang faible).

La Découverte de l'Article :
Les auteurs ont examiné le modèle d'IA original et ont découvert quelque chose de surprenant : L'information originale N'EST PAS simple. Elle est en fait incroyablement complexe et désordonnée (de « rang » élevé).

L'Énigme : Si vous essayez de résumer un tableau complexe et désordonné par un simple croquis, vous perdez généralement beaucoup de détails.
La Réalité : VideoMLA fonctionne quand même ! Même si les données originales sont désordonnées, l'IA apprend à faire tenir l'ensemble de l'histoire dans le petit espace de résumé. Il s'avère que la limite n'est pas la désorganisation de l'histoire, mais la taille du carnet. L'IA s'adapte simplement pour faire tenir parfaitement toute l'histoire dans le petit espace.

Pourquoi Cela Compte

En réduisant la taille du carnet :

Vidéos Plus Longues : L'IA peut désormais générer des vidéos d'une minute sans épuiser la mémoire.
Vitesse Accrue : Lire un petit résumé est beaucoup plus rapide que de lire 12 rapports géants. L'article montre que cela rend l'IA 1,23 fois plus rapide.
Meilleure Qualité : Malgré une compression massive, la qualité vidéo reste élevée. L'IA ne devient pas « statique » ou floue ; le mouvement reste fluide et les personnages restent cohérents.

En Résumé

VideoMLA, c'est comme réaliser que vous n'avez pas besoin de transporter une bibliothèque de livres pour raconter une histoire. Vous avez juste besoin d'un résumé bien écrit et d'une petite carte. Cela permet à l'IA de raconter des histoires plus longues et plus fluides beaucoup plus vite, sans avoir besoin d'un superordinateur pour stocker la mémoire.

Résumé Technique : VideoMLA

Énoncé du Problème
Les modèles de diffusion vidéo causale à déroulement long sont devenus l'approche dominante pour la génération de vidéos en flux continu à l'échelle de la minute. Ces modèles reposent généralement sur un cache Key-Value (KV) à fenêtre glissante de taille fixe pour maintenir la génération autoregressive. Bien que des travaux récents aient innové dans cette architecture en modifiant la sélection de tokens, le codage positionnel (par exemple, Infinity-RoPE) ou les stratégies d'entraînement (par exemple, Self-Forcing), ils préservent largement la disposition KV par tête. Dans l'attention dense standard, chaque token mis en cache stocke les clés et les valeurs complètes pour toutes les têtes d'attention. Pour un modèle comme Wan-1.3B, cela se traduit par une empreinte mémoire massive (environ 6,0 Go pour un cache de 21 trames latentes), ce qui limite les tailles de lot, le débit et la durée réalisable des déroulements vidéo. Les méthodes efficaces existantes modifient soit entièrement le mécanisme d'attention (par exemple, l'attention linéaire), soit ne mettent en cache que des couches spécifiques, mais peu abordent le coût mémoire de l'état KV par token et par tête à travers toutes les couches mises en cache.

Méthodologie : VideoMLA
L'article présente VideoMLA, la première application de l'Attention Latente Multi-Têtes (MLA) à la diffusion vidéo autoregressive. VideoMLA restructure fondamentalement le cache KV en remplaçant les clés et valeurs denses par tête par une représentation partagée de faible rang.

Latent de Contenu à Faible Rang Partagé : Au lieu de stocker des clés ( $K$ ) et des valeurs ( $V$ ) séparées pour chacune des $n_h$ têtes, VideoMLA compresse le contenu d'un token $x_t$ en un unique vecteur latent partagé $c^{KV}_t$ via une matrice de projection descendante $W^{KV}_\downarrow$ . Ce latent a une dimension $d_c \ll n_h d_h$ .
Reconstruction à la Demande : Lors du calcul de l'attention, les clés de contenu par tête ( $k^{nope}_{t,h}$ ) et les valeurs ( $v_{t,h}$ ) sont reconstruites à partir du latent partagé en utilisant des matrices de projection ascendantes spécifiques à chaque tête ( $W^K_\uparrow, W^V_\uparrow$ ).
3D-RoPE Découplée : Pour gérer l'information positionnelle sans la plier dans le latent partagé (ce qui empêcherait le partage entre têtes), la méthode divise la dimension par tête en un sous-espace de contenu ( $d^{nope}_h$ ) et un sous-espace positionnel ( $d^{rope}_h$ ). Une seule clé positionnelle partagée par tête $k^R_t$ est calculée et tournée en utilisant la 3D-RoPE. Le cache stocke la paire $(c^{KV}_t, k^R_t)$ plutôt que des états denses par tête.
Réduction de Mémoire : Cette conception réduit l'état mis en cache par token de $2n_h d_h$ scalaires à $d_c + d^{rope}_h$ . Dans la configuration par défaut ( $d_c=192, d^{rope}_h=32$ ), cela produit une réduction de 92,7 % de la mémoire du cache KV par couche.

Résultats Clés et Analyse Spectrale
Une contribution centrale de l'article est la résolution d'un puzzle théorique concernant pourquoi la MLA fonctionne dans la diffusion vidéo.

Le Puzzle : Dans les modèles de langage, la MLA est souvent motivée par l'hypothèse que les matrices préentraînées $W^K$ et $W^V$ sont intrinsèquement de faible rang. Cependant, l'analyse spectrale du backbone vidéo Wan-1.3B révèle que l'opérateur joint $[W^K; W^V]$ n'est pas de faible rang ; son rang effectif à 99 % d'énergie dépasse 1300, bien au-dessus des dimensions latentes pratiques ( $d_c=192$ ).
La Résolution : Les auteurs démontrent que le rang effectif de l'opérateur composé appris dans VideoMLA est déterminé par le goulot d'étranglement architectural ( $d_c$ ), et non par le spectre préentraîné. Tant l'initialisation par SVD que l'initialisation aléatoire saturent le budget de rang imposé dès le départ, et l'entraînement préserve ce budget tout en s'adaptant à l'intérieur. Ainsi, VideoMLA réussit non pas en récupérant une structure de faible rang cachée, mais en imposant un budget de rang que le modèle apprend à utiliser efficacement.

Résultats

Qualité : Sur VBench, VideoMLA égale les bases de référence à horizon court en flux continu et obtient le meilleur score global à long horizon (60s) parmi les méthodes évaluées. Elle maintient l'identité du sujet, la structure de la scène et la dynamique du mouvement, évitant la dégradation statique observée dans d'autres méthodes de compression.
Efficacité : La méthode améliore le débit d'inférence de 1,23× sur un seul GPU B200 par rapport aux bases de référence.
Évolutivité : Sous un budget mémoire fixe (B200), VideoMLA permet des tailles de lot 8,0× plus grandes que l'Attention Multi-Têtes (MHA) dense à $d_c=192$ par défaut, et jusqu'à 11,4× plus grandes avec des réglages $d_c$ plus bas, sans erreurs de mémoire insuffisante (OOM).

Signification et Revendications
L'article revendique que VideoMLA identifie la disposition KV par token comme un levier direct et efficace pour mettre à l'échelle la diffusion vidéo efficace à long horizon, de manière orthogonale aux méthodes existantes qui se concentrent sur la sélection de tokens ou la reparamétrisation positionnelle. En réduisant la mémoire KV par token de 92,7 % tout en préservant la fidélité visuelle et la cohérence du mouvement, VideoMLA permet la génération de vidéos à l'échelle de la minute avec une latence significativement plus faible et un débit plus élevé. Ce travail déplace la question de conception de « quel est le rang intrinsèque de l'attention vidéo ? » vers « quel budget latent préserve la qualité vidéo ? », démontrant que les contraintes architecturales peuvent guider avec succès l'apprentissage même lorsque le spectre préentraîné est de rang élevé.