💻 computer science

SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces

Cet article propose d'intégrer des modèles d'espace d'état structurés (SSM) bidirectionnels en tant qu'extracteurs de caractéristiques temporelles efficaces dans les modèles de diffusion vidéo afin de surmonter les limitations de calcul quadratiques des mécanismes d'attention, permettant ainsi une génération de vidéos à long terme de haute qualité avec une consommation de mémoire considérablement réduite.

Auteurs originaux : Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : Le « Embouteillage » de l'IA Vidéo

Imaginez que vous essayiez d'apprendre à un robot à dessiner un film, image par image. Pour que le film paraisse fluide et logique, le robot doit se souvenir de ce qui s'est passé dans les images précédentes et prédire ce qui vient ensuite.

Les modèles d'IA actuels (appelés Modèles de Diffusion) sont excellents pour cela, mais ils rencontrent un goulot d'étranglement majeur lors de la création de vidéos longues. Ils utilisent un mécanisme appelé Attention. Voyez l'Attention comme un bibliothécaire qui doit lire chaque livre d'une bibliothèque pour trouver celui dont vous avez besoin.

Vidéo courte (16 images) : La bibliothèque est petite. Le bibliothécaire trouve le livre rapidement.
Vidéo longue (256 images) : La bibliothèque est immense. Le bibliothécaire doit lire chaque livre par rapport à chaque autre livre pour trouver des connexions. Le travail ne fait pas simplement le double ; il quadruple. Cela crée un « embouteillage » dans la mémoire et la puissance de calcul de l'ordinateur, rendant la génération de vidéos longues très coûteuse et lente.

La Solution : La Voie Rapide du « State-Space »

Les auteurs de cet article proposent une nouvelle façon de gérer la partie « mémoire » de l'IA, en remplaant le bibliothécaire par un Modèle d'Espace d'États (SSM), plus précisément un type appelé Mamba.

Voyez le SSM comme un train à grande vitesse plutôt qu'un bibliothécaire.

Au lieu de relire tout l'historique à chaque fois, le train transporte un « résumé » de son parcours.
Lorsqu'il arrive à la station suivante (l'image vidéo suivante), il met simplement à jour son résumé en fonction de la nouvelle station.
Le Résultat : Que le train parcoure 16 miles ou 256 miles, le temps et le carburant (coût de calcul) nécessaires augmentent de manière linéaire et prévisible. Cela n'explose pas en termes de coût comme la méthode du bibliothécaire.

Ce Qu'ils Ont Réellement Fait

Les chercheurs ont construit un générateur de vidéo et ont remplacé le moteur d'« Attention » par ce nouvel moteur « SSM ». Ils l'ont testé sur trois jeux de données vidéo différents :

MineRL Navigate : Un robot naviguant dans un monde de type Minecraft.
GQN-Mazes : Un robot résolvant des labyrinthes en 3D.
CARLA-Town01 : Une simulation de voiture autonome.

Ils ont testé des vidéos allant de clips courts (16 images) à des séquences longues (256 images).

Les Conclusions Clés

1. Le Gagnant des Vidéos Longues
Lors de la génération de vidéos courtes (16 images), la nouvelle méthode SSM et l'ancienne méthode d'Attention étaient au coude à coude. Cependant, dès qu'ils ont tenté de générer des vidéos longues (256 images), la méthode SSM a pris l'avantage de manière significative.

Analogie : C'est comme comparer un vélo et une voiture de sport sur une courte allée (les deux conviennent). Mais sur une autoroute de 200 miles, la voiture de sport (SSM) vous amène plus vite et consomme moins d'essence, tandis que le vélo (Attention) s'épuise et ralentit.
La Preuve : Les modèles SSM ont produit des vidéos de meilleure qualité (mesurées par un score appelé FVD) tout en utilisant moins de mémoire et moins de temps que les modèles d'Attention.

2. La Recette Secrète : Trafic Bidirectionnel et Filtrage Intelligent
Les chercheurs ont découvert que remplacer simplement le moteur ne suffisait pas ; ils ont dû l'ajuster de deux manières spécifiques pour obtenir les meilleurs résultats :

Bidirectionnalité (Trafic dans les deux sens) : Les SSM standards ne regardent que vers l'avant (du passé vers le futur). Les chercheurs ont fait en sorte que le modèle regarde dans les deux sens (passé et futur).
- Analogie : Imaginez conduire une voiture. Si vous ne regardez qu'à travers le pare-brise, vous pourriez manquer une voiture qui déboule sur le côté. En regardant aussi dans le rétroviseur (contexte futur), l'IA comprend mieux la scène complète.
Scans Sélectifs (Filtrage Intelligent) : Le modèle a appris à ignorer les images ennuyantes et répétitives pour se concenter sur les changements importants.
- Analogie : Imaginez lire un roman. Si 10 pages décrivent le même couloir vide, vous les survolez. Mais si un personnage entre dans la pièce, vous lisez attentivement. Le SSM fait cela automatiquement, gardant sa « mémoire » fraîche pour les moments importants.

L'Essentiel à Retenir

Cet article prouve que pour la création de vidéos longues, utiliser des Modèles d'Espace d'États (SSM) est un choix plus intelligent et plus efficace que la méthode traditionnelle de l'Attention. Cela permet aux ordinateurs de générer des vidéos plus longues et plus fluides sans nécessiter de matériel ultra-coûteux, offrant essentiellement aux chercheurs un « code de triche » pour contourner les limites de mémoire qui freinaient l'IA vidéo depuis un certain temps.

Note : L'article se concentre strictement sur l'architecture technique et les performances sur des jeux de données spécifiques. Il ne prétend pas que ces modèles sont actuellement prêts pour le diagnostic médical, la sécurité en temps réel ou la production cinématographique commerciale, mais plutôt qu'ils constituent un choix architectural supérieur pour la tâche spécifique de la génération de vidéos à long terme.

Résumé Technique : La rencontre entre les SSM et les modèles de diffusion vidéo

1. Problématique

La communauté de la recherche s'est de plus en plus concentrée sur l'extension des modèles de diffusion de la génération d'images à la génération de vidéos. Bien que les récents modèles de diffusion vidéo (VDM) aient démontré des capacités impressionnantes, ils reposent principalement sur des mécanismes d'attention pour extraire les caractéristiques temporelles à travers les images de la vidéo. Une limitation critique de cette approche est que le coût computationnel (mémoire et temps) des couches d'attention augmente de manière quadratique ( $O(L^2)$ ) avec la longueur de la séquence $L$ .

Cette mise à l'échelle quadratique constitue une barrière significative pour la génération de séquences vidéo de longue durée. Par conséquent, de nombreuses méthodes de pointe sont limitées à des séquences courtes (par exemple, 16 images, soit environ deux secondes à 8 fps). Bien que certains modèles récents à grande échelle tentent de remédier aux séquences plus longues, les contraintes pratiques de mémoire et de calcul limitent souvent la longueur de génération réalisable. L'article identifie la nécessité d'un extracteur de caractéristiques temporelles qui maintienne une haute qualité générative tout en offrant une complexité computationnelle linéaire pour permettre une génération de vidéos à long terme efficace.

2. Méthodologie

Les auteurs proposent de remplacer les couches d'attention temporelle des modèles de diffusion vidéo standards par des Modèles d'Espace d'État Structurés (SSM), en utilisant spécifiquement l'architecture Mamba.

Architecture de base

Base de référence : L'étude utilise un modèle de diffusion vidéo (VDM) basé sur U-Net comme base de référence. Dans les VDM standards, les couches d'attention spatiale sont entrelacées avec des couches d'attention temporelle pour capturer les dépendances entre les images.
Modification proposée : Les auteurs remplacent les couches d'attention temporelle par des couches SSM Temporelles tout en laissant les couches spatiales (convolutions et attention spatiale) inchangées.
Mamba Bidirectionnel : Contrairement aux SSM standards qui sont intrinsèquement causaux (unidirectionnels), la couche temporelle proposée utilise un bloc Mamba bidirectionnel. Celui-ci consiste en deux branches parallèles :
- Une branche directe (forward) traitant les images du début à la fin.
- Une branche inverse (backward) traitant les images de la fin au début.
- Les sorties des deux branches sont additionnées avant une projection linéaire finale. Cela permet au modèle de capturer la dynamique temporelle dépendant à la fois du passé et du futur.
Balayage Sélectif (S6) : L'implémentation utilise le mécanisme de balayage sélectif présent dans Mamba. Ici, les paramètres régissant l'espace d'état ( $B$ , $C$ et le pas de discrétisation $\Delta$ ) dépendent de l'entrée. Cela permet au modèle d'écarter sélectivement les informations non pertinentes et de conserver les informations essentielles sur des périodes étendues, en adaptant la mise à jour de l'état en fonction du contenu de chaque image.
Complexité : En exploitant les SSM, l'allocation de mémoire et le temps de calcul pour les couches temporelles évoluent de manière linéaire ( $O(L)$ ) avec la longueur de la séquence, contrairement à la mise à l'échelle quadratique de l'attention.

3. Contributions Clés

Proposition Architecturale : L'article présente la première application de blocs Mamba bidirectionnels spécifiquement appliqués à l'axe temporel des modèles de diffusion vidéo pour la génération à long terme (≥256 images).
Analyse d'Efficacité : Il démontre que les couches temporelles basées sur les SSM peuvent atteindre des performances génératives comparables ou supérieures aux couches basées sur l'attention tout en réduisant considérablement les coûts computationnels (mémoire et temps d'inférence) pour les séquences longues.
Aperçus d'Ablation : L'étude fournit une analyse d'ablation détaillée montrant que :
- La bidirectionnalité est cruciale ; les SSM unidirectionnels sont moins performants que les bases basées sur l'attention.
- Le balayage sélectif est essentiel ; les SSM non sélectifs (comme S4D) sont nettement moins performants que les variantes sélectives pour capturer les dépendances temporelles sur de longues séquences.
Évaluation Complète : La méthode est évaluée sur plusieurs jeux de données (MineRL Navigate, GQN-Mazes, CARLA-Town01) et diverses tailles de modèles (allant de ~14M à ~913M de paramètres) et longueurs de séquence (16, 64 et 256 images).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données :

MineRL Navigate : 1 186 vidéos (environnement Minecraft).
GQN-Mazes : 108 200 vidéos (simulateur de labyrinthe 3D).
CARLA-Town01 : 508 vidéos (simulateur de conduite).

Principales conclusions :

Séquences Courtes (16–64 images) : Les modèles basés sur les SSM atteignent des performances génératives (mesurées par la Fréchet Video Distance, FVD) comparables aux modèles basés sur l'attention sous des contraintes de calcul identiques.
Séquences Longues (256 images) : Les modèles basés sur les SSM surpassent significativement les modèles basés sur l'attention. Sous des contraintes de mémoire et de temps identiques, les modèles SSM atteignent une FVD plus faible (meilleure qualité).
Efficacité des Ressources : Pour les séquences de 256 images, l'approche basée sur les SSM a démontré environ 1,56x plus de rapidité d'inférence et 1,56x moins d'utilisation de mémoire par rapport aux homologues basés sur l'attention de même taille.
Comportement de Mise à l'Échelle : Alors que la mémoire et le temps d'inférence pour les modèles d'attention augmentent de manière quadratique avec la longueur de la séquence, les modèles basés sur les SSM ne présentent qu'une augmentation linéaire.
Résultats d'Ablation : Sur le jeu de données MineRL de 256 images, le bloc complet de SSM à balayage sélectif bidirectionnel a atteint une FVD de 381, contre 458 pour un SSM non sélectif et 610 pour un SSM unidirectionnel.

5. Signification et Revendications

L'article affirme que l'utilisation des SSM comme extracteurs de caractéristiques temporelles permet d'obtenir une performance générative plus élevée pour un même coût de calcul par rapport aux méthodes basées sur l'attention, particulièrement pour les séquences de longue durée.

Accessibilité : En réduisant la barrière computationnelle pour la génération de vidéos à long terme, cette approche permet aux institutions disposant de ressources de calcul limitées de participer à la recherche de pointe en génération de vidéos.
Supériorité Architecturale : L'étude suggère que le choix de l'architecture temporelle est critique ; le simple remplacement de l'attention par un SSM naïf est insuffisant. La combinaison de la bidirectionnalité et des balayages sélectifs est nécessaire pour égaler ou dépasser les performances des mécanismes d'attention dans la génération de vidéos.
Potentiel Futur : Les auteurs notent que leur bloc SSM temporel est un "remplacement direct" (drop-in replacement) pour l'auto-attention temporelle. Cela implique qu'il peut être combiné avec d'autres stratégies existantes (par exemple, la diffusion latente, les pipelines en cascade ou la génération autorégressive) pour améliorer davantage la génération de séquences longues sans modifier la complexité sous-jacente de la couche de mélange temporel.

Les auteurs restent modestes quant aux limites, reconnaissant que leurs expériences étaient fixées à une résolution spatiale de 32×32 pour isoler les effets temporels, et que les métriques d'évaluation comme la FVD peuvent devenir moins fiables pour des séquences très longues (≥512 images) en raison du pré-entraînement de l'épine dorsale I3D sur des clips courts. Ils identifient le passage à des résolutions plus élevées et le développement de meilleurs protocoles d'évaluation à long horizon comme des travaux futurs nécessaires.