🤖 AI

VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

Le document présente VideoSEMA, un modèle de classification vidéo évolutif et efficace qui combine un mécanisme d'attention espace-temps fractionné de type Mamba avec une attention temporelle softmax, démontrant une précision et une robustesse de résolution supérieures par rapport aux modèles Vision Transformer et Mamba existants sur les benchmarks K400 et SSv2.

Auteurs originaux : Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre un film. Vous ne pouvez pas simplement lui montrer une photo unique ; vous devez lui montrer un flux entier d'images changeant au fil du temps. C'est le monde de la compréhension vidéo, une branche de l'informatique où les machines apprennent à reconnaître des actions, comme quelqu'un qui épluche une pomme de terre ou une voiture qui tourne un virage. Pendant longtemps, la meilleure façon de faire cela était d'utiliser un cerveau géant et affamé appelé Transformer. Considérez un Transformer comme un bibliothécaire super organisé qui lit chaque page de chaque livre de la bibliothèque en même temps pour trouver des connexions. Il est incroyablement intelligent, mais il est submergé et devient lent lorsque la bibliothèque (la vidéo) devient trop grande ou que les livres (les images) sont trop détaillés.

Pour corrir cela, des scientifiques ont récemment inventé un nouveau type de cerveau appelé Mamba. Si le Transformer est un bibliothécaire qui lit tout en même temps, Mamba est un détective qui descend un couloir, se souvenant des indices au fur et à mesure qu'il avance, ce qui est beaucoup plus rapide. Cependant, même Mamba peut avoir du mal lorsque la vidéo est en haute définition ou très longue. La grande question pour les chercheurs est la suivante : pouvons-nous construire un cerveau vidéo aussi intelligent que les Transformers lourds mais aussi rapide et efficace que les nouveaux détectives Mamba ? C'est exactement le puzzle que le papier « VideoSEMA » tente de résoudre.

Les auteurs de ce papier, travaillant avec des chercheurs de Qualcomm AI Research et de l'Université de Californie, Irvine, ont construit un nouveau modèle appelé VideoSEMA. Ils n'ont pas seulement jeté un nouvel ingrédient dans la marmite ; ils ont créé un système divisé ingénieux. Imaginez regarder un film où vous avez deux façons différentes de prêter attention. D'abord, vous regardez une seule image (une photo fixe) et vous utilisez un œil spécial de type « Mamba » appelé SEMA. Cet œil est assez intelligent pour regarder une petite fenêtre de détails (comme la texture de la peau d'une pomme de terre) tout en prenant une moyenne globale rapide de toute la scène, le tout sans se fatiguer. Ensuite, pour comprendre comment l'histoire évolue, le modèle utilise une attention « douce » standard pour observer comment les choses changent d'une image à l'autre.

Le papier démontre que cette approche divisée n'est pas seulement un coup de chance ; les auteurs ont en fait prouvé mathématiquement que, sous certaines conditions, cette méthode divisée est aussi bonne que de regarder l'intégralité de la vidéo d'un seul coup. Lorsqu'ils ont testé VideoSEMA sur des jeux de données vidéo célèbres comme K400 (qui contient 400 types d'actions humaines) et SSv2 (qui se concentre sur des mouvements fins et complexes), les résultats ont été impressionnants. Sur le jeu de données K400, VideoSEMA a battu des modèles beaucoup plus grands et plus lourds, y compris d'autres modèles basés sur Mamba et de gros Transformers, tout en utilisant moins de ressources informatiques. Par exemple, à une résolution de 16 × 224², VideoSEMA a atteint une précision de 82,4 %, battant le précédent modèle Mamba (VideoMamba) qui affichait 80,8 %, et ce, malgré un nombre de paramètres inférieur.

L'une des découvertes les plus excitantes est la manière dont VideoSEMA gère les vidéos haute définition. Les chercheurs ont testé ce qui se passe lorsqu'ils nourrissent le modèle avec des vidéos ayant des résolutions beaucoup plus élevées, passant de 224² à 1024² (un bond énorme en termes de détails), sans réentraîner le modèle. L'ancien modèle Mamba (VideoMamba) s'est effondré brutalement, sa précision chutant de 80,8 % à 40,8 %. En revanche, VideoSEMA a bien mieux résisté, ne tombant qu'à 54,6 %. Cela suggère que VideoSEMA est beaucoup plus robuste lorsque les détails visuels deviennent complexes. Ils ont également constaté que sur le jeu de données SSv2, VideoSEMA pouvait obtenir de meilleurs résultats avec seulement 8 images de vidéo que d'autres modèles n'en avaient besoin pour 16 images, prouvant ainsi qu'il est très efficace pour saisir rapidement les bonnes informations.

Le papier écarte également certaines idées. Ils ont testé l'utilisation d'une convolution 3D simple (une façon standard de regarder la vidéo) et un bloc Mamba pur pour la partie temporelle de la vidéo, mais ont constaté que ni l'un ni l'autre ne fonctionnaient aussi bien qu'un mécanisme d'attention standard pour la dimension temporelle. Ils ont montré que si Mamba est excellent pour l'espace, il n'était pas le meilleur choix pour gérer la dimension du temps dans cette configuration spécifique. Les auteurs précisent avec prudence que, bien que leur modèle soit très prometteur, il est encore un travail en cours. Ils suggèrent que pour des vidéos encore plus longues, ils pourraient devoir ajouter une attention « éparse » ou « dilatée » à l'avenir pour gérer le temps supplémentaire sans ralentir. Mais pour l'instant, VideoSEMA est une nouvelle façon solide, efficace et évolutive pour les ordinateurs de comprendre le monde en mouvement qui nous entoure.

Résumé technique de VideoSEMA : Une attention de type Mamba, scalable et efficace, pour la compréhension vidéo

Énoncé du problème
Comprendre les motifs spatiotemporels complexes dans les vidéos est un défi fondamental en vision par ordinateur, crucial pour des applications allant de la classification d'actions à la modélisation du monde pour les systèmes autonomes. Bien que les récentes avancées exploitant les architectures basées sur les Transformers et les grands modèles de fondation aient atteint des performances de pointe, elles reposent principalement sur des backbones Vision Transformer (ViT). Ces modèles engendrent des coûts de calcul prohibitifs pour les entrées vidéo de grande taille en raison de la complexité quadratique de l'attention spatio-temporelle complète. Bien que les modèles d'Espace d'États (SSM) comme Mamba aient été explorés pour réduire les coûts pour les séquences longues, et que l'attention linéaire offre une autre voie d'efficacité, il reste un besoin pour un backbone capable de capturer efficacement les caractéristiques spatiales et temporelles sans le lourd fardeau computationnel d'une attention conjointe complète ou les limitations des implémentations Mamba existantes dans les contextes vidéo.

Méthodologie : VideoSEMA
Les auteurs proposent VideoSEMA, un nouveau modèle de classification vidéo basé sur un cadre d'attention espace-temps scindé (split space-time attention framework). L'architecture découple le traitement spatial et temporel pour atteindre scalabilité et efficacité :

Traitement Spatial (Bloc SEMA) : Au lieu d'une attention globale complète ou d'une récurrence Mamba standard, le modèle utilise un bloc d'attention de type Mamba (SEMA) pour les dimensions spatiales. SEMA imite la propriété d'oubli exponentiel de Mamba en combinant une attention par fenêtre locale avec une opération d'moyennage global. Cette conception permet au modèle d'accéder efficacement à l'information globale tout en maintenant une complexité computationnelle linéaire par rapport à la dimension spatiale ( $O(N)$ ), évitant ainsi le coût en $O(N^2)$ de l'attention softmax complète.
Traitement Temporel : Le modèle applique une attention temporelle softmax standard à travers la séquence de frames. Les auteurs soutiennent que pour des longueurs de vidéo modérées (par exemple, 16 à 32 frames), l'attention softmax globale dans la dimension temporelle est abordable en termes de calcul et efficace, rendant inutile le recours à des approximations linéaires dans le temps.
Architecture : Le modèle tokenise les vidéos d'entrée via des convolutions 3D, ajoute un token de classificateur apprenable, ainsi que des embeddings positionnels et temporels. Le traitement central implique l'alternance de couches de SEMA spatiale et d'attention temporelle, suivies d'un sous-échantillonnage hiérarchique via des couches convolutionnelles.
Équivalence Théorique : L'article fournit une preuve théorique démontrant que, sous des conditions de rang spécifiques, cette attention espace-temps scindée est mathématiquement équivalente à l'attention espace-temps complète. Plus précisément, l'attention scindée agit comme une décomposition marginale-conditionnelle exacte de la matrice d'attention complète, à condition que les matrices de score temporelles et spatiales satisfassent certains contraintes de rang par rapport aux dimensions de tête du modèle.

Contributions Clés

Nouvelle Architecture : Développement du premier modèle vidéo utilisant un backbone d'image scalable et efficace de type Mamba (SEMA) au sein d'un cadre d'attention espace-temps scindé.
Insight Théorique : Une preuve établissant l'équivalence entre l'attention espace-temps scindée et l'attention espace-temps complète sous des conditions de rang spécifiques, validant la solidité théorique de la décomposition.
Efficacité et Performance : Démonstration que VideoSEMA surpasse les modèles Vision Transformer et les modèles basés sur Mamba plus lourds sur les benchmarks standards, tout en maintenant un nombre de paramètres et des FLOPs nettement inférieurs.
Robustesse de la Résolution : Preuve que VideoSEMA se dégrade de manière beaucoup plus progressive que VideoMamba lorsque la résolution d'entrée augmente (de $224^2$ à $1024^2$ ) sans ré-entraînement (fine-tuning).

Résultats Expérimentaux
Le modèle a été évalué sur les jeux de données Kinetics-400 (K400) et Something-Something v2 (SSv2) :

Performance sur K400 : VideoSEMA atteint une précision Top-1 et Top-5 supérieure par rapport aux modèles de tailles de paramètres et de FLOPs comparables ou plus grands. Par exemple, à une résolution de $16 \times 224^2$ , VideoSEMA (31M paramètres) atteint 82,4 % de précision Top-1, surpassant VideoMamba-S (26M paramètres, 80,8 %) et dépassant largement des modèles plus grands comme TimeSformer-L (121M paramètres, 80,7 %).
Performance sur SSv2 : VideoSEMA mène la précision Top-1 parmi les modèles de tailles de paramètres similaires. Notamment, il surpasse VideoMamba-S d'environ 2 % en utilisant seulement 8 frames et dépasse VideoMAE de 0,5 % en utilisant 16 frames.
Études d'Ablation : Les expériences confirment que la combinaison de SEMA pour l'espace et de l'attention softmax pour le temps offre le meilleur compromis entre précision et efficacité, surpassant les variantes utilisant des convolutions 3D ou Mamba pour le traitement temporel.
Scalabilité : Testé sur des résolutions plus élevées ( $512^2$ et $1024^2$ ) sans ré-entraînement, VideoSEMA maintient sa robustesse, tandis que VideoMamba subit une chute drastique de précision (tombant par exemple à 40,8 % à $1024^2$ contre 54,6 % pour VideoSEMA).

Signification et Revendications
L'article affirme que VideoSEMA représente une étape importante vers une compréhension vidéo efficace en adaptant avec succès les principes de type Mamba au domaine spatial tout en conservant une modélisation temporelle efficace. Les auteurs soulignent qu'il s'agit du premier travail explorant spécifiquement des backbones de type Mamba pour les applications vidéo. La capacité du modèle à surpasser des architectures plus grandes et plus coûteuses en calcul suggère que l'approche espace-temps scindée, ancrée dans l'équivalence théorique avec l'attention complète, offre une alternative hautement efficace pour capturer les dépendances spatiotemporelles. De plus, la robustesse du modèle aux entrées de haute résolution sans ré-entraînement souligne son potentiel de déploiement scalable dans des scénarios réels où la qualité vidéo varie. Les auteurs suggèrent que des travaux futurs pourraient étendre ce cadre aux vidéos plus longues en utilisant une attention temporelle dilatée ou parcimonieuse.

Résumé technique de VideoSEMA : Une attention de type Mamba, scalable et efficace, pour la compréhension vidéo

Articles similaires