🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

Le document propose FuseMamba-VD, une architecture VideoMamba à double branche efficace avec une fusion de jeton de classe par porte qui atteint des performances de détection de violence de pointe sur plusieurs bancs d'essai en équilibrant efficacement la précision et l'efficacité computationnelle grâce à un squelette de modèle d'espace d'état.

Auteurs originaux : Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de repérer le déclenchement d'une bagarre sur une place bondée en utilisant les images d'une caméra de surveillance. C'est un travail difficile. Si vous regardez simplement une seule image fixe, vous pourriez voir deux personnes debout l'une à côté de l'autre, mais vous ne pouvez pas dire s'ils se font un câlin ou s'ils se battent. Si vous vous contentez d'observer le mouvement sans regarder les détails, vous pourriez manquer le geste précis qui transforme une bousculade en un coup de poing.

Ce document présente un nouveau programme informatique appelé FuseMamba-VD, conçu pour résoudre ce problème. Considérez-le comme un agent de sécurité hautement entraîné qui utilise une approche de « double cerveau » pour surveiller les caméras.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème des anciennes méthodes

Les programmes informatiques précédents essayaient de faire cela de deux manières, mais les deux présentaient des défauts :

La méthode « lente » (CNN) : Elles consistaient à prendre une photo toutes les quelques secondes. Elles étaient douées pour voir les détails, mais manquaient la longue histoire du début et de la fin d'une bagarre.
La méthode « coûteuse » (Transformers) : C'était comme essayer de lire chaque mot d'une bibliothèque entière à la fois pour comprendre une histoire. Elles étaient très intelligentes, mais nécessitaient tellement de puissance informatique qu'elles étaient lentes et coûteuses à exploiter sur des caméras du monde réel.

2. La nouvelle solution : Une équipe de deux personnes

Les auteurs ont construit un système avec deux « cerveaux » distincts (branches) travaillant simultanément, inspirés par un nouveau type de technologie efficace appelée Mamba (Modèles d'Espace d'État).

Le Cerveau A (Le Détective de Détails) : Cette branche examine la vidéo image par image, en se concentrant sur les détails spatiaux. Elle demande : « À quoi ressemblent les gens ? Leurs poings sont-ils serrés ? À quelle distance sont-ils ? » Elle donne la priorité à la forme et à l'apparence de la scène.
Le Cerveau B (Le Suiveur de Mouvement) : Cette branche regarde la vidéo comme un flux continu, en se concentrant sur la dynamique temporelle. Elle demande : « Comment bougent-ils ? La vitesse augmente-t-elle ? Y a-t-il une charge soudaine ? » Elle donne la priorité au mouvement et au rythme.

3. La recette secrète : La « Fusion par Porte »

Habituellement, on attendrait la toute fin pour laisser ces deux cerveaux communiquer entre eux. Mais FuseMamba-VD est différent. Il utilise un mécanisme appelé Fusion de Jeton de Classe par Porte (GCTF).

Imaginez que les deux cerveaux aient une conversation à chaque étape du processus pendant qu'ils regardent la vidéo.

Le « Détective de Détails » (Cerveau A) murmure des indices au « Suiveur de Mouvement » (Cerveau B) constamment.
Une porte spéciale (un interrupteur intelligent) décide de la quantité d'information à laisser passer à un instant donné. Si le mouvement est confus, la porte peut dire : « Écoute davantage les détails. » Si les détails sont flous, elle peut dire : « Concentre-toi sur le mouvement. »

Cette conversation continue, couche par couche, permet au système d'affiner sa compréhension constamment, plutôt que d'attendre la fin pour combiner les notes.

4. L'astuce du « Recadrage »

Avant même que les cerveaux ne commencent à regarder, le système possède un Module de Recadrage. Considérez cela comme un cadreur de caméra qui zoome sur les personnes dans la vidéo et élimine l'arrière-plan (comme les arbres, les voitures ou le ciel vide). Cela garantit que l'ordinateur ne gaspille pas d'énergie à regarder des choses qui ne sont pas des humains, ce qui le rend beaucoup plus rapide et précis pour repérer les interactions humaines.

5. Les résultats : Plus rapides et plus intelligents

Les auteurs ont testé ce nouveau système sur une vaste collection de vidéos de surveillance du monde réel (fusionnant quatre ensembles de données différents en un seul test géant) et sur un nouvel ensemble de données appelé DVD.

Précision : Il a battu tous les modèles précédents de « pointe » (state-of-the-art). Il était meilleur pour détecter la violence que les anciens poids lourds.
Efficacité : C'est la grande victoire. Le nouveau modèle est beaucoup plus léger. Il utilise moins de la moitié de la puissance informatique (FLOPs) et possède moins de « neurones » (paramètres) que son concurrent le plus proche, CUE-Net.
Vitesse : Parce qu'il est si efficace, il est environ 4,7 fois plus rapide sur du matériel de haute performance que le précédent meilleur modèle.

Résumé

En résumé, FuseMamba-VD est un détecteur de violence vidéo qui ne se contente pas de « regarder » des vidéos ; il dispose de deux experts spécialisés qui discutent constamment entre eux tout en zoomant sur l'action. Ce travail d'équipe permet de repérer les bagarres plus précisément qu'auparavant, tout en utilisant une fraction de la puissance informatique, ce qui en fait une solution pratique pour les caméras de surveillance du monde réel.

Résumé Technique : FuseMamba-VD

Problématique

La prolifération rapide des caméras de surveillance a généré un volume écrasant de données vidéo, rendant la surveillance humaine continue pour la détection de la violence impraticable et peu fiable. Bien que les approches existantes de l'apprentissage profond, telles que les réseaux de neurones convolutifs 3D (CNN) et les architectures basées sur les Transformers, aient montré un certain succès dans l'extraction de caractéristiques spatio-temporelles, elles font face à des limitations significatives. Les CNN 3D peinent à capturer les dépendances à longue portée, tandis que les Transformers induisent une complexité computationnelle quadratique par rapport à la longueur de la séquence, limitant ainsi leur extensibilité pour les vidéos de surveillance longues et à haute résolution. De plus, de nombreux jeux de données utilisés pour l'entraînement sont soit mis en scène (par exemple, des scènes de films), soit faiblement étiquetés, ne parvenant pas à représenter la complexité des scénarios de surveillance du monde réel.

Méthodologie

Les auteurs proposent FuseMamba-VD, une architecture efficace conçue pour la détection supervisée de la violence, qui exploite les modèles d'espace d'état (SSM - State-Space Models). L'innovation centrale réside dans une conception à double branche combinée à un mécanisme de Fusion de Jeton de Classe à Porte (GCTF - Gated Class Token Fusion).

1. Aperçu de l'architecture

Le modèle repose sur le squelette (backbone) VideoMamba, utilisant des modules d'espace d'état bidirectionnels. Il se compose de quatre éléments principaux :

Module de Recadrage (Cropping Module) : Pour concentrer les ressources de calcul sur les interactions humaines pertinentes, le système extrait les régions englobant toutes les personnes détectées dans chaque image, sur la base de l'observation que la violence implique généralement plusieurs individus.
Pipeline à Double Branche : Deux pipelines parallèles traitent l'entrée vidéo ( $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ) après la tokenisation en patchs spatio-temporels :
- Branche-1 (Balayage Spatial-Premier) : Les jetons sont réorganisés pour donner la priorité à la disposition spatiale au sein des images avant la concaténation à travers le temps. Cette branche est conçue pour capturer des indices spatiaux locaux fins.
- Branche-2 (Balayage Temporel-Premier) : Les jetons conservent leur ordre temporel naturel et sont empilés le long de la dimension spatiale. Cette branche se concentre sur les motifs de mouvement dynamiques et les dépendances temporelles globales.
- Les deux branches utilisent des poids pré-entraînés de VideoMamba et emploient un balayage bidirectionnel.

2. Fusion de Jeton de Classe à Porte (GCTF)

Un nouveau mécanisme de fusion continue est introduit pour intégrer l'information entre les deux branches. Contrairement aux approches de fusion tardive, le GCTF opère à chaque couche du réseau :

Chaque branche produit un Jeton de Classe ($CLS$) à chaque couche.
Un mécanisme de porte apprenable fusionne de manière adaptative le jeton $CLS$ de la branche spatiale ( $CLS^1$ ) dans le jeton $CLS$ de la branche temporelle ( $CLS^2$ ).
La fusion est définie par : $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ , où $\sigma'$ est un paramètre apprenable activé par une fonction sigmoïde.
Cela permet un raffinement progressif des représentations spatiales et temporelles sans s'engager prématurément vers l'une ou l'autre modalité au début du réseau.

3. Fusion Finale

À la couche finale, les jetons $CLS$ des deux branches sont concaténés et passés à travers une couche de projection entièrement connectée pour produire la probabilité de classification finale.

Principales Contributions

L'article expose trois contributions majeures :

Architecture à Double Branche basée sur l'Espace d'État : La première conception à double branche basée sur l'espace d'état pour la détection supervisée de la violence vidéo. Elle découple explicitement le raisonnement spatial et temporel tout en permettant une interaction sémantique continue via les jetons de classe, contrastant avec les modèles antérieurs qui reposent sur la fusion tardive ou des mécanismes d'attention lourds.
Fusion de Jeton de Classe à Porte (GCTF) : Un mécanisme de fusion continue, par couche, qui intègre de manière adaptative les jetons de classe spécifiques à chaque branche. Cela permet un alignement progressif des caractéristiques et empêche l'engagement précoce vers une seule branche.
Benchmark de Surveillance Intégré et Efficacité : Les auteurs ont constitué un nouveau benchmark en fusionnant quatre jeux de données open-source fortement étiquetés (RWF-2000, RLVS, SURV et VioPeru) avec des contrôles stricts pour éviter la fuite de données entre l'entraînement et les tests. Ils démontrent que FuseMamba-VD atteint des performances de pointe tout en réduisant considérablement les paramètres et les FLOPs par rapport aux travaux précédents.

Résultats Expérimentaux

Le modèle a été évalué sur le nouveau benchmark combiné et sur le jeu de données DVD récemment introduit.

Benchmark Combiné : FuseMamba-VD a atteint une précision Top-1 de 95,85 %, surpassant les modèles de référence tels que SlowFast, VideoSwin, UniFormer-V2, CUE-Net et diverses variantes de VideoMamba. Il a obtenu des scores F1 de 95,89 % (violent) et 95,81 % (non violent).
Jeu de données DVD : Sur ce jeu de données plus complexe présentant une variabilité du monde réel et un déséquilibre des classes, le modèle a atteint 74,13 % de précision Top-1, surpassant tous les modèles de référence (qui ont obtenu $\le$ 71 %).
Efficacité : Malgré une performance supérieure à CUE-Net (le concurrent le plus proche en termes de précision), FuseMamba-VD utilise nettement moins de ressources :
- Paramètres : 154,3M contre 354M (CUE-Net).
- FLOPs : 1912 GFLOPs contre 5906 GFLOPs.
- Vitesse d'inférence : Sur un GPU NVIDIA H100, FuseMamba-VD atteint 343,53 FPS, soit une accélération d'environ 4,7 $\times$ par rapport à CUE-Net (72,64 FPS).
Études d'Ablation : Les expériences ont confirmé que la conception à double branche est supérieure aux variantes à branche unique. De plus, les connexions latérales continues à chaque bloc ont surpassé les configurations où les connexions étaient appliquées uniquement à des couches spécifiques (début, milieu ou fin).

Signification et Revendications

L'article affirme que FuseMamba-VD offre un équilibre optimal entre précision et efficacité computationnelle, démontrant la promesse des modèles d'espace d'état (SSM) pour une détection de la violence vidéo évolutive et économiquement efficiente. En séparant efficacement le raisonnement spatial et temporel tout en maintenant une interaction continue grâce à un mécanisme de porte, le modèle améliore la sensibilité aux différences de mouvement subtiles indicatrices de la violence. Les auteurs positionnent ce travail comme une étape vers des applications de surveillance concrètes dans le monde réel, où la haute précision et le faible coût computationnel sont critiques. Le code et les modèles pré-entraînés sont mis à la disposition de la communauté.