🤖 AI

CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

Le papier présente CoLoRSMamba, une architecture multimodale directionnelle vidéo-vers-audio qui utilise des mécanismes LoRA conditionnels guidés par le token CLS pour adapter dynamiquement les paramètres de l'Audiomamba aux dynamiques vidéo, permettant ainsi une détection de violence supervisée plus précise et efficace que les modèles existants sur des ensembles de données filtrés.

Auteurs originaux : Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Détective à Deux Sens : CoLoRSMamba

Imaginez que vous essayez de repérer une bagarre dans une vidéo de surveillance. C'est souvent difficile ! Parfois, la caméra est floue, les gens sont cachés derrière des foules, ou l'action est trop rapide. C'est là que le son pourrait aider : on entendrait les cris, les coups ou les bris de verre.

Mais il y a un problème : dans la vraie vie, le son est souvent bruyant (une sirène de police qui passe, de la musique de fond) ou trompeur. Si on fait confiance aveuglément au son, l'ordinateur pourrait se tromper en pensant qu'il y a une bagarre alors qu'il n'y en a pas.

Les chercheurs de l'Université Queen Mary de Londres ont créé un nouveau système intelligent appelé CoLoRSMamba. Voici comment il fonctionne, avec des images simples.

1. Le Duo : L'Œil (Vidéo) et l'Oreille (Audio)

Le système utilise deux "cerveaux" (des modèles d'intelligence artificielle) :

L'Œil (VideoMamba) : Il regarde la vidéo. C'est le chef d'orchestre, car la violence se voit d'abord (mouvements, coups, postures).
L'Oreille (AudioMamba) : Il écoute le son. C'est le partenaire, mais il est un peu plus fragile car le son peut être faux.

L'idée géniale : Au lieu de simplement mélanger les deux informations à la fin (comme mettre du sel et du sucre dans un gâteau sans savoir lequel domine), CoLoRSMamba laisse l'Œil guider l'Oreille en temps réel.

2. La Magie du "Volant de Direction" (Le mécanisme CoLoRS)

C'est ici que la technologie devient fascinante. Imaginez que l'Oreille est une voiture qui conduit toute seule, mais qui a tendance à faire des erreurs sur des routes bruyantes.

Le problème des anciennes méthodes : Elles ajustaient simplement le volume du son ou changeaient les couleurs de l'image après coup. C'est comme essayer de corriger la trajectoire de la voiture en poussant sur le pare-chocs.
La solution CoLoRSMamba : Ils ont installé un volant de direction intelligent directement dans le moteur de l'Oreille.
- À chaque instant, l'Œil (la vidéo) regarde la scène.
- Si l'Œil voit une bagarre claire, il dit à l'Oreille : "Écoute bien, c'est important !".
- Si l'Œil voit une scène calme mais que l'Oreille entend un bruit fort (comme un coup de feu lointain qui n'a rien à voir), l'Œil dit : "Attends, calme-toi, ce bruit ne correspond pas à ce que je vois".

Ce "volant" s'appelle LoRA conditionnel. C'est une petite pièce mécanique très légère qui permet à la vidéo de modifier comment l'ordinateur écoute, sans avoir besoin de recalculer tout le système à chaque seconde. C'est comme si l'œil ajustait la sensibilité de l'oreille en fonction de ce qu'il voit.

3. Le Tri Sélectif (Pourquoi les données sont importantes)

Les chercheurs ont réalisé quelque chose d'important : beaucoup de vidéos de bagarres publiques ont un son qui ne sert à rien (musique de fond, voix off, silence).

Ils ont donc fait un travail de nettoyage (comme un chef qui trie ses ingrédients avant de cuisiner). Ils ont pris des milliers de vidéos et n'ont gardé que celles où le son était vraiment lié à l'action visible. Cela a permis d'entraîner leur système sur des données "propres", évitant de confondre l'ordinateur avec des bruits inutiles.

4. Les Résultats : Plus rapide et plus malin

Le résultat ? Ce système est un champion :

Précision : Il détecte les violences mieux que n'importe quel autre système actuel (plus de 88% de réussite sur certaines bases de données).
Efficacité : C'est comme une voiture de sport qui consomme moins de carburant. Il est plus léger et plus rapide que les géants de l'intelligence artificielle qui existent aujourd'hui, tout en étant plus précis.

En résumé

CoLoRSMamba, c'est comme avoir un détective très expérimenté (la vidéo) qui tient la main d'un assistant très sensible (le son).

Si le détective voit une bagarre, il dit à l'assistant : "Prête-toi, c'est le moment !".
Si le détective voit que c'est calme, il dit à l'assistant : "Ne t'inquiète pas pour ce bruit, ce n'est pas grave".

Grâce à cette collaboration intelligente, le système ne se fait plus piéger par les faux bruits et détecte la violence réelle beaucoup plus vite et plus sûrement, ce qui pourrait aider à sécuriser les lieux publics et à modérer les contenus en ligne.

1. Problématique et Contexte

La détection automatique de la violence est une tâche critique pour la sécurité publique et la surveillance. Cependant, les approches actuelles présentent plusieurs limites :

Ambiguïté visuelle : Dans des scènes réelles (vidéos de surveillance), les interactions violentes peuvent être petites, floues, partiellement occluses ou noyées dans une foule, rendant la détection purement visuelle difficile.
Asymétrie multimodale : Bien que l'audio (cris, bris de verre, coups) soit informatif, les paysages sonores réels sont souvent bruyants, silencieux ou déconnectés de la scène visuelle. Une fusion naïve peut dégrader les performances si l'audio est trompeur.
Supervision faible : De nombreuses méthodes existantes utilisent une supervision faible (étiquettes au niveau de la vidéo entière), ce qui est moins précis que la supervision forte (étiquettes au niveau des clips temporels).
Biais des benchmarks : Les ensembles de données existants contiennent souvent des clips avec de l'audio manquant ou non pertinent, faussant l'évaluation des modèles multimodaux.

L'objectif est de concevoir un modèle qui exploite l'audio de manière dynamique et conditionnelle, en utilisant le contexte visuel comme ancre principale pour guider l'interprétation de l'audio.

2. Méthodologie : CoLoRSMamba

Les auteurs proposent CoLoRSMamba, une architecture multimodale directionnelle (Vidéo $\to$ Audio) basée sur des modèles d'espace d'état sélectifs (Mamba).

Architecture de base

Ancrage Visuel : Le modèle utilise VideoMamba comme ancre sémantique. À chaque couche, le token CLS (classification) de VideoMamba est extrait.
Branche Audio Guidée : Le modèle utilise AudioMamba pour traiter le flux audio. Contrairement aux architectures symétriques classiques, AudioMamba n'est pas traité de manière indépendante.

Mécanisme Clé : Conditional LoRA Steering (CoLoRS)

L'innovation centrale réside dans la façon dont le contexte visuel module l'audio. Au lieu d'appliquer une attention croisée coûteuse au niveau des tokens ou de fusionner simplement les caractéristiques, les auteurs proposent un LoRA (Low-Rank Adaptation) conditionnel au niveau de l'opérateur :

Conditionnement des Paramètres SSM : Dans Mamba, les paramètres sélectifs de l'espace d'état ( $\Delta, B, C$ ) déterminent la dynamique temporelle (comment l'état évolue, quels inputs sont admis).
Mise à jour Dynamique : Le token CLS de la vidéo génère un vecteur de modulation par canal et une porte de stabilisation (stabilization gate).
Application : Ces signaux ajustent dynamiquement les projections de rang faible (LoRA) qui génèrent les paramètres $\Delta, B, C$ $Δ, B, C$ de AudioMamba.
- Cela permet au contexte visuel de redéfinir la dynamique temporelle de l'audio à chaque couche (par exemple, ajuster la vitesse de mise à jour de l'état ou l'attention aux fréquences) sans recalculer d'attention croisée token-à-token.
- La porte de stabilisation permet de réduire l'influence de l'audio si le signal visuel est plus fiable, évitant ainsi les erreurs dues à un bruit audio.

Objectif d'Entraînement

Le modèle est entraîné avec une double perte :

Classification Binaire : Une perte d'entropie croisée standard pour la détection de violence (Violent/Non-violent).
Alignement AV-InfoNCE : Une perte contrastive symétrique qui aligne les embeddings des clips audio et vidéo correspondants dans un espace partagé, renforçant la cohérence multimodale.

3. Contributions Principales

Premier Détecteur de Violence Multimodal Supervisé Fort basé sur Mamba : Introduction d'une architecture directionnelle où la vidéo guide l'audio via un mécanisme de steering conditionnel.
Conditionnement Opérateur-Level : Une première utilisation du LoRA conditionnel par l'entrée (via le token CLS vidéo) pour moduler directement les générateurs de paramètres des modèles SSM sélectifs ( $\Delta, B, C$ ), permettant un contrôle fin de la dynamique audio par le visuel.
Curration Rigoureuse des Données : Création de sous-ensembles filtrés pour les datasets NTU-CCTV et DVD. Les auteurs appliquent un protocole strict pour ne conserver que les clips contenant un audio pertinent et synchronisé, éliminant les biais d'évaluation liés aux pistes audio manquantes ou hors-scène.

4. Résultats Expérimentaux

Les expériences ont été menées sur les sous-ensembles filtrés de NTU-CCTV et DVD, comparant CoLoRSMamba à des modèles unimodaux (Audio-only, Video-only) et multimodaux (Transformers, CNN, autres Mamba).

Performance :
- NTU-CCTV : 88,63 % de précision / 86,24 % de F1-V (Violent).
- DVD : 75,77 % de précision / 72,94 % de F1-V.
- CoLoRSMamba surpasse tous les baselines, y compris les modèles multimodaux avancés comme LAVISH et MBT, ainsi que les modèles unimodaux forts comme DBVideoMamba.
Efficacité (Trade-off Précision/Coût) :
- Avec 158 M de paramètres et 1,81 GFLOPs, le modèle bat des architectures plus lourdes (ex: LAVISH avec 238 M de paramètres) tout en offrant une meilleure précision.
- Il offre un excellent compromis pour le déploiement sur des réseaux de caméras.
Analyse de l'Apport de l'Audio :
- L'analyse des "flips" de prédiction montre que l'audio aide à corriger 2,67 fois plus d'erreurs visuelles qu'il n'en introduit.
- L'audio est particulièrement efficace pour réduire les faux positifs (distinguer des mouvements animés d'une vraie violence) lorsque le visuel est ambigu.

5. Signification et Impact

Ce travail démontre que pour la détection de violence, une fusion multimodale asymétrique et dirigée est supérieure aux approches symétriques.

Robustesse : En conditionnant les paramètres internes du modèle audio (et non juste ses sorties), le système s'adapte dynamiquement à la fiabilité du signal audio par rapport au visuel.
Efficacité : L'utilisation de LoRA conditionnel permet d'obtenir des gains significatifs sans le coût computationnel massif de l'attention croisée dense.
Reproductibilité et Équité : La méthodologie de filtrage des datasets proposée établit un nouveau standard pour l'évaluation équitable des modèles multimodaux, évitant de pénaliser les modèles sur des données bruyantes ou non pertinentes.

En conclusion, CoLoRSMamba propose une nouvelle voie pour l'intégration multimodale dans les modèles d'espace d'état, prouvant que guider un flux secondaire (audio) par un flux primaire (vidéo) au niveau des opérateurs internes est une stratégie clé pour les applications de sécurité critiques.