No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection

Le papier présente LAVIDA, un cadre de détection d'anomalies vidéo en zéro-shot qui utilise un échantillonneur d'exposition aux anomalies et un modèle de langage multimodal pour atteindre des performances de pointe sans aucun entraînement sur des données réelles d'anomalies.

L'essentiel

🕵️‍♂️ Le Problème : Le Détective qui a peur de l'inconnu

Imaginez que vous embauchez un détective privé pour surveiller une ville et repérer les crimes.

• L'approche traditionnelle : Vous lui montrez 1000 vidéos de vols à l'arraché et de bagarres dans un parc spécifique. Il apprend à reconnaître ces scènes précises.
• Le problème : Si un jour, quelqu'un lance une bombe dans un supermarché ou si un robot commence à danser sur la place publique (des choses qu'il n'a jamais vues), votre détective est perdu. Il dit : "Je ne connais pas ça, ce n'est pas dans mon manuel !" C'est ce qu'on appelle un modèle "fermé". Il est excellent dans son coin, mais incapable de s'adapter au monde réel, imprévisible.

💡 La Solution : LAVIDA, le Détective "Super-Intelligent"

Les auteurs de ce papier ont créé LAVIDA. Au lieu d'entraîner le détective avec des vidéos de crimes réels (qui sont rares et difficiles à trouver), ils ont utilisé une astuce géniale basée sur l'intelligence artificielle moderne (les grands modèles de langage ou MLLM).

Voici comment ça marche, étape par étape, avec des analogies :

1. L'Entraînement "Fictif" (Le Sampler d'Exposition)

Au lieu de montrer des vrais crimes, LAVIDA utilise des vidéos de la vie quotidienne (comme des vidéos d'animaux, de voitures, de parcs) et joue un jeu de "ce n'est pas normal".

• L'analogie : Imaginez que vous prenez une vidéo d'un chien qui court. Normalement, c'est innocent. Mais le système dit : "Et si ce chien était un criminel ? Et si c'était un voleur ?"
• Il mélange des éléments aléatoires (un perroquet ici, une voiture là) et demande au modèle : "Trouve l'anomalie !"
• Le but : Cela force le cerveau de l'IA à apprendre à repérer ce qui sort du lot, peu importe ce que c'est, sans jamais avoir vu un vrai crime. C'est comme apprendre à un enfant à repérer un intrus dans une foule en lui montrant des photos de chats, de voitures et de fruits, en lui disant "Trouve celui qui ne devrait pas être là".

2. Le Cerveau qui Comprend le Monde (Le MLLM)

LAVIDA utilise un "cerveau" très puissant (un Grand Modèle de Langage Multimodal) qui a lu presque tout Internet.

• L'analogie : Ce cerveau sait que "se battre" est mauvais, que "une explosion" est dangereuse, et que "un éléphant dans un bureau" est bizarre.
• Quand il regarde une vidéo, il ne se contente pas de voir des pixels. Il comprend le sens. Si un homme court dans un couloir, c'est normal. Si un homme court avec un couteau, c'est une menace. Le modèle comprend le contexte, même s'il n'a jamais vu cette scène précise avant.

3. Le Filtre Anti-Bruit (La Compression de Tokens)

Les vidéos sont énormes et contiennent beaucoup de "bruit" (le ciel, les murs, les arbres qui bougent). Regarder chaque pixel serait trop lent et fatiguant pour l'ordinateur.

• L'analogie : Imaginez que vous devez trouver une aiguille dans une botte de foin. Au lieu de regarder chaque brin de foin, LAVIDA utilise un aimant spécial (l'Attention Inverse) qui attire uniquement l'aiguille et repousse le foin.
• Il identifie automatiquement les zones "ennuyeuses" (le fond) et les supprime de son analyse pour ne garder que ce qui est important. Cela rend le système très rapide et économe en énergie.

4. La Loupe Double (Détection par Image et par Pixel)

Une fois que le système a repéré qu'il y a un problème, il doit dire exactement où et quand.

• L'analogie : C'est comme un détective qui dit deux choses :
  1. "Il y a un problème dans cette vidéo !" (Niveau image).
  2. "Le problème est exactement sur ce visage, à cette seconde précise !" (Niveau pixel).
• LAVIDA fait les deux en même temps grâce à une technologie inspirée des outils de segmentation d'images (comme SAM).

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Ce qui est fou avec LAVIDA, c'est qu'il a été entraîné sans aucune vidéo de crime réel.

• Il a appris uniquement sur des données "fictives" et des vidéos normales.
• Pourtant, quand on l'a testé sur de vraies vidéos de crimes, de bagarres ou d'accidents (qu'il n'avait jamais vues), il a battu tous les autres systèmes, même ceux qui avaient été entraînés sur des milliers de vidéos de crimes.

En résumé :
LAVIDA est comme un détective qui n'a jamais vu un crime, mais qui a une telle compréhension du monde et de la logique humaine qu'il peut immédiatement dire : "Attendez, cette situation est bizarre et dangereuse, même si je ne connais pas le nom de ce crime."

C'est une avancée majeure pour la sécurité, car cela permet de détecter n'importe quel danger, n'importe où, sans avoir besoin de l'avoir vu auparavant.

Résumé technique

1. Problématique et Contexte

La détection d'anomalies vidéo (VAD - Video Anomaly Detection) traditionnelle repose sur des hypothèses restrictives : des scénarios statiques, des catégories d'anomalies fermées (connues à l'avance) et des distributions de données stationnaires. Ces méthodes échouent souvent dans des environnements dynamiques et ouverts où les scènes évoluent et où de nouveaux types d'anomalies apparaissent.

Les défis majeurs identifiés par les auteurs sont :

• Manque de diversité des données : Les jeux de données VAD existants sont limités en termes de scénarios et de types d'anomalies, ce qui empêche une généralisation efficace vers des mondes ouverts (open-world).
• Sémantique contextuelle : La signification d'une "anomalie" dépend du contexte (ex: courir dans un parc est normal, mais dans une banque est suspect). Les modèles actuels manquent de compréhension sémantique profonde pour adapter la détection dynamiquement.
• Rareté spatio-temporelle : Les anomalies occupent souvent de très petites zones spatiales ou temporelles, noyées dans un fond visuel redondant, augmentant les coûts de calcul et diluant le signal d'apprentissage.
• Dépendance aux données réelles : La plupart des méthodes nécessitent des données d'anomalies réelles pour l'entraînement, ce qui est difficile à obtenir en raison de la rareté et de la sensibilité de ces événements.

2. Méthodologie : Le Framework LAVIDA

Les auteurs proposent LAVIDA (LLM-Assisted VIdeo Anomaly Detection Approach), un cadre de détection d'anomalies vidéo en zero-shot (sans données d'entraînement VAD réelles) qui exploite les grands modèles de langage multimodaux (MLLM).

Le framework se compose de cinq composants clés :

A. Échantillonneur d'Exposition aux Anomalies (Anomaly Exposure Sampler)

C'est l'innovation centrale pour contourner le manque de données VAD.

• Principe : Au lieu d'utiliser des vidéos d'anomalies réelles, le modèle est entraîné sur des jeux de données de segmentation sémantique (contenant des objets divers comme des animaux, des véhicules, etc.).
• Transformation : Le système transforme ces objets normaux en "pseudo-anomalies". Il sélectionne aléatoirement des catégories d'objets d'autres échantillons pour créer un ensemble de catégories "irrélevantes".
• Logique : Un échantillon est étiqueté comme "anomalie" si l'objet visible correspond à une catégorie spécifique (ou un mélange de vraies et fausses catégories) et comme "normal" s'il ne correspond à aucune. Cela force le modèle à apprendre à distinguer les anomalies potentielles sans jamais voir de vraie anomalie criminelle ou dangereuse durant l'entraînement.

B. Compression de Tokens par Attention Inverse (Token Compression)

Pour gérer la rareté des anomalies et réduire le coût computationnel des MLLM :

• Identification du fond : Les tokens visuels correspondant au fond (arrière-plan) sont identifiés par leur densité locale élevée et leur similarité de features.
• Attention Inverse : Un mécanisme d'attention inverse est appliqué. Au lieu de se concentrer sur les tokens du fond, le modèle pondère les tokens dont les caractéristiques sont les plus dissimilaires par rapport au fond.
• Résultat : Cela permet de compresser les tokens visuels en ne conservant que les régions suspectes (les anomalies potentielles), réduisant ainsi la charge de calcul et améliorant la focalisation du modèle.

C. Extraction de Sémantique par MLLM

• Le modèle utilise un MLLM (basé sur des architectures comme LISA) pour comprendre la sémantique profonde des anomalies.
• Un token spécial <SEG> est ajouté au vocabulaire. Le prompt demande au modèle de trouver l'anomalie parmi une liste de catégories possibles.
• L'embedding de ce token <SEG> est extrait pour servir de représentation sémantique riche de l'anomalie, permettant au modèle de comprendre le contexte (ex: "une explosion" dans un contexte urbain vs rural).

D. Projecteur Sémantique Multi-Échelle

• Pour combiner la compréhension globale (vidéo) et locale (image), un projecteur fusionne les features sémantiques du MLLM (niveau vidéo) avec les features visuelles locales (niveau image).
• Il utilise une architecture de type Q-Former (inspirée de SAM) pour mettre à jour mutuellement les requêtes apprises (learnable queries) et les features extraites, générant des features projetées spécifiques à chaque image.

E. Décodeur de Masque Multi-Niveaux

• Basé sur SAM2 (Segment Anything Model 2), ce décodeur produit deux sorties simultanées :
  1. Score au niveau image (Frame-level) : Confiance de la présence d'une anomalie dans l'image.
  2. Score au niveau pixel (Pixel-level) : Localisation précise de l'anomalie (masque de segmentation).

3. Contributions Clés

1. Framework Zero-Shot End-to-End : LAVIDA est le premier cadre capable de détecter des anomalies dans des scénarios totalement nouveaux sans utiliser aucune donnée d'entraînement VAD réelle.
2. Stratégie d'Exposition aux Anomalies : Une méthode novatrice transformant des données de segmentation sémantique en données d'entraînement pour anomalies, éliminant la dépendance aux données rares d'anomalies.
3. Compression de Tokens Efficace : Une technique d'attention inverse qui réduit drastiquement le bruit de fond et les coûts de calcul tout en préservant les détails critiques des anomalies.
4. Compréhension Sémantique Profonde : L'intégration de MLLM permet une généralisation à des types d'anomalies jamais vus (ex: détecter un "vol" ou une "bagarre" même si le modèle n'a jamais vu ces événements spécifiques durant l'entraînement).

4. Résultats Expérimentaux

Le modèle a été entraîné uniquement sur des jeux de données de segmentation (sans aucune donnée VAD) et évalué sur quatre benchmarks standards en mode zero-shot :

• UBnormal : 76,45 % d'AUC (State-of-the-Art en Zero-Shot).
• ShanghaiTech : 85,28 % d'AUC (Surpasse les méthodes non supervisées et few-shot).
• UCF-Crime : 82,18 % d'AUC (Meilleure performance que les méthodes non supervisées).
• XD-Violence : 90,62 % de AP (Surpasse les méthodes faiblement supervisées).
• UCSD Ped2 (Niveau Pixel) : 87,68 % d'AUC, soit une amélioration massive de +12,57 % par rapport à l'état de l'art actuel en zero-shot.

Les résultats montrent que LAVIDA surpasse non seulement les méthodes zero-shot existantes, mais rivalise également avec des méthodes weakly-supervised (qui ont vu des annotations de vidéos d'anomalies) et unsupervised (qui ont vu des vidéos normales).

5. Signification et Impact

Ce travail marque un tournant dans la recherche sur la détection d'anomalies vidéo :

• Démocratisation de l'entraînement : Il démontre qu'il n'est plus nécessaire de collecter des milliers d'heures de vidéos d'accidents ou de crimes pour entraîner un détecteur robuste.
• Vers un Monde Ouvert : En s'appuyant sur la compréhension sémantique des MLLM, le système peut théoriquement détecter n'importe quel type d'anomalie décrite textuellement, peu importe le scénario, rendant la technologie applicable à des environnements réels imprévisibles.
• Efficacité : La compression de tokens rend l'utilisation de modèles massifs (MLLM) viable pour des tâches vidéo en temps réel ou à haute résolution.

En résumé, LAVIDA prouve que la combinaison de la sémantique générative (MLLM) et de stratégies de données astucieuses (pseudo-anomalies) permet de surmonter les limitations fondamentales de la détection d'anomalies vidéo traditionnelle.