Towards Video Anomaly Detection from Event Streams: A Baseline and Benchmark Datasets

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de repérer un voleur dans une foule.

La méthode classique (les caméras RGB) est comme regarder une vidéo normale. Elle enregistre tout : les visages, les couleurs, les arbres qui bougent au vent, les nuages. C'est beaucoup d'informations, mais c'est aussi très lourd. Si le voleur bouge vite, la vidéo peut être floue ou rater l'action parce qu'elle est prise à un rythme fixe (comme un battement de cœur régulier). De plus, elle enregistre tout le monde, ce qui pose des problèmes de vie privée.

La méthode de cet article (les caméras à "événements") est différente. Imaginez une caméra qui ne s'allume que lorsque quelque chose bouge. Si un arbre bouge au vent, elle ne dit rien. Si un voleur court, elle crie "HÉ !". Elle ne voit que le mouvement, ignore le fond statique, et est ultra-rapide. C'est comme si vous fermiez les yeux et ne les ouvriez que pour voir un mouvement soudain.

Voici ce que les chercheurs (Peng Wu et son équipe) ont fait, expliqué simplement :

1. Le Problème : Pas de "Manuel d'entraînement"

Le gros souci, c'est que personne n'avait encore créé de "livres d'exercices" (bases de données) pour entraîner des intelligences artificielles à utiliser ce type de caméra spéciale pour repérer des crimes. C'était comme vouloir apprendre à conduire une Formule 1 sans jamais avoir de piste d'essai.

La solution : Ils ont pris des vidéos de crimes classiques (des films de surveillance de bagarres, de vols, etc.) et ont utilisé un simulateur pour les transformer en flux de "mouvements purs". Ils ont créé trois nouveaux terrains d'entraînement géants pour que les chercheurs du monde entier puissent s'entraîner.

2. La Solution Magique : EWAD (Le Détective à Événements)

Ils ont créé un nouveau système appelé EWAD. Pour le comprendre, imaginez un détective très intelligent qui utilise trois astuces :

Astuce 1 : Le Tri Intelligent (Échantillonnage Dynamique)
- L'analogie : Imaginez que vous devez lire un livre de 1000 pages pour trouver un mot précis. Lire page par page est lent.
- Ce que fait EWAD : Il regarde où il y a le plus de "mouvement" (le plus de bruit). Il saute les pages calmes (le ciel bleu, un mur) et se concentre uniquement sur les pages où il y a de l'action (la bagarre). Il ne perd pas de temps sur le vide.
Astuce 2 : L'Horloge Adaptative (Attention Modulée)
- L'analogie : Dans une foule, si tout le monde bouge lentement, vous avez le temps de regarder. Si quelqu'un court, vous devez réagir instantanément.
- Ce que fait EWAD : Il ajuste sa perception du temps. Si les événements sont rares (mouvement lent), il les relie bien. Si les événements sont explosifs (mouvement rapide), il les analyse avec une précision extrême. Il comprend le rythme de l'action, même si elle est irrégulière.
Astuce 3 : Le Professeur et l'Élève (Distillation de Connaissances)
- L'analogie : C'est comme un élève (la caméra à événements) qui apprend d'un professeur (une caméra classique très puissante). Le professeur a vu des millions de vidéos et sait à quoi ressemble un crime. L'élève, lui, ne voit que des points noirs et blancs (le mouvement).
- Ce que fait EWAD : Pendant l'entraînement, le "professeur" regarde la vidéo normale et dit à l'"élève" : "Regarde, ici c'est une bagarre". L'élève apprend à reconnaître le crime juste en regardant les mouvements, sans avoir besoin de voir les couleurs. Une fois l'entraînement fini, l'élève travaille seul, sans le professeur, et reste très performant.

3. Les Résultats

Ils ont testé leur détective sur leurs nouveaux terrains d'entraînement.

Résultat : EWAD est beaucoup plus rapide et précis que les anciennes méthodes qui essayaient d'utiliser des caméras à événements.
Bonus : Non seulement il dit "Il y a un crime ici !", mais il peut aussi montrer où exactement (en dessinant un cadre autour du voleur), même si c'est un peu moins précis que les caméras classiques, c'est déjà impressionnant pour une technologie qui ne voit que le mouvement.

En Résumé

Cet article est une première mondiale. Ils ont dit : "Utilisons des caméras qui ne voient que le mouvement pour trouver des crimes, c'est plus rapide, plus privé et plus efficace." Pour y arriver, ils ont créé les premiers manuels d'entraînement et inventé un nouveau détective (EWAD) qui sait trier l'information, s'adapter au rythme et apprendre de l'expérience des autres.

C'est comme passer d'une caméra de surveillance lourde et lente à un radar de chasse ultra-rapide qui ne s'intéresse qu'aux menaces.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

La détection d'anomalies vidéo (VAD) est cruciale pour la sécurité publique, mais les méthodes traditionnelles basées sur les flux RGB (images standards) présentent des limites majeures :

Redondance élevée : Les vidéos RGB capturent des scènes statiques à des fréquences fixes, générant beaucoup de données inutiles.
Latence et résolution temporelle : Elles peinent à capturer des mouvements rapides ou des changements dynamiques subtils.
Manque de données événementielles : Bien que les caméras événementielles (Event Cameras) offrent une haute résolution temporelle, une faible latence et une nature intrinsèquement privée (ne capturant que les changements de luminosité), leur application à la VAD est entravée par l'absence de jeux de données dédiés et de stratégies de modélisation efficaces.

Les travaux existants sur les données événementielles sont rares, souvent limités à des réseaux de neurones à impulsions (SNN) simples, et ne tirent pas parti des capacités d'alignement multimodal des modèles récents (comme les modèles Vision-Language).

2. Méthodologie : Le Framework EWAD

Les auteurs proposent EWAD (EVent-centric spatiotemporal Video Anomaly Detection), un cadre unifié conçu pour exploiter les propriétés uniques des flux événementiels. L'approche repose sur trois innovations clés et une stratégie d'apprentissage par transfert.

A. Construction de Benchmarks (Données)

Face au manque de données réelles, les auteurs ont créé les premiers benchmarks VAD événementiels à grande échelle en utilisant le simulateur v2e pour convertir des vidéos RGB existantes (UCF-Crime, CCTV-Fight, UBnormal) en flux événementiels.

Adaptation : Ils ont généré des « trames événementielles » adaptatives pour équilibrer la résolution temporelle et la densité des événements, évitant ainsi les artefacts de flou ou de fantômes (ghosting).

B. Échantillonnage Dynamique Sensible à la Densité (EDS)

Les événements sont naturellement inégaux dans le temps (explosions d'activité lors de mouvements).

Stratégie : Au lieu d'un échantillonnage uniforme, EWAD utilise une stratégie d'échantillonnage « noyau » (nucleus sampling) modifiée.
Fonctionnement : Il identifie les trames à haute densité d'événements (probablement contenant des anomalies) et les conserve, tout en sélectionnant de manière probabiliste des trames à faible densité pour préserver le contexte sémantique (arrière-plan). Cela permet de se concentrer sur les segments temporels discriminatifs.

C. Attention à Décroissance de Distance Modulée par les Événements (EDA)

Pour modéliser les dépendances temporelles dans des séquences éparses :

Mécanisme : Un mécanisme d'attention intègre à la fois la distance temporelle et la densité des événements.
Formule : Le poids de l'attention entre deux tokens est pondéré par la densité d'événements ( $d$ ) et la différence de temps. Cela permet au modèle d'ajuster dynamiquement sa perception du temps : les événements denses (mouvements rapides) sont traités avec une sensibilité accrue, tandis que les périodes calmes sont gérées efficacement.

D. Distillation de Connaissance Cross-Modale (RGB vers Événement)

Pour pallier le manque de supervision forte et la difficulté d'apprentissage des données événementielles seules :

Approche : Un modèle « enseignant » pré-entraîné sur des données RGB (basé sur VadCLIP/CLIP) guide un modèle « étudiant » basé sur les événements.
Processus : La distillation se fait via deux pertes :
1. Binaire : Alignement des scores de confiance d'anomalie.
2. Multi-classe : Alignement des distributions de probabilités sur les catégories d'anomalies (en utilisant une normalisation des logits).
Note : Cette distillation n'est utilisée qu'en phase d'entraînement. En inférence, le modèle fonctionne uniquement sur les flux événementiels.

3. Contributions Clés

Benchmarks Publics : Création et publication des premiers jeux de données VAD événementiels synchronisés avec des benchmarks RGB standards (UCF-Crime, CCTV-Fight, UBnormal).
Framework EWAD : Proposition d'une architecture de base robuste intégrant l'échantillonnage dynamique (EDS) et l'attention modulée (EDA) spécifiquement conçues pour la nature asynchrone et sparse des événements.
Transfert de Connaissance : Développement d'une stratégie de distillation cross-modale qui transfère les priors sémantiques haut niveau des modèles RGB vers les détecteurs événementiels, améliorant significativement les performances sous supervision faible.
Localisation Spatiale : Extension de la méthode pour la localisation des anomalies spatiales (cartes de chaleur) sans nécessiter d'annotations supplémentaires, démontrant la capacité des événements à fournir des indices fins.

4. Résultats Expérimentaux

Les expériences ont été menées sur les trois benchmarks créés.

Détection Temporelle :
- EWAD atteint des performances State-of-the-Art (SOTA) parmi les méthodes événementielles.
- Sur le dataset UCF-Crime, EWAD obtient un AUC de 76,55 %, surpassant la méthode précédente MSF (65,01 %) de plus de 11 points.
- Il surpasse également les méthodes adaptées de l'ère RGB (comme VadCLIP ou DMU) lorsqu'elles sont forcées d'utiliser des caractéristiques événementielles, prouvant l'efficacité des modules spécifiques à EWAD.
Localisation Spatiale :
- EWAD atteint un TIoU (Temporal Intersection over Union) de 13,28 % sur UCF-Crime. Bien que inférieur aux méthodes RGB récentes (qui utilisent des CNN 3D complexes), il surpasse les méthodes RGB plus anciennes (C3D, NLN) et démontre la faisabilité de la localisation purement événementielle.
Études d'Ablation :
- Chaque composant (EDS, EDA, Distillation) apporte une amélioration significative. La combinaison de la distillation binaire et multi-classe offre le meilleur gain de performance.

5. Signification et Conclusion

Cet article marque une étape fondatrice pour la détection d'anomalies vidéo basée sur les événements.

Preuve de Concept : Il démontre que les caméras événementielles, grâce à leur faible redondance et leur sensibilité au mouvement, sont idéales pour la VAD, à condition d'avoir les bons outils de modélisation.
Ressource Communautaire : La mise à disposition des benchmarks comble un vide critique, permettant des comparaisons équitables et accélérant la recherche dans ce domaine émergent.
Efficacité : La méthode proposée est efficace, légère et ne nécessite pas de données RGB lors du déploiement, ce qui la rend attractive pour des applications de surveillance en temps réel et respectueuses de la vie privée.

Les auteurs prévoient de futurs travaux sur la création de jeux de données événementiels réels (non simulés) et l'exploration de la fusion multimodale (RGB + Audio + Événements).