Weakly Supervised Video Anomaly Detection with Anomaly-Connected Components and Intention Reasoning

L'article présente LAS-VAD, un cadre novateur pour la détection d'anomalies vidéo faiblement supervisée qui améliore la précision en intégrant un mécanisme de composantes connectées d'anomalies, une conscience de l'intention pour distinguer les comportements similaires, et des attributs d'anomalies pour mieux modéliser les événements.

L'essentiel

Le Problème : Le Détective à l'aveugle

Imaginez que vous êtes un détective chargé de surveiller des milliers d'heures de vidéos de caméras de sécurité. Votre but est de trouver des moments bizarres ou dangereux (comme un vol, une bagarre ou une explosion).

Le problème, c'est que vous n'avez pas le temps de regarder chaque seconde de chaque vidéo. Vous ne savez que si une vidéo contient un événement bizarre ou non (par exemple : "Oui, il y a eu un vol dans ce fichier"). C'est ce qu'on appelle l'apprentissage "faiblement supervisé".

Les méthodes actuelles sont comme des détectives qui regardent la vidéo en diagonale. Elles savent qu'il y a un problème, mais elles ont du mal à dire exactement quand il commence et finit, et elles confondent souvent des actions normales avec des actions dangereuses (par exemple, prendre un objet pour le ranger vs voler un objet).

La Solution : LAS-VAD, le Super-Détective

Les chercheurs de l'Université Tongji ont créé un nouveau système appelé LAS-VAD. Pour le comprendre, imaginons qu'il utilise trois super-pouvoirs pour devenir un meilleur détective.

1. Le Pouvoir du "Groupe de Copains" (Composantes Connectées)

• L'analogie : Imaginez que vous devez trier une boîte de Legos mélangés. Au lieu de regarder chaque brique une par une, vous les regroupez par couleur et forme. Si deux briques se ressemblent beaucoup, vous les mettez dans le même tas.
• Dans la vidéo : Le système regarde chaque image de la vidéo. Si deux images se ressemblent beaucoup (même ambiance, mêmes objets), il les met dans le même "groupe". Tout ce qui est dans le même groupe a la même "histoire".
• Le résultat : Même sans étiquette précise, le système déduit : "Ah, ces 10 secondes se ressemblent toutes, donc si l'une est normale, les autres le sont aussi. Si l'une est bizarre, les autres le sont probablement." Cela l'aide à comprendre le contexte global.

2. Le Pouvoir de la "Lecture de Pensée" (Intention)

• L'analogie : Regardez deux personnes qui attrapent une pomme.
  • La première le fait doucement, lentement, pour manger.
  • La seconde le fait d'un coup sec, très vite, pour voler.
  • Leurs mouvements sont presque identiques, mais leur intention est totalement différente. Un humain le voit tout de suite, mais une machine classique, non.
• Dans la vidéo : LAS-VAD ne regarde pas seulement ce qui bouge, mais comment ça bouge (la vitesse, l'accélération). Il essaie de deviner l'intention derrière l'action. Est-ce que c'est un geste lent et calme ? Ou un geste rapide et agressif ?
• Le résultat : Il peut distinguer un vol d'un simple achat, même si les mouvements des mains sont similaires.

3. Le Pouvoir du "Détective des Indices" (Attributs)

• L'analogie : Si quelqu'un vous dit "Il y a eu une explosion", vous imaginez immédiatement du feu, de la fumée noire et des débris. Vous n'avez pas besoin de voir l'explosion pour savoir à quoi elle ressemble.
• Dans la vidéo : Le système utilise une intelligence artificielle (comme un chatbot très intelligent) pour lui donner une liste d'indices pour chaque type de crime.
  • Pour une explosion : "Cherchez du feu, de la fumée, des vitres brisées."
  • Pour une bagarre : "Cherchez des mouvements brusques, des cris."
• Le résultat : Le système sait exactement quoi chercher. Il ne se contente pas de dire "c'est bizarre", il dit "c'est une explosion parce que je vois du feu".

Le Résultat : Pourquoi c'est génial ?

Grâce à ces trois astuces, le système LAS-VAD est devenu le champion du monde sur les tests officiels (les jeux vidéo de la recherche appelés XD-Violence et UCF-Crime).

• Il trouve les événements dangereux plus précisément que les anciens systèmes.
• Il fait moins d'erreurs en confondant le normal et l'anormal.
• Il fonctionne même avec très peu d'aide humaine (juste savoir si la vidéo contient un crime ou non, sans dire quand).

En résumé :
Au lieu de simplement regarder une vidéo et espérer deviner ce qui se passe, LAS-VAD regroupe les images similaires, lit les intentions derrière les mouvements et cherche des indices spécifiques (comme la fumée ou la vitesse). C'est comme passer d'un détective novice à un Sherlock Holmes assisté par une IA, capable de comprendre non seulement ce qu'il voit, mais aussi ce qui se passe dans la tête des gens et pourquoi les choses arrivent.

Résumé technique

---

1. Problématique

La détection d'anomalies vidéo (VAD) vise à identifier les intervalles temporels contenant des événements anormaux dans des vidéos non découpées. La détection faiblement supervisée (WS-VAD) est une approche pratique qui ne nécessite que des annotations au niveau de la vidéo (présence/absence d'anomalie et catégorie), évitant ainsi le coût prohibitif des annotations au niveau des images (frame-level).

Cependant, les méthodes existantes souffrent de deux limitations majeures :

1. Absence de sémantique fine : Sans annotations au niveau des images, il est difficile pour les modèles d'apprendre efficacement la sémantique spécifique des anomalies.
2. Ambiguïté comportementale : La distinction entre comportements normaux et anormaux est souvent floue car ils partagent des apparences visuelles similaires (ex. : « prendre un objet » vs « voler un objet »). La seule différence réside souvent dans l'intention (vitesse, dynamique), ce que les modèles actuels peinent à capturer.

2. Méthodologie : Le Framework LAS-VAD

Les auteurs proposent LAS-VAD (Learning Anomaly Semantics for WS-VAD), un cadre novateur qui intègre trois mécanismes clés pour surmonter ces défis, en s'appuyant sur des modèles pré-entraînés CLIP (Vision-Language).

A. Mécanisme de Composantes Connectées d'Anomalies (ACC)

Pour pallier le manque de supervisions au niveau des images, l'ACC regroupe les images de la vidéo en groupes sémantiques distincts.

• Fonctionnement : Il calcule la similarité paire-à-paire entre les images. Pour corriger les biais visuels, cette similarité est affinée par la similarité croisée-modale (visuel-texte) avec les catégories d'anomalies.
• Résultat : Les images appartenant au même groupe connecté (via un algorithme de recherche en profondeur sur un graphe d'adjacence) sont considérées comme partageant la même information sémantique. Cela permet de générer des pseudo-étiquettes au niveau des images pour guider l'apprentissage.

B. Mécanisme de Conscience de l'Intention (IAM)

Pour distinguer les comportements similaires mais aux intentions différentes (ex. : vol vs prise normale), le modèle raisonne sur l'intention.

• Extraction de caractéristiques dynamiques : Le modèle extrait des caractéristiques de position, de vitesse et d'accélération à partir des features visuelles.
• Prototypes d'intention : Il maintient des prototypes sémantiques pour différentes intentions.
• Apprentissage contrastif : Une stratégie d'apprentissage contrastif inter-intention est utilisée pour maximiser la distance entre les intentions différentes et minimiser celle entre les mêmes intentions, même si l'apparence visuelle est proche.

C. Intégration des Attributs d'Anomalie

Les anomalies sont souvent accompagnées d'attributs caractéristiques distinctifs (ex. : une explosion implique des flammes et de la fumée épaisse).

• Génération de texte : Un LLM (Large Language Model) génère des descriptions textuelles détaillées des attributs pour chaque catégorie d'anomalie.
• Fusion : Ces attributs textuels sont combinés avec les catégories d'anomalies standard via l'encodeur texte de CLIP pour enrichir la représentation sémantique et guider la détection précise.

D. Architecture Globale

Le pipeline utilise un encodeur d'images CLIP pour extraire les features visuelles, suivies d'un Transformer local et d'un GCN (Graph Convolutional Network) pour modéliser les dépendances temporelles. Les scores de classification sont affinés par les modules IAM et ACC, et supervisés par une perte combinée incluant la classification binaire, la classification fine-grained, et des pertes de régularisation.

3. Contributions Clés

1. Cadre LAS-VAD : Proposition d'une nouvelle architecture pour la WS-VAD intégrant le raisonnement sémantique et intentionnel.
2. Approche ACC : Méthode innovante pour regrouper les images en groupes sémantiques cohérents sans annotations au niveau des images, servant de signal d'apprentissage dense.
3. Mécanisme IAM : Stratégie de conscience de l'intention utilisant des prototypes et un apprentissage contrastif pour dissocier les comportements visuellement similaires mais sémantiquement opposés.
4. Guidage par attributs : Utilisation de descriptions textuelles d'attributs générées par LLM pour améliorer la précision de la détection.
5. Performance SOTA : Résultats supérieurs aux méthodes de l'état de l'art sur deux benchmarks majeurs.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux ensembles de données de référence : XD-Violence et UCF-Crime.

• Détection Grossière (Coarse-grained) :
  • Sur XD-Violence, LAS-VAD atteint 89,96 % de précision moyenne (AP) avec des features I3D et 87,92 % avec CLIP, surpassant les méthodes précédentes (comme LEC-VAD et PE-MIL).
  • Sur UCF-Crime, le modèle atteint 91,05 % d'AUC avec I3D et 90,86 % avec CLIP, battant le précédent état de l'art (π-VAD).
• Détection Fine (Fine-grained) :
  • Sur XD-Violence, le modèle obtient un mAP moyen (AVG) de 36,89 %, soit une amélioration de 5 % par rapport à LEC-VAD.
  • Sur UCF-Crime, il atteint 15,62 % de mAP moyen, surpassant LEC-VAD de 15,2 %.
• Études d'ablation : Elles confirment que chaque composant (ACC, IAM, attributs) contribue significativement à la performance globale. L'ACC s'avère supérieur au clustering k-means classique car il modélise la structure du graphe des images.

5. Signification et Impact

Ce travail est significatif car il résout le problème fondamental du manque de sémantique dans la détection d'anomalies faiblement supervisée. En introduisant le raisonnement d'intention, le papier dépasse la simple reconnaissance de formes visuelles pour comprendre la dynamique et le but des actions, ce qui est crucial pour distinguer des scénarios ambigus (comme le vol). L'utilisation de composantes connectées permet d'exploiter la cohérence sémantique interne de la vidéo sans annotations coûteuses, offrant une nouvelle voie pour l'apprentissage auto-supervisé dans le domaine de la sécurité vidéo et de la surveillance intelligente.