Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

1. Énoncé du problème

La Détection d'Anomalies Vidéo en Zéro-Shot (ZS-VAD) vise à localiser temporellement des événements anormaux dans des vidéos de surveillance sans utiliser de données d'entraînement provenant du domaine cible. Ceci est crucial pour les scénarios impliquant la confidentialité des données ou de nouveaux déploiements de surveillance où les données cibles sont indisponibles.

• Limitations actuelles :
  • Méthodes basées sur les images/objets : Souffrent de décalages de domaine dans l'arrière-plan et l'apparence humaine lors du passage à de nouvelles scènes.
  • Méthodes existantes basées sur le squelette : Bien qu'elles éliminent les disparités d'arrière-plan et d'apparence, elles reposent sur des représentations de squelette de bas niveau (par exemple, prédiction de coordonnées, reconstruction) apprises par auto-supervision. Elles manquent de compréhension sémantique, ce qui les empêche de distinguer les anomalies nouvelles qui ressemblent à des motifs normaux.
  • Limites de domaine restreintes : Les méthodes existantes s'appuient aveuglément sur des frontières de normalité définies par les données d'entraînement source, conduisant à la mauvaise classification d'événements normaux inédits comme des anomalies dans de nouvelles scènes.

2. Méthodologie

Les auteurs proposent un cadre novateur qui exploite la Typicité Sémantique de l'Action et l'Unicité du Contexte pour réaliser une ZS-VAD généralisable. L'approche se compose de deux modules principaux :

A. Modélisation de la Typicité Guidée par le Langage (Phase d'entraînement)

Ce module vise à apprendre une compréhension sémantique de haut niveau des actions plutôt que des coordonnées de bas niveau.

1. Alignement Squelette-Texte : Le modèle utilise un jeu de données externe de reconnaissance d'actions (Kinect-400) plutôt que des données spécifiques à la VAD. Il aligne des extraits de squelettes avec des étiquettes textuelles à l'aide d'un encodeur de squelette ($E_s$) et d'un encodeur de texte ($E_t$), projetant les squelettes dans un espace sémantique aligné sur le langage.
2. Sélection de Connaissances de Typicité (Distillation LLM) :
   • Un Grand Modèle de Langage (LLM) est sollicité pour identifier les 20 actions normales les plus typiques (par exemple, marcher, lire) et les 20 actions anormales les plus typiques (par exemple, se battre, sauter en parachute) parmi les 400 classes d'actions.
   • Des extraits de squelettes de haute qualité correspondant à ces classes « typiques » sélectionnées sont filtrés sur la base de la similarité squelette-texte.
3. Apprentissage de la Distribution de Typicité :
   • Un Flux de Normalisation (NF) est entraîné sur les caractéristiques normales et anormales typiques sélectionnées.
   • Le NF modélise la distribution de probabilité de ces comportements. Lors de l'inférence, le score d'anomalie ($S^t$) est dérivé de la négation du logarithme de vraisemblance d'un extrait de test sous la distribution « normale » apprise. Cela permet au modèle de se généraliser à de nouvelles scènes en se basant sur des priors sémantiques plutôt que sur des statistiques spécifiques à un jeu de données.

B. Analyse d'Unicité du Contexte au Moment du Test (Phase d'inférence)

Pour gérer les scénarios où les actions ne sont pas strictement « typiques » (par exemple, une action normale qui est anormale dans un contexte spécifique), le modèle analyse le contexte spatio-temporel.

1. Construction du Graphique de Contexte : Pour chaque extrait de squelette, deux graphes sont construits :
   • Graphe Inter-personnes ($G_c$) : Relie la personne actuelle aux individus à proximité dans l'espace.
   • Graphe d'Auto-inspection ($G_s$) : Relie la personne actuelle à ses propres états passés/futurs dans le temps (en excluant les voisins immédiats pour éviter la redondance).
2. Évaluation de l'Unicité : Le modèle calcule la distance des caractéristiques entre l'extrait de requête et ses voisins dans les deux graphes. Puisque les anomalies sont rares et uniques, une grande distance indique une anomalie. Le score d'unicité ($S^u$) est le maximum des distances inter-personnes et d'auto-inspection.
3. Évaluation Holistique : Le score d'anomalie final est une combinaison normalisée du Score de Typicité ($S^t$) et du Score d'Unicité ($S^u$) :
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   Cela intègre les priors sémantiques (ce qui devrait être normal/anormal) avec les preuves contextuelles (ce qui est réellement unique dans cette scène).

3. Contributions Clés

1. Cadre Novateur : Un cadre ZS-VAD basé sur le squelette qui va au-delà de l'apprentissage de représentations de bas niveau pour atteindre la typicité sémantique et l'unicité contextuelle.
2. Module de Typicité Guidé par le Langage : Introduit une méthode pour distiller les connaissances d'un LLM sur les comportements normaux/anormaux typiques dans un encodeur de squelette, créant un espace sémantique généralisable sans entraînement sur le domaine cible.
3. Analyse d'Unicité au Moment du Test : Propose un mécanisme de frontière dynamique et adaptatif à la scène qui analyse les différences spatio-temporelles entre les individus et les pas de temps pour détecter des anomalies spécifiques au contexte.
4. Performances de l'État de l'Art : Obtient des résultats supérieurs sur quatre jeux de données à grande échelle (ShanghaiTech, UBnormal, NWPU, UCF-Crime) couvrant plus de 100 scènes de surveillance inédites, surpassant à la fois les méthodes en plein tir (full-shot) et d'autres méthodes en zéro-shot.

4. Résultats Expérimentaux

La méthode a été évaluée sur quatre jeux de données sans données d'entraînement provenant des domaines cibles :

• Performance : La méthode proposée a obtenu des résultats de l'État de l'Art (SOTA) sur tous les jeux de données.
  • ShanghaiTech : 84,1 % de AUC (vs 85,9 % pour STG-NF en plein tir, mais en 0-shot).
  • UBnormal : 74,5 % de AUC (une amélioration significative de +5,7 % par rapport à la base de référence en zéro-shot STG-NF).
  • NWPU : 62,1 % de AUC (+4,2 % par rapport à la base).
  • UCF-Crime : 62,7 % de AUC (+10,8 % par rapport à la base).
• Comparaison avec le Plein Tir (Full-Shot) : De manière remarquable, la performance en zéro-shot de cette méthode est comparable, et dans certains cas supérieure, à celle des méthodes en plein tir entraînées sur les données cibles.
• Efficacité : Le modèle est léger (~5,0 millions de paramètres), nettement plus petit que les approches basées sur les Grands Modèles Vision-Langage (LVLM) (par exemple, LAVAD avec 13 milliards de paramètres ou plus). La vitesse d'inférence est dominée par l'extraction du squelette, et non par la logique de notation des anomalies.

5. Importance et Impact

• Surveillance Respectueuse de la Vie Privée : La capacité à déployer la détection d'anomalies dans de nouveaux environnements sans collecter ni entraîner sur des données vidéo locales répond à des préoccupations critiques en matière de confidentialité.
• Généralisation : En passant de « l'apprentissage de la normalité à partir des données » à « l'apprentissage de la normalité à partir de concepts sémantiques et de contexte », le modèle surpasse le fossé de domaine qui affecte les systèmes VAD traditionnels.
• Déploiement Pratique : Le cadre est efficace sur le plan computationnel et ne nécessite pas de raisonnement multi-étapes complexe ni de LLM massifs lors de l'inférence, le rendant adapté au déploiement réel en périphérie (edge).
• Changement de Paradigme : L'article démontre que les données de squelette, lorsqu'elles sont combinées à des priors sémantiques et à une analyse contextuelle, constituent une modalité hautement efficace pour la détection d'anomalies en zéro-shot, surpassant les approches basées sur les images et les objets dans des scénarios croisés.