Résumé Technique : NSP-ML pour la Reconnaissance de Comportements Anormaux

Énoncé du Problème

La reconnaissance des comportements anormaux dans les environnements de campus est cruciale pour la surveillance intelligente et la gestion de la sécurité. Bien que les méthodes existantes aient progressé, elles reposent principalement sur l'information visuelle. Cette dépendance crée une limitation significative : les représentations visuelles seules échouent souvent à distinguer des comportements qui semblent similaires mais qui portent des significations différentes selon des contraintes contextuelles (ex. : temps, lieu et modèles d'activité attendus). Dans les campus, une action telle que « courir » peut être normale sur une aire de jeux mais anormale dans un couloir de laboratoire. Les approches multimodales actuelles traitent souvent les entrées textuelles comme des étiquettes statiques ou des descriptions génériques, échouant à encoder explicitement les normes situationnelles ou les connaissances préalables associées à des conditions spatio-temporelles spécifiques. Par conséquent, ces modèles peinent face aux comportements anormaux dépendants du contexte, où la définition de l'« anormalité » repose sur l'écart par rapport aux modèles attendus plutôt que sur l'apparence visuelle seule.

Méthodologie

Le document propose le NSP-ML (Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning), un cadre conçu pour fusionner les représentations visuelles avec deux types spécifiques de connaissances textuelles contextuelles : les journaux guidés par la normalité (normality-guided logs) et les journaux conscients des priorités spatio-temporelles (spatiotemporal prior-aware logs).

1. Construction du Contexte Textuel

Au lieu d'utiliser des étiquettes de classe statiques, le cadre construit une hypothèse de comportement conditionnée par le contexte ($H_{i,c}$) pour chaque clip vidéo $i$ et classe candidate $c$. Cette hypothèse est formée par la concaténation de :

• Prototype de Comportement ($B_c$) : Une courte description sémantique du comportement.
• Journal de Normalité ($N_i$) : Un texte décrivant les comportements attendus sous les conditions spécifiques du campus.
• Journal de Priorité Spatio-temporelle ($P_i$) : Un texte résumant les niveaux de risque, les modèles d'activité et la sensibilité liés au lieu et au temps spécifiques.

2. Plongement Spatio-temporel des Priorités

Au-delà des journaux textuels, le modèle encode des signaux structurés directement dans la branche textuelle :

• Plongement Temporel : Les horodatages sont convertis en plongements périodiques à l'aide de fonctions sinus/cosinus.
• Plongement Géographique : Les localisations sont encodées en fonction des coordonnées, de la densité de zone et des niveaux de sensibilité de la gestion.
• Ces plongements structurés sont projetés dans l'espace de caractéristiques textuelles pour s'aligner avec les descriptions textuelles des priorités.

3. Attention Multi-Tête Sensible aux Priorités

Le cadre introduit un mécanisme d'Attention Multi-Tête Sensible aux Priorités (Prior-Aware Multi-Head Attention). Contrairement à l'attention standard, ce module injecte le vecteur de contexte projeté ($\bar{C}_i$) dans les vecteurs de requête (query). Cela permet au modèle d'effectuer un raisonnement au niveau du jeton (token-level) guidé par les priorités spatio-temporelles, améliorant l'interaction entre l'évidence visuelle et les hypothèses contextuelles.

4. Fusion Contextuelle à Porte

Un mécanisme de porte (gating mechanism) léger équilibre de manière adaptative les contributions du prototype de comportement, du journal de normalité et du journal de priorité. Cela permet au modèle de déterminer dynamiquement le poids à attribuer aux attentes de normalité par rapport aux contraintes de priorité pour chaque décision de classification spécifique.

5. Objectifs d'Optimisation

Le cadre est entraîné à l'aide d'une fonction de perte composite ($L$) comprenant trois composantes :

• Perte de Classification Contextuelle ($L_{cls}$) : Perte d'entropie croisée standard pour l'appariement des représentations visuelles aux hypothèses conditionnées par le contexte.
• Perte Contrastive Symétrique ($L_{con}$) : Un objectif d'alignement vision-langage pour garantir que les caractéristiques visuelles correspondent à leurs hypothèses textuelles contextuelles correspondantes.
• Perte de Contexte Contrefactuel ($L_{cf}$) : Une perte novatrice qui introduit des hypothèses discordantes (par exemple, en échangeant le journal de normalité d'une scène avec celui d'une autre) pour enseigner explicitement au modèle à distinguer la logique correcte d'une scène de la logique incorrecte, renforçant ainsi la discrimination contextuelle.

Principales Contributions

1. Nouveau Cadre Multimodal : L'étude introduit le NSP-ML, qui fusionne les données visuelles avec des journaux guidés par la normalité et des journaux conscients des priorités spatio-temporelles. Cette représentation intégrée permet une interprétation plus sensible au contexte des comportements anormaux subtils en exploitant la synergie entre l'évidence visuelle et les attentes situationnelles.
2. Modélisation Explicite des Priorités Contextuelles : Contra à les approches précédentes qui traitent le texte comme des étiquettes statiques, ce travail modélise les comportements anormaux par rapport à leur écart par rapport aux modèles contextuellement attendus. L'introduction de plongements spatio-temporels structurés et de mécanismes d'attention sensibles aux priorités renforce l'interaction transmodale.
3. Performance Robuste et Généralisabilité : Le cadre démontre son efficacité sur plusieurs ensembles de données. Il atteint des résultats de pointe sur l'ensemble de données spécifique au campus CABRH8 et maintient de solides performances sur les benchmarks de reconnaissance d'actions généraux (UCF-101 et HMDB-51), confirmant sa robustesse au-delà des scénarios de campus spécifiques.

Résultats Expérimentaux

Les expériences ont été menées principalement sur l'ensemble de données CABRH8 (5 950 clips, 8 catégories de comportements anormaux de campus), avec une validation supplémentaire sur UCF-101 et HMDB-51.

• Performance sur CABRH8 : La variante proposée NSP-ML-L (utilisant un backbone ViT-L/14) a atteint une précision Top-1 de 81,52 % et une précision Top-5 de 99,45 %. Elle surpasse les méthodes visuelles seules existantes (ex. : TimeSformer, Swin-B) et les approches guidées par texte statique (ex. : CECL-L, qui a atteint 80,26 % en Top-1).
• Efficacité : Malgré une précision plus élevée, NSP-ML-L maintient un profil d'efficacité favorable, nécessitant 295 GFLOPs et tournant à 32 FPS, ce qui est nettement plus efficace que les concurrents à coût élevé comme HCMT (992 GFLOPs).
• Généralisation : Sur UCF-101, NSP-ML-L a atteint 98,68 % de précision, et sur HMDB-51, il a atteint 73,32 %, surpassant plusieurs bases de référence de pointe et démontrant une forte transférabilité aux tâches de reconnaissance d'actions générales.
• Études d'Ablation : Les expériences ont confirmé que :
  • La combinaison des journaux de normalité et des priorités spatio-temporelles produit de meilleurs résultats que l'utilisation de l'un ou l'autre seul, ou l'utilisation de seuls les prototypes de comportement.
  • Les plongements spatio-temporels structurés (temps et lieu) fournissent des gains complémentaires par rapport aux seules priorités textuelles.
  • La perte de contexte contrefactuel ($L_{cf}$) est cruciale pour améliorer la capacité du modèle à distinguer la logique de scène correcte de la logique incorrecte.

Signification

L'article affirme que l'incorporation d'une guidance de normalité et de priorités spatio-temporelles offre une voie efficace pour améliorer la reconnaissance de comportements anormaux sensibles au contexte dans les environnements de campus intelligents. En passant d'un simple appariement visuel à un raisonnement sur des hypothèses de comportement conditionnées par le contexte, le cadre NSP-ML répond à l'ambiguïté inhérente aux scènes dynamiques, encombrées et dépendantes du contexte. Les résultats suggèrent que cette approche permet aux modèles de mieux distinguer des actions visuellement similaires qui diffèrent par leur anormalité selon les contraintes situationnelles, offrant ainsi une solution plus robuste pour les systèmes de surveillance intelligente.