Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance
Cet article propose le cadre STAM, qui intègre l'apprentissage contrastif pour des plongements sensibles au contexte avec un encodeur transformer guidé par une attention d'apprentissage multi-instances, afin de traiter efficacement les limitations contextuelles et temporelles dans la détection d'anomalies vidéo et d'atteindre une précision supérieure sur les ensembles de données de référence.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes le chef de la sécurité d'une place de ville immense et animée. Vous avez des centaines de caméras qui diffusent des vidéos en direct, mais vous ne pouvez pas surveiller chaque écran à la fois. Votre travail est de repérer quelquement chose de bizarre — une bagarre, un vol, ou une personne courant dans la mauvaise direction. La difficulté est que le terme « bizarre » dépend entièrement de l'endroit où vous vous trouvez. Dans une bibliothèque, quelqu'un qui court est un signal d'alarme majeur. Dans un stade de football, c'est simplement une partie du jeu. Pendant longtemps, les programmes informatiques essayant de faire ce travail étaient comme des gardiens qui ne regardaient que le mouvement. Si quelqu'un courait, l'alarme se déclenchait, même si la personne était dans un stade. Ils ne comprenaient pas le contexte de la scène. Ils avaient également du mal à se souvenir de ce qui s'était passé quelques secondes auparavant pour relier les points. Ce document s'attaque à ce problème en apprenant aux ordinateurs non seulement à voir le mouvement, mais aussi à comprendre l'« ambiance » de l'endroit qu'ils surveillent.
Les chercheurs, Rifa Nizam Khan et Mohd. Amjad de l'Université Jamia Millia Islamia, ont construit un nouveau système appelé STAM. Voyez cela comme un détective super intelligent qui possède deux modes de pensée distincts. Premièrement, il utilise un module spécial de « perception de la scène » pour comprendre exactement où il se trouve — comme savoir la différence entre un parc calme et une gare bondée. Deuxièmement, il utilise un outil de mémoire puissant (un Transformer) pour regarder de courts clips vidéo et déterminer lesquels sont suspects. La magie opère lorsque ces deux parties communiquent entre elles. Le système ne regarde pas un clip de manière isolée ; il demande : « Est-ce que cette action a du sens ici ? » Si la réponse est non, il sonne l'alarme.
Voici comment leur nouveau détective fonctionne, décomposé en étapes simples :
L'approche à deux cerveaux
La plupart des anciens systèmes essayaient de tout faire avec un seul cerveau, ce qui les rendait souvent confus. STAM divise le travail.
- Le Détective de Scène : Avant de regarder l'action, le système prend un instantané de l'environnement. Il utilise une technique appelée « apprentissage contrastif » pour construire une carte mentale de la scène. Imaginez cela comme un bibliothécaire qui sait qu'un livre tombant d'une étagère est normal dans une bibliothèque, mais bizarre dans une salle de sport. Le système apprend à reconnaître la « forme » du lieu, créant une carte d'identité unique pour chaque emplacement.
- L'Observateur d'Action : Cette partie utilise un outil appelé « Inflated 3D ConvNet » (ou I3D). Si vous imaginez une caméra vidéo normale comme une photo 2D qui change au fil du temps, cet outil est comme un scanner 3D qui voit la vidéo comme un bloc solide d'espace et de temps. Il saisit le mouvement et l'apparence des gens, les transformant en un rapport détaillé.
Le jeu du « Sac de Fragments »
Le système ne regarde pas une heure entière de vidéo d'un coup. Au lieu de cela, il découpe la vidéo en petits morceaux appelés « fragments » (snippets). Il traite l'ensemble de la vidéo comme un « sac » de ces fragments. C'est ici que l'« Apprentissage Multi-Instance » (MIL) entre en jeu. Voyez cela comme un professeur corrigeant une classe. Si un seul élève de la classe (un fragment) est signalé pour des irrégularités, toute la classe (la vidéo) est signalée comme suspecte. Le système examine tous les fragments et demande : « Lequel de ceux-ci est le fauteur de troubles ? »
Le mécanisme d'Attention Magique
C'est la partie la plus cool. Le système possède un « Jeton de Scène » (un jeton CLS) qui détient la carte d'identité de l'emplacement. Lorsque le système examine le « sac » de fragments, il utilise cet identifiant de lieu pour guider son attention. C'est comme un agent de sécurité qui sait que, « dans ce couloir spécifique, les gens marchent habituellement lentement. Si je vois quelqu'un sprinter, c'est sur lui que je dois me concentrer ». Le système utilise un mécanisme d'attention pour pondérer l'importance de chaque fragment. Si un fragment semble bizarre pour cette scène spécifique, le système lui donne un score élevé. Si un fragment semble bizarre mais correspond à la scène (comme courir dans un stade), le système l'ignore.
Les Résultats : Un Score Presque Parfait
Les chercheurs ont testé leur nouveau système STAM sur un ensemble de données célèbre de vidéos de surveillance appelé UCF Crime, qui contient plus de 1 900 vidéos d'événements réels comme des arrestations, des incendies criminels et des vols à l'étalage. Ils l'ont également testé sur un autre ensemble de données, UCF101, pour voir s'il pouvait gérer de nouveaux environnements inconnus.
Les résultats sont impressionnants. Le système STAM a atteint une précision de 99,85 % et un score AUC (Aire Sous la Courbe) de 99,98 %. Pour donner une perspective, ils ont comparé STAM à d'autres systèmes intelligents comme « I3D-MIL » et « GAN-MIL », qui ont obtenu des scores nettement inférieurs (autour de 90 % à 96 %). L'article suggère que la raison pour laquelle STAM gagne est qu'il comprend enfin le contexte. Il ne voit pas seulement une personne qui court ; il voit une personne qui court dans un endroit où courir est dangereux.
Pourquoi cela importe
Les auteurs ont découvert qu'en enseignant explicitement à l'ordinateur la disposition de la scène et en utilisant un mécanisme d'attention « conscient de la scène », ils pouvaient réduire considérablement les fausses alertes. Par le passé, un système aurait pu hurler « Urgence ! » parce que quelqu'un courait dans un parc, même s'il s'agissait d'un joggeur. STAM, cependant, connaît la différence. Cette étude montre que cette approche n'est pas seulement un petit ajustement, mais une étape significative vers la création d'une surveillance vidéo réellement capable de gérer la réalité complexe et désordonnée du monde réel. Bien que le système nécessite un peu plus de puissance de calcul pour fonctionner (prenant environ 8 minutes par époque d'entraînement sur leur matériel spécifique), le compromis est un système bien plus fiable et moins susceptible de crier au loup.
En résumé, cet article propose que pour attraper les méchants, vous n'avez pas seulement besoin d'yeux qui voient le mouvement ; vous avez besoin d'un cerveau qui comprend l'histoire du lieu. Et avec STAM, les ordinateurs commencent enfin à comprendre l'histoire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.