Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Les caméras de surveillance surveillent nos villes, nos magasins et nos rues, capturant un flux continu d'activité humaine. Depuis des décennies, l'objectif est de construire des ordinateurs capables de regarder ces séquences à nos côtés, pour repérer les problèmes dès qu'ils surviennent. Le défi, cependant, est d'apprendre à un ordinateur à reconnaître une bagarre, un vol ou un incendie est incroyablement difficile. Cela nécessite de montrer à la machine des milliers d'exemples de ces événements, chaque instant de danger étant marqué par un expert humain. Cet étiquetage manuel est lent, coûteux et souvent impossible à réaliser pour les vastes quantités de données vidéo générées chaque jour. Sans ces étiquettes détaillées, les programmes informatiques standards peinent à apprendre ce qui est normal et ce qui ne l'est pas, se laissant souvent confondre par la grande variété de la vie quotidienne.

Pour résoudre ce problème, des chercheurs de l'Université de Shiraz ont développé une nouvelle façon d'apprendre aux ordinateurs à repérer les anomalies sans avoir besoin qu'un humain étiquette chaque seconde de vidéo. Au lieu de s'appuyer sur des notes manuelles coûteuses, leur système construit sa propre compréhension de ce qui se passe en regardant la vidéo à travers trois prismes différents. Premièrement, il recherche le mouvement, identifiant toute partie de l'écran où les pixels changent. Deuxièmement, il tente de reconnaître des objets spécifiques, comme une personne ou un véhicule, au sein de ces zones de mouvement. Enfin, il trace un contour précis autour de ces objets pour voir exactement l'espace qu'ils occupent. En combinant ces trois observations, le système génère ses propres « suppositions » sur les parties d'une vidéo qui sont normales et celles qui sont étranges. Ces suppositions, appelées pseudo-étiquettes, ne sont pas parfaites, mais les chercheurs ont conçu une méthode spéciale pour pondérer la confiance du système dans chaque supposition, ignorant les incertaines pour se concentrer sur les signaux clairs.

Le cœur de cette nouvelle approche est un modèle informatique léger qui apprend de ces suppositions automatisées. Les chercheurs ont utilisé un système de vision pré-entraîné, qui agit comme une paire d'yeux ayant déjà appris à reconnaître des formes et des objets à partir de millions d'images, et ont figé ses paramètres afin qu'ils ne changent pas pendant l'entraînement. Cela a permis d'économiser une puissance de calcul massive, réduisant le nombre de parties ajustables du système de près de quatre-vingt-quatorze pour cent. Le modèle utilise ensuite un composant de mémoire pour se souvenir de la séquence des événements, reliant les points entre les images pour comprendre comment une scène évolue au fil du temps. Pour s'assurer que le système ne passait pas de manière erratique d'un étiquetage de scène comme normale à une scène anormale, ils ont ajouté une règle qui encourageait des prédictions fluides et cohérentes d'un instant à l'autre.

Lors de tests sur une large collection de vidéos de surveillance contenant treize types différents de crimes, le système a fait preuve d'un haut degré de fiabilité. Il a correctement identifié des événements anormaux dans environ quatre-vingts pour cent des cas de test et a obtenu un score équilibré de soixante-dix-huit pour cent pour distinguer l'activité normale de l'activité anormale. Les chercheurs ont mené l'expérience cinq fois avec différents points de départ aléatoires pour garantir la cohérence des résultats, et la performance est restée stable à travers tous les essais. Crucialement, le système a atteint ce résultat sans qu'aucun humain n'ait eu à marquer manuellement les moments dangereux dans les vidéos d'entraînement. Le processus automatisé de détection de mouvement, d'identification d'objets et de détourage s'est avéré être un substitut viable à l'annotation humaine, rendant possible le passage à l'échelle de la surveillance vidéo vers des ensembles de données beaucoup plus vastes que jamais.

L'étude a également révélé que chaque partie du pipeline automatisé était essentielle. Lorsque les chercheurs ont supprimé la détection de mouvement, la reconnaissance d'objets ou le détourage précis, la capacité du système à repérer les problèmes a chuté de manière significative. Cela a confirmé que la combinaison de ces trois indices visuels offrait une image plus riche et plus fiable que n'importe quelle méthode unique. Bien que le système ne soit pas encore parfait et puisse encore éprouver des difficultés dans des scènes très encombrées ou sous un éclairage médiocre, il représente une étape importante vers la rendre la surveillance automatisée pratique. En éliminant le goulot d'étranglement de l'étiquetage manuel et en réduisant considérablement le coût informatique, cette approche offre une voie réaliste vers le déploiement de systèmes de surveillance intelligents dans le monde réel, où ils peuvent surveiller les espaces publics avec un niveau d'attention que les humains ne peuvent tout simplement pas maintenir.