Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

Dans le monde de la vision par ordinateur, il existe une course constante pour apprendre aux machines à surveiller les flux vidéo et à repérer les problèmes. Imaginez une caméra de sécurité scannant une rue animée, une gare ou un sol d'usine. L'objectif est que le logiciel remarque quand quelque chose ne va pas — une bagarre qui éclate, une personne qui tombe ou un véhicule qui circule dans le mauvais sens — et qu'il identifie précisément quand et où cela se produit. Pendant des années, les chercheurs ont entraîné ces systèmes en utilisant une méthode appelée supervision faible. Au lieu de montrer à l'ordinateur chaque seconde de la vidéo et de marquer l'instant exact où un événement se produit, ils lui disent simplement si la vidéo entière contient une anomalie ou non. C'est un raccourci pratique, un peu comme un enseignant qui dirait à un élève « cet essai contient une erreur » sans pointer la phrase spécifique. Pour voir si ces systèmes fonctionnent, les scientifiques utilisent un test standard qui classe chaque image de chaque vidéo d'une base de données, de la plus suspecte à la plus normale, et vérifie la capacité du système à séparer les mauvais moments des bons.

Deux chercheurs de l'Université SungKyunKwan en Corée du Sud, Inpyo Song et Jangwon Lee, ont décidé d'examiner de plus près ce test de classement standard. Ils ont posé une question simple mais profonde : lorsqu'un ordinateur obtient un score élevé lors de ce test de classement, sait-il réellement quand le problème est survenu, ou est-il simplement doué pour deviner quels vidéos contiennent des problèmes ? Leur enquête, publiée dans une étude récente, révèle une vérité frappante sur la manière dont ces systèmes sont évalués. Ils ont découvert que le test standard est tellement fortement pondéré par la comparaison de différentes vidéos entre elles qu'un ordinateur peut obtenir un score quasi parfait sans jamais identifier un seul moment spécifique de danger au sein d'une vidéo. C'est comme si un élève pouvait réussir un examen d'histoire en devinant correctement quels manuels contiennent des erreurs, sans jamais avoir lu une seule page pour trouver la coquille.

Les chercheurs ont commencé par décomposer les mathématiques derrière le score de classement standard. Ils ont réalisé que ce score est construit à partir de deux types de comparaisons différents. Le premier type compare un mauvais moment dans une vidéo à un bon moment dans la même vidéo ; c'est le test de la véritable localisation, vérifiant si le système fait la différence entre une seconde sûre et une seconde dangereuse au sein d'un même enregistrement. Le second type compare un mauvais moment dans une vidéo à un bon moment dans une vidéo complètement différente. Il s'agit du test de tri au niveau de la vidéo, vérifiant si le système peut dire que la Vidéo A est plus dangereuse que la Vidée B. Lorsqu'ils ont compté combien de ces comparaisons se déroulaient réellement au sein de la même vidéo, le nombre était étonnamment faible. À travers trois ensembles de données majeurs utilisés dans le domaine, moins de 0,4 % des comparaisons se faisaient entre des images de la même vidéo. La grande majorité du score provient de la comparaison d'images entre différentes vidéos.

Ce déséquilibre crée ce que les auteurs appellent une « dilution temporelle ». À mesure que le nombre de vidéos dans un ensemble de test augmente, la probabilité que le système soit testé sur sa capacité à trouver le moment exact d'un événement diminue rapidement. Le système est principalement récompensé pour attribuer un score global élevé à une vidéo qui contient une anomalie et un score faible à une vidéo qui n'en contient pas. Pour prouver que c'était le cas, les chercheurs ont mené une série d'expériences contrôlées. Ils ont entraîné des modèles informatiques simples pour ne rien faire d'autre que d'attribuer un score unique et constant à chaque image d'une vidéo, basé sur le fait que cette vidéo était étiquetée comme dangereuse ou sûre. Ces modèles n'avaient aucune capacité à distinguer un moment d'un autre ; le score pour la première seconde d'une vidéo était identique à celui de la dernière seconde. Malgré une capacité nulle à localiser un événement dans le temps, ces modèles simples ont tout de même obtenu des scores très élevés sur le test standard, allant de 81 à 97 % selon l'ensemble de données.

Les chercheurs ont ensuite pris les résultats des systèmes les plus avancés et complexes actuellement disponibles et ont effectué un « remplacement par la moyenne de la vidéo ». Ils ont pris les scores détaillés, seconde par seconde, produits par ces systèmes complexes et ont remplacé le score de chaque seconde par le score moyen de toute la vidéo. Ce processus a effacé toute l'information temporelle précise, ne laissant que la note globale de la vidéo. Si le test standard mesurait réellement la capacité à trouver le moment exact d'une anomalie, ce changement aurait dû faire s'effondrer les scores. Au lieu de cela, les scores ont à peine bougé. Dans 69 cas sur 72 essais contrôlés, le système a conservé plus de 90 % de son score d'origine même après que tous les détails temporels ont été supprimés. Le même schéma s'est vérifié pour les résultats officiels publiés par les auteurs d'autres méthodes de pointe. Même lorsque les chercheurs ont mélangé l'ordre des images au sein d'une vidéo, brouillant la chronologie tout en conservant le même ensemble de scores, la performance de classement est restée largement intacte.

Les conclusions suggèrent que la norme actuelle pour évaluer ces systèmes ne mesure pas ce que les chercheurs pensent mesurer. Un score élevé sur le test de classement groupé ne prouve pas qu'un système peut localiser un événement ; il prouve principalement qu'un système peut classer les vidéos par risque global. Les chercheurs soutiennent que cette distinction est cruciale pour les applications réelles. Si un agent de sécurité reçoit une alerte indiquant qu'une vidéo contient une anomalie, il doit savoir quand regarder, et pas seulement quelle vidéo regarder. Le protocole d'évaluation actuel récompense la capacité à choisir la bonne vidéo mais échoue à vérifier la capacité à trouver le bon moment. Les auteurs proposent que le domaine change sa façon de rapporter les résultats. Ils recommandent que les chercheurs rapportent toujours un score distinct qui mesure la capacité du système à ordonner les images au sein d'une seule vidéo, parallèlement au classement standard au niveau de la vidéo. Ils suggèrent également que la conception des tests futurs garantisse que le nombre de vidéos ne dilue pas l'importance de trouver le moment exact d'un événement.

Ce travail ne prétend pas que les systèmes actuels sont inutiles ou qu'ils ne peuvent pas apprendre à localiser des événements. Il montre simplement que le tableau de bord sur lequel ils jouent ne les y oblige pas. Les scores élevés observés ces dernières années sont largement le reflet de la capacité du système à trier les vidéos, une capacité qui est utile mais distincte de la capacité à identifier le temps. En séparant ces deux compétences dans le processus d'évaluation, le domaine peut garantir que les futurs systèmes ne seront pas seulement doués pour deviner quelles vidéos sont dangereuses, mais seront véritablement capables de regarder l'horloge et de trouver la seconde exacte où quelque chose de mal se produit. La voie à suivre nécessite un changement de focalisation, passant d'un chiffre unique et agrégé qui masque ces différences, vers une image plus claire qui valorise la précision du temps autant que l'identification de l'événement lui-même.