💻 computer science

Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection

Cet article démontre que les modèles de détection d'anomalies vidéo prêts à l'emploi, bien qu'ils atteignent des scores AUC élevés sur les benchmarks dans des configurations de même jeu de données, échouent complètement dans les scénarios de recoupement de jeux de données en ne faisant pas mieux que le hasard, révélant ainsi un écart critique entre la performance en laboratoire et la fiabilité déployable en conditions réelles.

Auteurs originaux : Mohammadreza Rashidi

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammadreza Rashidi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : L'« étudiant parfait » qui ne peut pas quitter la salle de classe

Imaginez un étudiant qui étudie très dur pour un examen de mathématiques spécifique. Il mémorise chaque problème de son manuel, comprend l'écriture du professeur et sait exactement à quoi ressemble la salle de classe. Le jour de l'examen, il obtient un score parfait. Tout le monde dit : « Wow, cet étudiant est un génie des maths ! »

Cette étude pose la question suivante : Que se passe-t-il si nous prenons ce même étudiant et que nous le plaçons dans une autre salle de classe, avec un autre professeur et en utilisant un autre manuel ?

Les chercheurs ont découvert que l'étudiant ne se contente pas d'obtenir un score inférieur ; il obtient un score qui n'est pas meilleur que s'il avait simplement tenté sa chance en lançant une pièce de monnaie. En fait, il fait parfois pire qu'un choix aléatoire.

Le contexte réel : Les caméras de surveillance

Dans le monde de la sécurité par IA, les caméras sont censées apprendre ce qui est « normal » (des gens qui marchent, des voitures qui roulent) et signaler automatiquement tout ce qui est « suspect » (une personne qui court, un vélo sur un trottoir).

Pendant des années, les chercheurs ont affirmé que ces systèmes d'IA étaient incroyables. Ils mettent en avant des scores élevés (appelés AUC) qui ressemblent à 0,85 ou 0,90 sur 1,0. Mais il y a un piège : ils n'ont testé l'IA que sur la même caméra et la même scène que celle où elle a été entraînée.

C'est comme tester un détecteur de fumée uniquement dans la cuisine où il a été installé, puis prétendre qu'il fonctionnera dans une forêt, une usine ou un vaisseau spatial.

Ce que les chercheurs ont fait (l'« audit »)

Au lieu de construire une nouvelle IA plus intelligente, les chercheurs ont agi comme des auditeurs. Ils ont pris des « cerveaux » d'IA existants et puissants (appelés back-bones, comme DINOv2 ou CLIP) et les ont testés dans une réalité brutale :

Entraînement : Ils ont appris à l'IA ce qui est « normal » en utilisant des images d'un lieu spécifique (par exemple, un campus universitaire).
Test : Ils ont ensuite demandé à l'IA de repérer des comportements « suspects » dans des images provenant de lieux totalement différents (par exemple, une rue animée ou un autre campus).

Ils ont fait cela avec quatre jeux de données vidéo du monde réel et quatre types de « cerveaux » d'IA différents.

Les résultats choquants

1. L'effondrement face au « pile ou face »
Lorsque l'IA était testée sur le même endroit que celui de son entraînement, elle réussissait bien (score moyen de 0,70). Mais dès qu'ils l'ont déplacée vers un nouveau lieu, le score est tombé à 0,499.

Ce que cela signifie : Un score de 0,50 est un choix aléatoire. Un score de 0,499 est en réalité pire qu'un lancer de pièce. L'IA était tellement confuse par le nouvel environnement qu'elle a commencé à signaler des choses normales comme étant suspectes et à manquer les menaces réelles.

2. L'IA la plus « intelligente » a échoué le plus lourdement
On pourrait penser que l'IA la plus avancée et la plus puissante (DINOv2) gérerait mieux les nouveaux endroits. L'article a trouvé l'inverse.

L'analogie : DINOv2 était comme un étudiant qui aurait mémorisé la texture des murs de la classe et la couleur de la chemise du professeur. Lorsqu'il est entré dans une nouvelle pièce avec des murs différents, l'étudiant a paniqué parce que sa « mémoire » était trop spécifique. Les modèles d'IA plus simples ont légèrement mieux transféré leurs connaissances, mais ils ont aussi échoué lamentablement.

3. Le cauchemar des « fausses alertes »
L'article examine ce que cela signifie pour un véritable agent de sécurité. Même si l'IA était réglée pour attraper 90 % des méchants, elle déclencherait également l'alarme environ 31 931 fois par heure.

L'analogie : Imaginez un détecteur de fumée qui se déclenche neuf fois chaque seconde. Un garde humain ne pourrait pas vérifier chaque alerte. Le système devient un bruit inutile.

Pourquoi cela s'est-il produit ?

Les chercheurs ont testé deux manières différentes de mesurer le caractère « suspect » (l'une basée sur la recherche de la correspondance la plus proche, l'autre sur des moyennes statistiques). Les deux ont échoué de la même manière.

Cela prouve que le problème n'est pas le calcul mathématique utilisé pour vérifier le score. Le problème est les « yeux » de l'IA.

L'IA a appris à reconnaître la caméra spécifique et l' éclairage spécifique de la salle d'entraînement, et non le concept général de « comportement suspect ». Elle a appris la scène, pas le concept.

L'essentiel à retenir

L'article conclut que les scores élevés que l'on voit dans les gros titres de l'actualité et les articles de recherche sont des résultats de laboratoire, pas des résultats du monde réel.

L'affirmation : « Notre IA détecte les comportements suspects avec 90 % de précision ! »
La réalité : « Notre IA détecte les comportements suspects avec 90 % de précision seulement si vous ne déplacez jamais la caméra vers un autre bâtiment, ne changez pas l'éclairage ou ne regardez pas une autre rue. »

Tant que l'IA ne pourra pas gérer une nouvelle caméra sans être réentraînée de zéro, ces systèmes ne sont pas prêts pour un déploiement dans le monde réel. L'article avertit que se fier à ces indices de référence actuels revient à faire confiance à une carte qui ne fonctionne que dans votre propre jardin.

Résumé technique : L'AUC de référence n'est pas une fiabilité déployable

Énoncé du problème
Le domaine de la détection d'anomalies vidéo (VAD) pour la surveillance repose lourdement sur les scores élevés de ROC-AUC au niveau des trames rapportés sur les benchmarks standards (ex. UCSD Ped1/2, CUHK Avenue, ShanghaiTech). Cependant, ces scores sont dérivés d'un cadre de type « même jeu de données » où les modèles sont entraînés et testés sur la même caméra, la même scène et dans les mêmes conditions. L'article soutient que cette hypothèse ne tient pas dans le déploiement réel, où un modèle calibré sur une scène doit détecter des anomalies sur une caméra ou un environnement complètement différents. La question centrale est la suivante : Quelle part de la performance rapportée survit lorsque l'hypothèse d'une scène partagée est abandonnée ?

Méthodologie
Les auteurs mènent un audit inter-jeux de données en utilisant un cadre délibérément simple, non supervisé et reproductible afin d'isoler la capacité de généralisation de caractéristiques (features) prêtes à l'emploi.

Architecture du modèle : L'étude utilise des plongements (embeddings) figés et pré-entraînés provenant de quatre backbones distincts : CLIP ViT-B/32, DINOv2 ViT-S/14, ResNet-50 et EfficientNet-B0. Aucun ajustement fin (fine-tuning) n'est effectué.
Score d'anomalie : Un « modèle de normalité » est construit uniquement à partir des trames normales (sans anomalie) d'un jeu de données source. Les scores d'anomalie pour les trames de test sont générés à l'aide d'une distance de k-plus proches voisins (kNN) (spécifiquement, $1 - \text{moyenne de la similitude cosinus}$ par rapport aux $k=5$ plus proches voisins des plongements normaux d'entraînement).
Protocole d'audit : Les auteurs évaluent chaque combinaison des quatre backbones et des quatre jeux de données (UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech). Cela donne lieu à 64 évaluations : 16 « même jeu de données » (diagonale) et 48 paires « inter-jeux de données » (hors diagonale).
Métriques : La métrique principale est l'AUC-ROC au niveau des trames. De plus, les auteurs rapportent le taux d'erreur équitable (EER) et le taux opérationnel de fausses alarmes (alarmes par heure) à un taux de rappel fixe de 0,9 (en supposant 10 fps).
Expérience de contrôle : Pour s'assurer que l'échec n'est pas spécifique au scoreur kNN, les auteurs ont réévalué les plongements à l'aide d'un détecteur de type distance de Mahalanobis PaDiM (un modèle gaussien paramétrique et global) sur trois des jeux de données.

Résultats clés
L'audit révèle un effondrement catastrophique des performances lorsqu'on passe d'un cadre calibré (même jeu de données) à un cadre de déploiement (inter-jeux de données) :

Effondrement vers le hasard :
- AUC même jeu de données : Moyenne de 0,704 à travers tous les backbones.
- AUC inter-jeux de données : Moyenne de 0,499, ce qui est statistiquement indiscernable du hasard pur (0,5).
- Dans plusieurs paires inter-jeux de données, la performance tombe en dessous du hasard (ex. 0,340), indiquant que le modèle classifie activement les trames normales d'une nouvelle scène comme des anomalies.
Le backbone le plus « fort » est celui qui échoue le plus :
- DINOv2, qui atteint l'AUC la plus élevée pour le même jeu de données (jusqu'à 0,901 sur Ped2), subit la plus grande chute de performance (écart de 0,235) et la moyenne la plus basse en inter-jeux de données (0,490).
- Les auteurs concluent que les représentations capturant les détails fins de la scène (apparence spécifique à la caméra/scène) sont précisément celles qui échouent à se généraliser, car elles apprennent la « caméra » plutôt que le « concept d'anomalie ».
Faisabilité opérationnelle :
- Même à un point de fonctionnement favorable (rappel de 90 %), le taux médian de fausses alarmes est prohibitif.
- Inter-jeux de données : ~~31 931 fausses alarmes par heure (~~9 par seconde).
- Même jeu de données : ~~26 406 fausses alarmes par heure (~~7 par seconde).
- Les auteurs soutiennent que de tels volumes rendent le tri humain impossible, transformant le flux vidéo en bruit quel que soit le score AUC.
Robustesse de la conclusion :
- Le remplacement du scoreur kNN par le détecteur de Mahalanobis reproduit l'effondrement de manière presque identique (écart inter-jeux de données de 0,208 contre 0,202 pour kNN). Cela confirme que l'échec réside dans la représentation de caractéristique figée (l'encodeur), et non dans le mécanisme de score d'anomalie.
- Le transfert est directionnel et asymétrique : un modèle entraîné sur une scène chargée (ex. ShanghaiTech) et testé sur une scène calme (ex. UCSD) se comporte différemment de l'inverse, et aucune métrique unique ne résume la transférabilité.

Signification et revendications
L'article ne propose pas un nouveau détecteur ou une méthode pour combler l'écart. Il sert plutôt d'audit critique de l'état actuel du domaine :

Benchmark vs Réalité : Les scores AUC élevés cités dans la littérature décrivent un « cadre de laboratoire calibré » et surestiment considérablement la fiabilité déployable. Un détecteur calibré sur une scène n'est pas meilleur qu'un lancer de pièce sur une autre.
Métriques trompeuses : La corrélation entre l'AUC du même jeu de données et le taux de base des anomalies dans le jeu de test suggère que les scores de référence confondent la « détectabilité » avec la « construction du jeu de données ».
Limites de la représentation : Dans le régime des caractéristiques figées et prêtes à l'emploi, il existe un compromis entre la qualité de la représentation intra-domaine et la généralisation inter-scènes. De meilleurs backbones ne comblent pas l'écart de généralisation ; ils l'élargissent souvent.
Appel à des métriques opérationnelles : Les auteurs affirment que la faisabilité est déterminée par le point de fonctionnement (taux de fausses alarmes), et non par l'AUC. Ils soutiennent que les rapports futurs doivent inclure les chiffres inter-jeux de données et les taux de fausses alarmes opérationnels avant que des affirmations de déployabilité ne puissent être faites.

L'article conclut que les benchmarks actuels de la VAD ne reflètent pas les défis de la surveillance réelle et que le domaine doit changer de priorité, passant de la maximisation de l'AUC du même jeu de données à l'obtention d'une modélisation de la normalité invariante à la scène ou adaptée au domaine.