🤖 machine learning

Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Cet article démontre que l'évaluation par division de classes au sein d'un même jeu de données pour la détection d'anomalies peut devenir mal posée et produire des scores instables ou inversés lorsque les classes d'anomalies exclues chevauchent les données normales dans l'espace de représentation, proposant un diagnostic sans entraînement appelé « fuite de classe de voisinage » (neighborhood class leakage) pour prédire de tels échements à travers divers ensembles de données et espaces de caractéristiques.

Auteurs originaux : Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : « Tester le test »

Imaginez que vous êtes un enseignant essayant de tester si un élève est capable de repérer une pomme « fausse ». Vous avez un panier contenant 10 types de vraies pommes (Red Delicious, Granny Smith, Gala, etc.).

Le test standard (Division par classes) :
Pour créer le test, vous décidez que 9 types de pommes sont « Normaux » et que le 10ème type est l’« Anomalie » (la fausse). Vous entraînez l'élève uniquement sur les 9 types normaux. Ensuite, vous lui présentez un mélange des 9 types normaux et du 10ème type, en lui demandant de désigner les fausses.

L'article soutient que ce test est défectueux dans de nombreux cas. Parfois, la pomme « fausse » (le 10ème type) ressemble tellement aux vraies que l'élève s'embrouille. Pire encore, selon le type de pomme que vous choisissez comme étant la « fausse », l'élève peut commencer à désigner les vraies pommes comme étant les fausses, ou il peut simplement deviner au hasard.

Le problème central : « La foule qui se chevauche »

Les auteurs ont découvert que dans de nombreux ensembles de données d'images (comme CIFAR-10 ou Imagenette), la classe « anomalie » n'est pas réellement éloignée des classes « normales » dans l'esprit de l'ordinateur.

La métaphore : Imaginez une fête bondée.
- Groupe Normal : Un mélange de personnes portant des chemises rouges, bleues et vertes.
- Groupe Anomalie : Des personnes portant des chemises jaunes.
- Le Problème : Dans cette fête spécifique, les personnes en chemises jaunes se trouvent juste au milieu des personnes en bleu et en vert. Elles sont si bien mélangées qu'on ne peut pas les distinguer simplement en regardant qui se tient à côté de qui.

Quand l'ordinateur essaie de trouver « l'intrus », il s'embrouille.

L'effondrement : Le score de l'ordinateur pour déterminer « à quel point ceci est bizarre » chute au niveau du hasard (50/50).
L'inversion : Parfois, l'ordinateur se trompe de sens. Il pense que les chemises jaunes « bizarres » sont en fait les « normales », et que les chemises bleues « normales » sont les bizarres.

La confusion de « Direction »

La partie la plus dangereuse de ce problème est l'instabilité de direction.

Scénario A : Si vous choisissez le « Jaune » comme anomalie, l'ordinateur apprend : « Score élevé = Bizarre ».
Scénario B : Si vous choisissez le « Violet » comme anomalie, l'ordinateur apprend : « Score faible = Bizarre ».

Si vous ne savez pas quelle classe est l'anomalie à l'avance (ce qui est le cas dans la vraie vie), l'ordinateur n'a aucune règle cohérente. C'est comme une boussole qui indique le Nord quand vous êtes à New York, mais qui indique le Sud quand vous êtes à Londres. Vous ne pouvez pas lui faire confiance pour vous guire.

Le nouvel outil : « La fuite de voisinage » (Neighborhood Leakage)

Les auteurs ont inventé un moyen simple et gratuit de vérifier si un test est défectueux avant même de lancer le détecteur d'anomalies. Ils appellent cela la Fuite de voisinage.

L'analogie : Imaginez que vous regardez une personne dans une foule. Vous regardez ses 10 voisins les plus proches.
- Faible fuite : Les 10 voisins portent la même couleur de chemise que la personne. Les groupes sont propres et séparés. Le test est probablement valide.
- Forte fuite : La personne porte une chemise rouge, mais 8 de ses 10 voisins les plus proches portent des chemises bleues, vertes ou jaunes. Les groupes sont mélangés.

L'article montre que si vous avez une Forte fuite, vos résultats de test seront instables, inversés ou aléatoires. C'est un « signal d'alarme » qui dit : « Stop ! La géométrie de ces données est trop désordonnée pour que ce test spécifique fonctionne. »

Ce qu'ils ont trouvé

Ils ont testé cela sur trois ensembles de données d'images célèbres :

Fashion-MNIST (Simple) : Les vêtements sont distincts. La fuite est faible. Le test fonctionne assez bien.
CIFAR-10 & Imagenette (Complexe) : Ils contiennent des voitures, des animaux et des oiseaux. Les classes « anomalie » se chevauchent souvent fortement avec les classes « normales ».
- Résultat : Forte fuite.
- Conséquence : Les tests ont montré une instabilité massive. Parfois, l'« anomalie » était classée comme la chose la plus normale de la pièce.

À retenir

L'article conclut que nous ne devrions pas croire aveuglément les tests de « Division par classes » (où l'on cache une catégorie pour qu'elle serve d'anomalie) comme preuve qu'une IA est douée pour trouver des anomalies.

Ancienne vue : « Si l'IA obtient un score élevé, c'est qu'elle est intelligente pour trouver des anomalies. »
Nouvelle vue : « Si l'IA obtient un score élevé, elle est peut-être simplement douée pour exploiter une particularité spécifique de ce test précis. Nous devons d'abord vérifier la "Fuite". Si les groupes sont mélangés, le test est un "test de résistance" de la forme des données, et non une preuve de la compétence de l'IA. »

En bref : Avant de faire confiance à un test qui dit « Cette IA peut trouver l'intrus », vérifiez si l'« intrus » ne se cache pas en plein milieu des autres. Si c'est le cas, les résultats du test n'ont aucune valeur.

Résumé Technique : Tester le Test : Instabilité de la Direction du Score dans la Détection d'Anomalies par Division de Classes

1. Énoncé du Problème

L'évaluation par division de classes au sein d'un même jeu de données est un protocole standard en détection d'anomalies (AD), où des classes sémantiques spécifiques sont désignées comme « normales » et d'autres comme « anormales » pour simuler la détection de hors-distribution (OOD). Bien qu'attrayante car elle évite de recourir à des sources de données externes, cet article soutient que ce protocole peut devenir mal posé dans un sens opérationnel précis lorsque la classe « anomalie » choisie chevauche de manière significative le mélange « normal » dans l'espace de représentation.

Le mode de défaillance central identifié est l'instabilité de la direction du score dépendante de la classe. Lorsque la classe d'anomalie mise de côté se situe dans ou près des régions de haute densité du mélange normal, les scores d'anomalie peuvent s'effondrer vers le hasard (AUROC $\approx$ 0,5) ou, plus grave encore, s'inverser (AUROC < 0,5). Dans ces régimes, la direction de l'« anormalité » (si un score élevé ou faible indique une anomalie) dépend de la classe d'anomalie spécifique et inconnue. Par conséquent, les conclusions des benchmarks deviennent fragiles, récompensant potentiellement des méthodes qui exploitent des particularités propres au jeu de données plutôt que de démontrer des capacités de détection OOD robustes et inconditionnelles.

2. Méthodologie

Les auteurs proposent un cadre pour diagnostiquer et quantifier cette instabilité sans nécessiter d'entraînement supplémentaire.

Diagnostic : Fuite de Classe de Voisinage
L'article introduit une métrique simple, sans entraînement, appelée fuite de classe de voisinage ( $L_k$ ), pour quantifier le chevauchement entre les variétés conditionnelles de classes dans un espace de représentation $r(x)$ fixe.

Définition : Pour un échantillon $x_i$ , la fuite $\ell_k(i)$ est la fraction de ses $k$ -plus proches voisins (dans l'espace de représentation) qui appartiennent à une classe sémantique différente.
Agrégation : L'indice de l'ensemble de données $L_k$ est la moyenne des fuites sur tous les échantillons.
Raisonnement : Une fuite élevée indique que la géométrie locale ne s'aligne pas avec la structure des classes sémantiques. Si une classe d'anomalie occupe des régions densément peuplées par des échantillons normaux, les scores d'AD standards (basés sur la distance à la normalité ou la densité locale) échoueront à les séparer de manière cohérente.

Métriques d'Instabilité
Pour caractériser la fiabilité du benchmark, les auteurs définissent plusieurs statistiques basées sur le protocole « K-1 vs 1 » (itérant à travers chaque classe comme étant l'anomalie mise de côté) :

Dispersion de l'AUROC : Variance des scores AUROC à travers les différentes classes mises de côté.
Taux de Proximité du Hasard ( $\rho_{rnd}$ ) : Fréquence des scores AUROC tombant près de 0,5.
Taux d'Inversion ( $\rho_{inv}$ ) : Fréquence des scores AUROC tombant en dessous de 0,5.
Taux d'Instabilité de Direction ( $\rho_{dir}$ ) : Mesure de la fréquence à laquelle la direction de score préférée (déviation positive ou négative par rapport au hasard) bascule en fonction de la classe d'anomalie.

Configuration Expérimentale
L'étude évalue trois jeux de données de complexité croissante :

Fashion-MNIST : Utilisé comme contrôle négatif (faible chevauchement).
CIFAR-10 : Complexité intermédiaire.
Imagenette : Haute complexité.

Ces jeux sont testés dans deux espaces de représentation :

Espace des Pixels : Entrées brutes vectorisées.
Espace Latent VAE : Caractéristiques encodées à partir d'un auto-encodeur variationnel entraîné uniquement sur le pool normal.

Trois scoreurs d'AD inconditionnels standards sont appliqués : k-Nearest Neighbors (kNN), Isolation Forest et Local Outlier Factor (LOF).

3. Résultats Clés

Les résultats empiriques démontrent une forte corrélation entre une fuite de voisinage élevée et l'instabilité du benchmark :

Fashion-MNIST : Présente une faible fuite ( $L_k \approx 0,24$ ) et un comportement stable, avec de faibles taux d'inversion et d'instabilité de direction.
CIFAR-10 et Imagenette : Présentent une fuite élevée ( $L_k > 0,76$ ) dans les espaces de pixels et latents. Ces jeux de données montrent des taux d'inversion substantiels (jusqu'à 50 %) et des taux d'instabilité de direction élevés (jusqu'à 63 %).
Cohérence : L'instabilité persiste à travers différentes familles de scoreurs (kNN, Isolation Forest, LOF) et espaces de représentation, suggérant que l'échec est inhérent au chevauchement géométrique des données plutôt qu'à un défaut spécifique du détecteur.
Variance par Classe : Dans l'espace des pixels de CIFAR-10, certaines classes d'anomalies produisent des scores AUROC significativement inférieurs au hasard, tandis que d'autres produisent des scores bien supérieurs au hasard, malgré l'utilisation de la même convention de score.

4. Contributions

L'article apporte trois contributions principales :

Formalisation d'un Mode de Défaillance : Il identifie et formalise l'instabilité de la direction du score dépendante de la classe comme un mode de défaillance pratique de l'évaluation par division de classes au sein d'un même jeu de données, pilotée par le chevauchement normal-anomalie.
Diagnostic sans Entraînement : Il propose l'indice de fuite de voisinage ( $L_k$ ) comme une vérification simple, pré-évaluation, pour prédire quand un benchmark de division de classes est susceptible de produire des classements peu fiables ou inversés.
Validation Empirique : Il valide le phénomène à travers une matrice contrôlée de jeux de données, de représentations et de scoreurs, démontrant qu'une fuite élevée prédit l'instabilité indépendamment de la méthode d'AD utilisée.

5. Signification et Revendications

L'article soutient que les benchmarks par division de classes ne doivent pas être traités comme une preuve inconditionnelle de capacité de détection d'anomalies. Au lieu de cela, ils doivent être considérés comme des tests de résistance dépendant de la géométrie.

Rejet de la « Ré-inversion » : Les auteurs rejettent l'idée qu'une « meilleure » méthode d'AD puisse simplement « ré-inverser » les classements pour corriger un faible AUROC. Si la direction de l'anomalie dépend du type d'anomalie inconnu, une méthode qui atteint un AUROC élevé sur une division spécifique peut exploiter des corrélations idiosyncrasiques entre les étiquettes de classe et la géométrie plutôt que d'apprendre une notion de atypicité class-agnostic.
Interprétation des Benchmarks : L'indice de fuite sert de vérification de précondition. Une faible fuite soutient l'interprétation que l'AUROC mesure la séparation par rapport au mélange normal. Une fuite élevée, couplée à des taux d'inversion ou d'instabilité de direction élevés, indique que le benchmark sonde une géométrie chevauchante plutôt qu'une anomalie sémantique cohérente.
Recommandation : Les auteurs suggèrent que les futurs benchmarks de division de classes devraient rapporter les diagnostics de fuite et d'instabilité de direction avant que leurs résultats ne soient utilisés pour revendiquer des capacités de détection OOD inconditionnelles.