How to pick the best anomaly detector?

Cet article présente la métrique ARGOS, un outil piloté par les données, théoriquement fondé et empiriquement robuste, pour sélectionner les modèles de détection d'anomalies les plus sensibles de manière agnostique au modèle, démontrant sa supériorité par rapport aux métriques existantes telles que la perte d'entropie croisée binaire dans des tâches telles que le réglage des hyperparamètres et la sélection de caractéristiques.

L'essentiel

Imaginez que vous soyez un détective essayant de trouver un voleur unique, minuscule et invisible, caché dans une foule immense de 1 000 000 de personnes innocentes. C'est essentiellement ce que font les physiciens du Grand Collisionneur de Hadrons (LHC) lorsqu'ils cherchent une « nouvelle physique » (comme une nouvelle particule) cachée dans une mer de données ordinaires.

Le problème n'est pas seulement de trouver le voleur ; c'est qu'ils ne savent pas à quoi ressemble le voleur. Ils ne peuvent pas dire : « Cherchez un homme avec un chapeau rouge ». Au lieu de cela, ils doivent utiliser des programmes informatiques (détecteurs d'anomalies) pour repérer quiconque semble bizarre ou hors de propos par rapport à la foule.

Pendant longtemps, les scientifiques ont été confrontés à un gros problème : comment décider quel programme informatique est le meilleur détective ?

Habituellement, pour tester un détective, on lui présente une file de criminels connus et on regarde qui les attrape. Mais dans ce cas, les « criminels » (la nouvelle physique) sont inconnus. Si vous testez votre détective sur un faux criminel, vous risquez de choisir un détective qui est excellent pour attraper ce faux criminel spécifique, mais médiocre pour trouver le vrai.

Ce document présente une nouvelle méthode ingénieuse pour choisir le meilleur détective sans jamais avoir besoin de voir le criminel. Ils appellent cet outil ARGOS.

L'idée centrale : Le « Modèle de Fond » (Background Template)

Pour comprendre ARGOS, imaginez que vous avez une foule immense de personnes innocentes (le « Fond » ou « Background »). Vous avez également une zone spécifique où le voleur est susceptible de se cacher (la « Région du Signal »).

• L'ancienne méthode (Perte BCE) : Traditionnellement, les scientifiques entraînaient leurs ordinateurs en leur demandant : « Pouvez-vous faire la différence entre ce faux criminel et la foule innocente ? » Ils utilisaient un score appelé « Entropie Croisée Binaire » (BCE). Le problème est que ce score est comme un professeur qui noterait un élève sur un examen dont il connaît déjà les réponses. L'ordinateur devient très doué pour repérer de minuscules différences aléatoires entre la foule et le faux criminel, mais il échoue à repérer l'étrangeté réelle du véritable voleur. C'est comme un élève qui mémorise les réponses du test mais échoue au véritable examen.

• La nouvelle méthode (ARGOS) : ARGOS change la donne. Au lieu de demander à l'ordinateur de distinguer deux groupes, il lui demande : « Si vous choisissez les 10 % des personnes les plus bizarres de la foule, combien d'entre elles se trouvent réellement dans la "Zone du Voleur" par rapport à ce que vous attendriez par pur hasard ? »

Voyez cela comme ceci :

1. Vous avez une carte de l'endroit où le voleur devrait se trouver (la Région du Signal).
2. Vous avez un « Modèle de Fond », qui est une carte parfaite de ce à quoi ressemble la foule innocente dans cette même zone.
3. ARGOS vérifie : « Si je sélectionne les personnes les plus suspectes, est-ce que le nombre de personnes que je trouve dans la "Zone du Voleur" augmente de manière significative par rapport à ce que j'attendrais de la foule innocente ? »

Si la réponse est « Oui, beaucoup plus que prévu », ARGOS donne un score élevé à ce détective. Si la réponse est « Non, c'est juste du bruit aléatoire », le score est bas.

Pourquoi ARGOS est-il meilleur ?

Les auteurs ont testé cette nouvelle métrique par rapport à l'ancienne norme (BCE) en utilisant trois types différents de « détectives » (modèles d'apprentissage automatique) et trois façons différentes de créer la carte de la « foule innocente ».

Voici ce qu'ils ont trouvé, en utilisant des analogies simples :

1. Choisir le meilleur « Jour d'entraînement » (Sélection d'époque/Epoch Selection)
Imaginez entraîner un détective pendant 100 jours. Au 10ème jour, il est correct. Au 50ème jour, il est excellent. Au 90ème jour, il peut devenir confus et commencer à voir des fantômes (surapprentissage/overfitting).

• L'ancienne méthode : Le score BCE leur disait d'arrêter l'entraînement au 20ème jour parce que le « score de test » semblait bon. Mais le détective était en fait en train de mémoriser le test, et non d'apprendre à repérer le voleur.
• La nouvelle méthode (ARGOS) : ARGOS a attendu jusqu'au 50ème jour. Il a ignoré les détails mineurs et confus pour se concentrer sur l'image globale : « Est-ce que nous trouvons réellement plus de personnes dans la zone du voleur ? » Il a réussi à choisir les jours où le détective était réellement affûté.

2. Régler les paramètres du détective (Hyperparamètres)
Les détectives ont des réglages (comme la sensibilité de leurs yeux).

• L'ancienne méthode : Ajuster les réglages pour minimiser le « score de test » rendait souvent le détective trop sensible au bruit. Ils signalaient des innocents comme suspects simplement parce qu'ils clignotaient différemment.
• La nouvelle méthode (ARGOS) : Ajuster les réglages pour maximiser ARGOS rendait le détective meilleur pour ignorer le bruit et se concentrer sur les véritables anomalies. C'était beaucoup plus stable, surtout lorsque le « voleur » était très difficile à trouver (faible signal).

3. Choisir le bon détective (Sélection d'architecture)
Parfois, vous devez choisir entre un détective humain, un robot ou un chien.

• L'ancienne méthode : Le score BCE choisissait souvent le « mauvais » type de détective, menant à des résultats incohérents. Parfois, il choisissait un robot qui était excellent pour le test mais inutile sur le terrain.
• La nouvelle méthode (ARGOS) : Il a systématiquement choisi l'architecture qui performait le mieux dans le scénario réel, même lorsque la carte de la « foule innocente » n'était pas parfaite.

Le test du « Monde Réel »

Les auteurs n'ont pas seulement travaillé sur des données fictives et parfaites. Ils ont utilisé un ensemble de données réalistes appelé « LHC Olympics », qui simule les conditions désordonnées et bruyantes d'une expérience de physique réelle.

Ils ont constaté que même lorsque le « Modèle de Fond » (la carte de la foule innocente) n'était pas parfait, ARGOS fonctionnait toujours. Il était robuste. Il ne se laissait pas confondre par le bruit.

L'essentiel

Le document affirme qu'ARGOS est le meilleur outil dont nous disposons actuellement pour choisir le meilleur détecteur d'anomalies pour trouver la nouvelle physique.

• Il est « Indépendant du modèle » (Model-Agnostic) : Peu importe le type de nouvelle physique que vous recherchez. Il cherche simplement toute bizarrerie.
• Il est « Basé sur les données » (Data-Driven) : Vous n'avez pas besoin de connaître l'aspect du signal pour l'utiliser. Vous avez juste besoin d'une bonne carte du fond.
• Il bat l'ancienne norme : Dans chaque test effectué (choix des jours d'entraînement, réglage des paramètres, choix des modèles), ARGOS a conduit à de meilleurs résultats que le score traditionnel de l'« Entropie Croisée Binaire ».

En bref, si vous essayez de trouver une aiguille dans une botte de foin sans savoir à quoi ressemble l'aiguille, ARGOS est la nouvelle façon plus intelligente de choisir l'aimant qui la trouvera.

Résumé technique

Résumé Technique : Sélection du meilleur détecteur d'anomalies via la métrique ARGOS

Énoncé du Problème
La prolifération rapide de méthodes d'apprentissage automatique (ML) agnostiques au modèle pour la détection d'anomalies au Grand Collisionneur de Hadrons (LHC) — telles que les auto-encodeurs et les classificateurs faiblement supervisés — a créé un défi de taille : comment sélectionner objectivement le « meilleur » détecteur d'anomalies pour un ensemble de données donné sans dépendre de modèles de signaux spécifiques. Actuellement, le domaine manque d'une approche systématique pour l'optimisation des modèles. Les chercheurs s'appuient généralement sur des métriques comme l'entropie croisée binaire (BCE) ou l'aire sous la courbe (AUC), qui nécessitent des étiquettes de vérité (truth labels) et des signaux de référence. Cependant, dans un véritable scénario de détection d'anomalies, le signal est inconnu ; s'appuyer sur des signaux de référence spécifiques pour ajuster les modèles risque de biaiser la recherche contre les signaux réellement présents dans les données. Par conséquent, les analyses expérimentales existantes manquent souvent d'optimisation systématique des modèles, se contentant par défaut des paramètres des publications originales des méthodes ou utilisant de petits ensembles de signaux de référence pour le réajustement.

Méthodologie : La métrique ARGOS
Pour répondre à cela, les auteurs introduisent ARGOS (Above Random Gain Of SIC), une métrique entièrement pilotée par les données conçue pour sélectionner le détecteur d'anomalies le plus sensible. La métrique nécessite uniquement les données non étiquetées et un Modèle de Fond (BT - Background Template) — un échantillon d'événements suivant la distribution du fond du Modèle Standard (SM) dans la région de signal (SR).

ARGOS est définie par :
$$\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}$$
où $\epsilon_{SR}$ et $\epsilon_{BT}$ sont les efficacités de sélection des événements dans la région de signal et le modèle de fond, respectivement, pour un seuil de score d'anomalie donné.

L'analyse théorique démontre que pour un modèle de fond idéal, ARGOS est monotone avec la Caractéristique d'Amélioration de la Signification (SIC), définie par $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. Contrairement à la SIC, qui ne peut pas être calculée pour des données réelles non étiquetées, ARGOS est accessible en utilisant uniquement les données et le modèle de fond. Les auteurs soutiennent que la maximisation de l'ARGOS maximise efficacement la sensibilité aux signaux inconnus tout en permettant l'optimisation simultanée du point de fonctionnement du détecteur d'anomalies.

Configuration Expérimentale
Les auteurs ont évalué l'ARGOS en utilisant le jeu de données de R&D de l'LHC Olympics 2020 (LHCO), comprenant $10^6$ événements de fond de jets de QCD et des signaux de résonance $W'$ injectés ($m_{W'} = 3,5$ TeV). Ils ont testé trois méthodes distinctes pour construire le modèle de fond :

1. Détecteur d'Anomalies Idéal (IAD) : Utilise des événements de fond simulés (BT parfait).
2. CWoLa Hunting : Utilise des données provenant de bandes latérales (sidebands) adjacentes à la région de signal.
3. CATHODE : Utilise l'estimation de densité conditionnelle pour interpoler les distributions des bandes latérales dans la région de signal.

Trois architectures de classificateurs ont été employées : des perceptrons multicouches (MLP), le HistGradientBoosting (HGB) et l'AdaBoost. L'étude s'est concentrée sur la détection d'anomalies résonantes faiblement supervisée, où un classificateur distingue entre des ensembles de données à étiquettes mixtes.

Résultats Clés
L'article compare l'ARGOS à la perte BCE standard et à la métrique supervisée « max SIC » à travers quatre tâches d'optimisation :

1. Sélection des Époques : Lors de la sélection des meilleures époques d'entraînement pour l'ensemble, les modèles optimisés via l'ARGOS ont systématiquement surpassé ceux sélectionnés via la BCE. La BCE échoue souvent à identifier les époques optimales, particulièrement lors de faibles injections de signal, car elle est dominée par la classe majoritaire du fond et sujette au surapprentissage des fluctuations statistiques. L'ARGOS, en se concentrant sur les événements à score d'anomalie élevé, suit beaucoup plus étroitement la véritable sensibilité du signal (max SIC).
2. Optimisation des Hyperparamètres : Dans des recherches aléatoires sur des espaces d'hyperparamètres, l'ARGOS présente une forte corrélation avec la véritable valeur max SIC, surpassant de manière significative la BCE. L'optimisation par la BCE conduit souvent à des configurations sous-optimales qui minimisent la perte sur les différences de fond plutôt que d'améliorer la sensibilité au signal.
3. Sélection d'Architecture : En choisissant entre différentes architectures de classificateurs (NN vs HGB vs AdaBoost), l'ARGOS sélectionne des architectures dont les performances sont presque identiques à la référence de la max SIC supervisée. En revanche, la sélection basée sur la BCE entraîne une plus grande variance de performance et, dans certains cas (par exemple, CWoLa Hunting), sélectionne des architectures inférieures.
4. Sélection de Caractéristiques : Une étude de preuve de concept a démontré que l'ARGOS pouvait identifier avec succès les ensembles de caractéristiques les plus sensibles (par exemple, les rapports de subjettiness étendus) sans connaissance préalable du signal, sélectionnant de manière fiable l'ensemble « Extended 3 » lors d'injections de signal élevées.

Signification et Revendications
Les auteurs affirment que l'ARGOS fournit un fondement théorique solide pour la sélection de modèles en détection d'anomalies, offrant une alternative robuste et pilotée par les données aux métriques dépendant des étiquettes de vérité. La principale portée de ce travail est la démonstration que l'ARGOS peut sélectionner de manière robuste le modèle de détection d'anomalies le plus sensible, ajuster les hyperparamètres et choisir des architectures sans introduire de biais de signal.

L'article souligne que l'ARGOS n'est pas limité au contexte spécifique de la supervision faible testé ici, mais est applicable à toute méthode de détection d'anomalies (incluant les auto-encodeurs et les estimateurs de densité) pourvu qu'un modèle de fond soit disponible. Les auteurs concluent que bien que l'ARGOS soit actuellement plus efficace avec des modèles de fond précis, il représente une étape critique vers une optimisation systématique et agnostique au modèle dans les recherches en physique des hautes énergies. Ils notent que des travaux futurs sont nécessaires pour étudier les biais potentiels introduits par des modèles de fond imparfaits dans les tâches de sélection de caractéristiques.