Sensitivity to New Physics Phenomena in Anomaly Detection: A Study of Untunable Hyperparameters

Ce document évalue systématiquement la sensibilité de quatre méthodes de détection d'anomalies semi-supervisées aux hyperparamètres non ajustables dans la recherche de la physique au-delà du Modèle Standard et propose un test de permutation non paramétrique robuste pour l'évaluation statistique.

L'essentiel

Imaginez que vous êtes un détective essayant de trouver un voleur unique, minuscule et invisible dans une foule immense de 10 millions d'innocents. Vous ne savez pas à quoi ressemble le voleur, vous ne savez pas comment il est habillé, et vous ne savez même pas s'il est réellement présent. Vous savez seulement à quoi ressemblent les gens « normaux ».

C'est exactement le défi auquel les physiciens des particules sont confrontés au Grand Collisionneur de Hadrons (LHC). Ils font entrer en collision des protons pour créer une tempête de particules. La plupart du temps, ces particules se comportent exactement comme prévu par le « Modèle Standard » (le livre de règles de la physique). Mais parfois, une nouvelle particule inconnue peut apparaître — un signal de la « Nouvelle Physique ». L'objectif est de repérer cet étranger sans savoir à l'avance de quoi il a l'air.

Ce document est une étude sur la manière de construire les meilleurs outils de « détection de différences » (appelés algorithmes de Détection d'Anomalies) pour trouver ces étrangers, en se concentrant spécifiquement sur un problème délicat : À quel point le réglage du « bouton » interne de l'outil importe-t-il si vous ne pouvez pas le régler ?

Voici la décomposition de leurs conclusions en utilisant des analogies simples :

1. Les Outils : Quatre façons différentes de repérer le voleur

Les chercheurs ont testé quatre algorithmes informatiques différents, chacun ayant une façon différente de concevoir la « normalité » :

• Auto-encodeurs (AE) & Deep-SVDD : Considérez-les comme des artistes de la mémoire de haute technologie. Ils sont entraînés pour mémoriser les visages des 10 millions d'innocents. Lorsqu'une nouvelle personne arrive, l'artiste essaie de la dessiner de mémoire. Si le dessin ne ressemble pas du tout à la personne réelle (une erreur de reconstruction élevée), l'artiste hurle : « Anomalie ! »
• Isolation Forest (iForest) : Imaginez un jeu de « Couper le Gâteau ». Vous coupez la foule de manière aléatoire. Les gens normaux sont au cœur de la foule, il faut donc de nombreuses tranches pour les isoler. Un voleur debout seul sur le bord sera isolé avec seulement une ou deux tranches. L'algorithme compte combien de coupes ont été nécessaires pour l'isoler. Moins de coupes = plus suspect.
• Histogram-based Outlier Score (HBOS) : C'est comme un recenseur. Ils comptent combien de personnes tombent dans des catégories spécifiques (par exemple, « porte un chapeau », « tient un sac »). Si une personne tombe dans une catégorie presque vide, elle est signalée comme une anomalie.

2. Le Problème : Les boutons « non réglables »

Chacun de ces outils possède un réglage difficile à ajuster car vous ne disposez pas d'une « clé de correction » (puisque vous ne savez pas encore à quoi ressemble la nouvelle physique).

• Pour les Artistes de la Mémoire, c'est la taille de leur « carnet de croquis » (le niveau de détail qu'ils peuvent mémoriser).
• Pour le Coupeur de Gâteau, c'est le nombre de tranches qu'il est autorisé à faire.
• Pour le Recenseur, c'est le nombre de catégories qu'il crée.

Les chercheurs ont demandé : « Si nous changeons ces réglages, notre capacité à trouver le voleur change-t-elle radicalement ? »

3. Les Résultats : Une stabilité surprenante

L'étude a révélé quelque chose de très rassurant : les outils sont étonnamment robustes.

• Le mythe du « Juste Milieu » : On pourrait penser qu'il existe un réglage parfait (ni trop grand, ni trop petit) pour le carnet de croquis ou le nombre de tranches. Les chercheurs ont découvert que pour la plupart des signaux, cela n'a pas beaucoup d'importance. Que le carnet soit petit ou immense, l'artiste repère le voleur à peu près au même moment.
• Superficiel vs Profond : Les outils plus simples (iForest et HBOS) et les outils de deep learning plus complexes (AE et Deep-SVDD) ont des performances similaires. Les outils complexes ne deviennent pas magiquement bien meilleurs simplement parce qu'ils sont plus « profonds ».
• La règle de la « Meilleure Caractéristique » : L'étude a montré que ces algorithmes intelligents sont pratiquement aussi bons que la meilleure mesure physique unique que vous pourriez prendre (comme « quelle est la masse de cette particule ? »). Ils parviennent à trouver le voleur sans avoir besoin qu'on leur dise quelle mesure est la meilleure.

4. Le Rebondissement : La façon dont vous mesurez le « succès » importe

C'est la partie la plus critique du document. Les chercheurs ont testé deux méthodes différentes pour juger si les outils fonctionnaient :

• Méthode A (Le Score Standard) : Ils ont utilisé un score standard appelé ROC AUC. C'est comme un enseignant corrigeant un examen où il connaît les bonnes réponses.
  • Résultat : Les outils semblaient excellents et les réglages n'influaient pas beaucoup.
• Méthode B (Le Test en Conditions Réelles) : Ils ont utilisé un Test de Permutation avec un nouvel outil statistique appelé Cramér (Cr). C'est comme un juge examinant deux tas de preuves (un tas de gens connus comme innocents, un tas de données mixtes) et demandant : « Ces deux tas sont-ils statistiquement différents ? »
  • Résultat : C'est là que les choses sont devenues intéressantes. Les outils de Deep Learning (les Artistes de la Mémoire) ont soudainement semblé bien meilleurs que les outils simples.
  • Pourquoi ? Les outils simples donnent des scores qui sont « plafonnés » (ils ne peuvent pas monter très haut). Les outils de Deep Learning donnent des scores qui peuvent devenir infiniment élevés si l'anomalie est assez étrange. Le nouveau test statistique (Cr) est très efficace pour détecter ces anomalies extrêmes à « longue traîne », alors que l'ancien score standard passait à côté.

5. La Conclusion : Ne misez pas tout sur un seul cheval

Le document conclut par quelques points clés pour les physiciens :

1. Ne stressez pas trop pour les « boutons » : Puisque la performance ne change pas radicalement avec les différents réglages, vous n'avez pas besoin de passer des années à chercher le réglage parfait pour votre détecteur d'anomalies.
2. Utilisez la bonne règle : Si vous voulez trouver une nouvelle physique, ne vous contentez pas du score standard (ROC AUC). Utilisez le nouveau test statistique (Cramér), car il est meilleur pour repérer les anomalies extrêmes et étranges que le deep learning parvient à débusquer.
3. Combinez vos outils : Différents outils repèrent des choses différentes. L'« Artiste de la Mémoire » (AE) et le « Chercheur de Centre Profond » (Deep-SVDD) repèrent parfois des types d'anomalies différents. Utiliser les deux ensemble est préférable à l'utilisation d'un seul.

En bref : ce document nous dit que ces outils de détection d'anomalies sont solides et fiables. Ils n'ont pas besoin d'un réglage parfait pour fonctionner, mais ils ont besoin de la bonne « règle » statistique pour mesurer leur succès, et utiliser une combinaison de différents outils offre de meilleures chances de capturer l'invisible voleur.

Résumé technique

Résumé Technique : Sensibilité aux phénomènes de Nouvelle Physique dans la Détection d'Anomalies

Énoncé du Problème
La recherche de physique au-delà du Modèle Standard (BSM) dans les expériences de collision repose de plus en plus sur des stratégies indépendantes des modèles pour éviter de manquer des signaux inattendus. Bien que les techniques de Détection d'Anomalies (AD) aient été largement étudiées pour identifier les écarts par rapport aux distributions du Modèle Standard (SM), la sensibilité de ces méthodes aux hyperparamètres « non ajustables » n'a pas été comparée de manière systématique. Dans les contextes semi-supervisés, où les modèles sont entraînés uniquement sur des données de fond du SM sans accès aux étiquettes de signal, les hyperparamètres tels que les dimensions de l'espace latent ou le nombre de bacs (bins) ne peuvent pas être optimisés via des métriques de validation standard. Par conséquent, il existe une incompréhension concernant la manière dont ces paramètres fixes influencent la capacité des modèles d'AD à détecter une nouvelle physique. De plus, l'interprétabilité statistique reste un défi, car les scores d'anomalie manquent souvent de mesures de signification bien définies pour les recherches agnostiques au signal.

Méthodologie
Cette étude examine quatre méthodes d'AD semi-supervisées entraînées exclusivement sur des événements de fond du SM simulés (collisions proton-proton à $\sqrt{s}=13$ TeV, présentant deux leptons, un jet de quarks b et une grande $H_T$). Les méthodes évaluées comprennent :

1. Auto-encodeurs (AE) : Réseaux de neurones profonds entraînés pour minimiser l'erreur de reconstruction.
2. Deep Support Vector Data Description (Deep-SVDD) : Réseaux profonds projetant les données sur une hypersphère pour minimiser la distance par rapport à un centre.
3. Histogram-based Outlier Score (HBOS) : Une méthode peu profonde estimant la densité de probabilité via des histogrammes de caractéristiques.
4. Isolation Forest (iForest) : Une méthode basée sur les arbres isolant les anomalies via des partitions aléatoires.

Les modèles ont été testés contre six signaux de référence BSM diversifiés (Quarks vectoriels lourds, Changements de saveur neutres, Radion de Randall-Sundrum, Modèle à deux champs de Higgs et Modèle symétrique gauche-droite).

L'analyse se déroule en deux étapes :

1. Sensibilité aux Hyperparamètres : Les auteurs évaluent la sensibilité de chaque méthode à des hyperparamètres spécifiques non ajustables (par exemple, la dimension de l'espace latent pour AE/Deep-SVDD, le nombre d'estimateurs pour iForest, le nombre de bacs pour HBOS) en utilisant l'Aire Sous la Courbe de la Caractéristique de Réponse à la Recepción (ROC AUC) comme métrique de discrimination.
2. Signification Statistique : Pour répondre à l'absence d'étiquettes de signal dans les recherches réelles, l'article propose un test de permutation non paramétrique utilisant des statistiques agnostiques au signal. Deux statistiques de test sont introduites :
   • $M_\Delta$ : La différence maximale entre les fonctions de répartition empiriques (eCDF), inspirée du test de Kolmogorov-Smirnov.
   • Statistique de Cramér ($Cr$) : L'intégrale de la différence au carré entre les eCDF, reconnue pour sa sensibilité aux queues de distribution.
     Le test de permutation évalue l'hypothèse nulle ($H_0$) selon laquelle l'échantillon d'analyse (données) et l'échantillon de contrôle (simulation SM) proviennent de la même distribution.

Contributions Clés

• Analyse Systématique des Hyperparamètres : L'article fournit une étude comparative de la manière dont les hyperparamètres non ajustables affectent les performances de quatre architectures d'AD distinctes à travers de multiples scénarios BSM.
• Découplage de la Reconstruction et de la Sensibilité : L'étude démontre que pour les Auto-encodeurs, l'amélioration de la qualité de reconstruction du fond (mesurée par $R^2$) ne corrèle pas nécessairement avec une amélioration de la discrimination du signal. La sensibilité dépend de la différence relative de l'erreur de reconstruction entre le signal et le fond plutôt que de la qualité absolue de la reconstruction du fond.
• Cadre Statistique Agnostique au Signal : Les auteurs introduisent un cadre de test statistique robuste utilisant des tests de permutation et la statistique $Cr$. Cela permet d'évaluer les preuves de nouvelle physique sans connaissance préalable de l'hypothèse de signal, répondant ainsi aux limites de la ROC AUC dans les contextes agnostiques au signal (par exemple, l'insensibilité aux distributions symétriques).

Résultats

• Stabilité des Hyperparamètres : À travers la plupart des signaux BSM et des méthodes d'AD, le choix des hyperparamètres non ajustables a entraîné une variation négligeable de la ROC AUC. Les méthodes semi-supervisées ont généralement performé aussi bien que la caractéristique la plus discriminante pour chaque signal, indépendamment de la configuration spécifique des hyperparamètres.
• Divergence des Métriques : Bien que les méthodes peu profondes (HBOS, iForest) aient souvent surpassé Deep-SVDD en termes de ROC AUC, le test de permutation utilisant la statistique $Cr$ a révélé que les méthodes d'apprentissage profond (AE et Deep-SVDD) atteignaient des p-valeurs plus faibles (sensibilité plus élevée) pour de nombreux signaux. Cette divergence est attribuée à la nature à longue traîne des scores d'anomalie de l'apprentissage profond, que la statistique $Cr$ capture efficacement, contrairement aux scores bornés des méthodes peu profondes et de la statistique $M_\Delta$.
• Efficacité de la Statistique de Test : La statistique $M_\Delta$ n'a pas produit de preuves pour de nouveaux phénomènes (médianes de p-valeurs $> 0,05$) pour tous les signaux et méthodes. En revanche, la statistique $Cr$ a identifié avec succès des déviations, particulièrement pour les modèles d'apprentissage profond, soulignant l'importance critique de la sélection d'une statistique de test appropriée pour le domaine du discriminant.
• Complémentarité : Les résultats indiquent une complémentarité de sensibilité entre AE et Deep-SVDD, suggérant que différentes méthodes d'AD capturent différentes notions d'anomalies.

Signification et Revendications
L'article affirme que le choix des hyperparamètres non ajustables dans les modèles d'AD semi-supervisés impacte significativement la sensibilité de recherche, bien que cet impact ne soit pas toujours monotone ou prévisible via des métriques standard comme la ROC AUC. Les auteurs soutiennent que s'appuyer sur un seul modèle ou une seule métrique est insuffisant ; au lieu de cela, des stratégies agrégeant les résultats de modèles avec des hyperparamètres variés devraient être explorées.

Crucialement, ce travail établit une voie pour les recherches purement semi-supervisées en introduisant un test statistique capable de rejeter l'hypothèse « SM-uniquement » sans hypothèses spécifiques au signal. Les auteurs concluent modestement que, bien que leur test de permutation et leur statistique $Cr$ offrent une méthode robuste pour quantifier les déviations, le théorème du « no free lunch » s'applique : aucun modèle d'AD ou configuration d'hyperparamètre unique ne surpasse tous les autres pour chaque tâche, nécessissant des approches méthodologiques diverses dans les recherches futures.