Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches

Cet article propose une couche de calibration basée sur la prédiction conforme qui transforme les scores d'anomalie non calibrés de l'apprentissage automatique en p-valeurs locales et globales statistiquement rigoureuses et sans distribution, corrigeant efficacement l'erreur de modélisation du bruit de fond et l'effet de recherche partout pour prévenir les fausses découvertes dans les recherches de nouvelle physique.

L'essentiel

Imaginez que vous êtes un détective essayant de trouver un type spécifique de pièce de monnaie contrefaite cachée dans un sac massif de pièces authentiques. Vous disposez d'un nouvel « détecteur d'anomalies » de haute technologie (un modèle d'apprentissage automatique) qui attribue à chaque pièce un « score de bizarrerie ». Plus le score est élevé, plus la probabilité que la pièce soit fausse est grande.

Le problème est que ce détecteur est comme un devineur sauvage. Il vous donne un score comme « 17,5 », mais ce nombre ne signifie rien en soi. 17,5 est-il rare ? Est-ce commun ? Sans une règle pour mesurer, vous ne pouvez pas savoir si vous avez trouvé une fausse pièce ou simplement une pièce normale qui avait l'air un peu étrange.

De plus, parce que le détecteur scanne des milliers de pièces, il est certain qu'il en trouvera quelques-unes qui auront l'air « bizarres » par pure chance. Si vous ne tenez pas compte du nombre de fois où vous avez regardé, vous pourriez penser avoir trouvé une fausse pièce alors que vous avez simplement eu de la chance.

Cet article propose une nouvelle « couche de calibration » pour résoudre ces problèmes. Voici comment cela fonctionne, en utilisant des analogies simples :

1. La règle cassée (Le problème de calibration)

Imaginez que votre détecteur est une balance qui indique le poids d'une pièce, mais la balance est cassée. Elle dit qu'une pièce normale pèse 17,5 grammes. Vous ne savez pas si c'est lourd ou léger parce que vous n'avez pas d'abord pesé un tas de pièces normales connues pour établir une base de référence.

Les auteurs utilisent un outil statistique appelé prédiction conforme pour construire une nouvelle règle. Ils prennent un tas de pièces qu'ils savent être normales (l'ensemble de calibration) et observent comment le détecteur les évalue. Ensuite, ils projettent les scores bruts du détecteur vers une p-valeur.

• L'analogie : Au lieu de dire « Cette pièce est 17,5 bizarre », la nouvelle règle dit : « Seules 1 % des pièces normales ont cet aspect bizarre ». Maintenant, vous avez un chiffre clair et honnête.

2. Le piège du « Regardez ailleurs »

Si vous scannez un sac entier de pièces, vous finirez par en trouver une qui aura l'air légèrement inhabituelle par pur hasard. Si vous scannez 1 000 pièces, trouver une pièce « bizarre » n'est pas un gros événement. Mais si vous n'en aviez regardé qu'une seule, ce serait une nouvelle majeure.

L'article combine sa nouvelle règle avec une méthode appelée correction de Gross–Vitells.

• L'analogie : C'est comme un juge qui sait que vous avez lancé une pièce 1 000 fois. Si vous dites : « J'ai obtenu face 10 fois de suite ! », le juge ne regarde pas seulement cette série ; il regarde l'ensemble des 1 000 lancers. Il calcule les probabilités d'obtenir cette série n'importe où dans le sac. Cela vous empêche de crier « Fausse pièce ! » juste parce que vous avez eu de la chance.

3. L'arnaque de la « Sculpture » (L'échec de l'échangeabilité)

C'est la plus grande découverte de l'article. En physique des particules, les scientifiques utilisent souvent des « bandes latérales » (des zones à côté de la zone cible) pour deviner à quoi ressemble le bruit de fond. Ils supposent que le bruit de fond dans les bandes latérales est le même que le bruit de fond dans la zone cible.

Les auteurs ont découvert que dans de nombreux modèles d'apprentissage automatique, cette hypothèse est fausse. Le modèle apprend à utiliser des caractéristiques qui sont secrètement liées à l'emplacement.

• L'analogie : Imaginez que vous cherchez une fausse pièce dans un bocal spécifique. Pour calibrer votre détecteur, vous regardez les pièces d'un bocal situé juste à côté. Mais votre détecteur a appris que « les pièces du bocal de gauche sont généralement plus lourdes » et « les pièces du bocal de droite sont généralement plus légères ». Même si toutes les pièces sont réelles, votre détecteur pensera que les pièces du bocal de droite sont « bizarres » simplement parce qu'elles sont dans le bocal de droite.
• Le résultat : Sans correction, le détecteur crée un « signal fantôme ». Dans le test de l'article, ce « fantôme » ressemblait à une découverte de 46 sigmas (ce qui est astronomiquement énorme, comme trouver une aiguille dans une galaxie). C'était une illusion complète causée par le biais du détecteur.

4. La solution : La correction « Pondérée »

Les auteurs corrigent cela en appliant un poids à la calibration.

• L'analogie : Ils réalisent que les pièces du « bocal de gauche » et du « bocal de droite » sont légèrement différentes. Ils utilisent donc les pièces du bocal de gauche pour calibrer le bocal de droite, en leur accordant une « remise » ou un « ajustement » afin qu'elles correspondent au profil du bocal de droite.
• Le résultat : Lorsqu'ils appliquent ce poids, le faux signal de 46 sigmas disparaît complètement. Il tombe à 0,2 sigma, ce qui est juste du bruit de fond normal. Le détecteur cesse de mentir.

5. La caractéristique de « Sécurité »

L'une des meilleures choses concernant cette méthode est qu'elle est honnête même quand les choses tournent mal.

• L'analogie : Si vos pièces de calibration sont secrètement contaminées par quelques fausses, un détecteur standard pourrait commencer à crier silencieusement « Fausse pièce ! » sans que vous ne le sachiez. Mais cette nouvelle méthode possède un auto-contrôle. Si la calibration est mauvaise, la « règle » paraîtra bancale (les p-valeurs ne seront pas uniformes). Elle dira : « Hé, ma règle est cassée », plutôt que de vous donner une fausse découverte.

Résumé des résultats

Les auteurs ont testé cela sur des données publiques du LHC (Large Hadron Collider) :

1. Méthodes standards : Lorsqu'ils utilisaient les techniques standard sur ces données, le détecteur inventait des signaux de 10-sigma ou 5-sigma dans des zones où aucun signal n'existait. Il hallucinait des découvertes.
2. La nouvelle méthode : Lorsqu'ils ont ajouté leur couche de calibration, ces faux signaux ont disparu. Le détecteur a correctement rapporté « Aucun signal trouvé » (un résultat nul).
3. Signaux réels : Lorsqu'ils ont réellement inséré un signal, la méthode pouvait toujours le trouver (si le signal était assez fort), prouvant qu'elle ne se contentait pas d'« éteindre » le détecteur ; elle arrêtait simplement de mentir.

L'essentiel :
Cet article n'invente pas un nouveau détecteur de particules. Au lieu de cela, il invente une couche de vérité qui se place au-dessus de n'importe quel détecteur. Elle garantit que lorsque un détecteur dit « Nous avons trouvé quelque chose », cela signifie réellement « Nous avons trouvé quelque chose », et non pas « Nous avons eu de la chance » ou « Nos calculs étaient biaisés ». Elle transforme un score brut et confus en une déclaration scientifique défendable et auditable.

Résumé technique

Résumé Technique : Étalonnage Conforme et Effet de Recherche Multiple dans la Détection d'Anomalies pour la Recherche de Nouvelle Physique

Énoncé du Problème
La détection d'anomalies (AD) par apprentissage automatique est devenue une stratégie primaire pour la recherche de physique au-delà du Modèle Standard. Cependant, l'interprétation statistique des scores d'AD a pris du retard sur leur développement. Un score d'anomalie brut manque de signification étalonnée ; une valeur ne transmet pas intrinsèquement la probabilité d'une fluctuation du bruit de fond. Les modèles flexibles scannant de multiples régions, observables et directions latentes souffrent d'un aigu « effet de recherche multiple » (multiplicité), ce qui gonfle les taux de fausses découvertes. Les flux de travail expérimentaux existants s'appuient sur des formules de profil de vraisemblance asymptotiques et des facteurs d'essais (par exemple, la théorie de Gross–Vitells) qui supposent un bruit de fond correctement modélisé. Ces méthodes sont aveugles à la mauvaise modélisation du bruit de fond, un mode de défaillance auquel l'AD est particulièrement sujette. Lorsque les données d'entraînement et d'évaluation sont partagées ou lorsque les caractéristiques sont corrélées à la variable résonante (par exemple, la masse invariante), les pipelines standards produisent des $p$-valeurs mal étalonnées, pouvant fabriquer de fausses découvertes.

Méthodologie
Les auteurs proposent une couche d'étalonnage basée sur la prédiction conforme qui transforme n'importe quel score d'anomalie en une significativité défendable avec des garanties de validité pour des échantillons finis et sans distribution préalable. La méthodologie passe par plusieurs étapes clés :

1. Étalonnage Conforme par Division (Split Conformal Calibration) : Les auteurs définissent une $p$-valeur conforme unilatérale, $\hat{p}(s)$, pour un score de test $s$ basée sur un ensemble de calibration de $n$ scores de bruit de fond uniquement. Cela mappe les scores bruts en $p$-valeurs telles que, sous l'hypothèse d'échangeabilité, les $p$-valeurs soient super-uniformes ($P(\hat{p} \le \alpha) \le \alpha$). Cela fournit une garantie pour échantillon fini indépendante de la forme de la distribution des scores.
2. Traitement des Échecs d'Échangeabilité : Les recherches résonantes violent souvent l'hypothèse d'échangeabilité car la distribution du score de bruit de fond dans la région de signal (SR) diffère de celle des bandes latérales (SB) en raison des corrélations entre les caractéristiques de sous-structure de jet et la variable résonante (masse).
   • Prédiction Conforme Pondérée : Pour corriger ce décalage de covariables, les auteurs emploient une $p$-valeur conforme pondérée utilisant un rapport de vraisemblance $w(x) = dQ/dP$(où$Q$ est la distribution SR et $P$ la distribution SB). Ce poids est estimé sans étiquetage à partir des données.
   • Étalonnage Mondrian : Pour l'hétérogénéité où le bruit de fond varie selon les bacs de la variable résonante, les auteurs suggèrent un étalonnage Mondrian (conditionnel par groupe), qui calibre séparément au sein de chaque bac pour assurer une validité locale.
3. Robustesse à la Contamination : Le cadre traite de la fuite de signal dans les régions de contrôle. Le Théorème 5 établit que si la contamination du signal dans l'ensemble de calibration est stochastique (les événements de signal ayant des scores plus élevés que le bruit de fond), la procédure reste valide et devient conservatrice, échouant de manière sûre plutôt qu'en produisant de fausses alarmes.
4. Correction de l'Effet de Recherche Multiple (Look-Elsewhere) : Les $p$-valeurs conformes locales sont agrégées en un champ de comptage $Z(m)$ à travers des fenêtres de balayage. Les auteurs appliquent la théorie des franchissements de seuil de Gross–Vitells à ce champ pour calculer une significativité globale. Bien que les $p$-valeurs locales possèdent des garanties d'échantillon fini, l'étape globale est traitée comme une limite asymptotique, validée par des pseudo-expériences de bruit de fond uniquement.
5. Contrôle du Taux de Fausse Découverte (FDR) : Pour les listes de réduction multi-régions, la procédure de Benjamini–Hochberg est intégrée pour contrôler le FDR, en tirant parti de la dépendance positive des $p$-valeurs conformes dérivées d'un ensemble de calibration partagé.

Contributions Clés

• Une Couche d'Étalonnage : Le papier introduit une couche modulaire qui peut être appliquée à n'importe quel détecteur d'anomalies existant sans réentraîner le détecteur lui-même. Elle convertit les scores non étalonnés en $p$-valeurs valides.
• Diagnostic et Correction de l'Échangeabilité : La méthode fournit un outil de diagnostic (vérification de l'uniformité des $p$-valeurs de bruit de fond) pour détecter les échecs d'échangeabilité causés par les corrélations entre caractéristiques et masse. Elle offre une correction pondérée sans étiquetage pour restaurer la validité.
• Garanties d'Échantillon Fini : Contraques aux méthodes asymptotiques, la couche conforme offre une validité rigoureuse pour échantillon fini qui est robuste à la mauvaise modélisation du bruit de fond, à condition que les hypothèses (échangeabilité ou décalage de covariable correctible) soient respectées.
• Intégration avec les Facteurs d'Essais : Ce travail comble le fossé entre la prédiction conforme et les statistiques de découverte en haute énergie (HEP) en combinant l'étalonnage local par échantillon fini avec le cadre de significativité globale de Gross–Vitells.

Résultats
La méthodologie a été testée sur le jeu de données LHC Olympics 2020 R&D (bruit de fond QCD dijet avec une résonance $Z' \to XX$ injectée).

• Détection de la Mauvaise Étalonnage : Sur des données réelles, un classificateur étalonné par bande latérale standard a présenté un échec d'échangeabilité significatif. Les $p$-valeurs du bruit de fond étaient anti-conservatrices, avec $P(\hat{p} \le 0,05) \approx 0,087$ au lieu du 0,05 nominal.
• Correction des Excès Spurieux :
  • Un comptage naïf d'événements avec $p \le 0,05$ dans la région de signal a produit un excès spurieux d'environ $46\sigma$.
  • L'application de la correction pondérée sans étiquetage a restauré le taux de bruit de fond au niveau nominal, réduisant la significativité à une hypothèse nulle honnête ($Z \approx 0,2$).
  • Dans un balayage de masse large en aveugle (réentraînement du détecteur dans chaque fenêtre), les procédures asymptotiques et conformes non pondérées ont fabriqué des excès de $\gtrsim 10\sigma$ dans des fenêtres sans signal. La couche conforme pondérée n'a produit aucune fausse alarme, avec des significativités globales cohérentes avec l'hypothèse nulle.
• Validation de la Significativité Globale : Le taux de faux positifs global de la procédure conforme pondérée a été vérifié sur des pseudo-expériences de bruit de fond uniquement, montrant un contrôle empirique proche du niveau nominal.
• Récupération du Signal : Dans une étude de contrôle positif avec des injections de signal plus fortes ($S/B \approx 1,3\%$) et une contamination minimale des bandes latérales, la chaîne pondérée a réussi à récupérer une significativité globale de $\sim 7,4\sigma$, démontant que la méthode ne supprime pas les signaux réels, mais corrige seulement les biais systématiques.

Signification et Revendications
Le papier revendique de fournir un chemin auditable et indépendant du détecteur allant d'un score d'anomalie non étalonné à une significativité globale consciente des facteurs d'essais.

• La valeur primaire n'est pas un nouveau détecteur, mais une couche de calibration et de significativité qui rend les hypothèses explicites et vérifiables.
• Elle expose les défaillances « silencieuses » (comme la sculpture du bruit de fond) que les pipelines asymptotiques standards manquent, en les convertissant en non-uniformités visibles ou en les corrigeant via la pondération.
• Les auteurs soulignent que si les $p$-valeurs locales possèdent des garanties d'échantillon fini, la significativité globale repose sur des hypothèses asymptotiques (Gross–Vitells) qui sont validées empiriquement dans leur étude.
• Le travail met en évidence que l'« effet de recherche multiple » dans l'AD est exacerbé par la multiplicité des régions et la corrélation entre les caractéristiques et la variable résonante, et que la prédiction conforme offre un cadre rigoureux pour traiter ces modes de défaillance spécifiques.

Le papier conclut que bien que la méthode ne résolve pas tous les biais systématiques du bruit de fond (par exemple, une mauvaise modélisation inconnue et non paramétrée), elle améliore considérablement la fiabilité des recherches d'AD en garantissant que les significativités rapportées ne sont pas des artefacts de défaillances d'étalonnage. Les travaux futurs identifient l'intégration des paramètres de nuisance (systématiques du détecteur) dans le cadre conforme et la comparaison directe de cette approche avec des détecteurs décorrélés de la masse.