Event Tokenization and Masked-Token Prediction for Anomaly Detection at the Large Hadron Collider

Cet article propose une nouvelle méthode de détection d'anomalies non supervisée pour le Grand Collisionneur de Hadrons qui utilise des réseaux légers de type LLM basés sur un encodeur, entraînés sur la prédiction de jetons masqués, afin d'identifier de nouveaux signaux de physique, tels que la production de quatre quarks top, en détectant les écarts dans la reconstruction des événements de fond sans connaissance préalable des caractéristiques du signal.

L'essentiel

Imaginez le Grand Collisionneur de Hadrons (LHC) comme un simulateur de crashs de voitures massifs et à haute vitesse. Chaque seconde, il fait s'entrechoquer des particules, créant une explosion chaotique de débris. Les physiciens recherchent un type de crash très spécifique et rare — comme trouver une rayure particulière et inhabituelle sur une voiture qui ne se produirait que si une force secrète et invisible était à l'œuvre. C'est le « signal ».

Le problème est que la plupart des crashs se ressemblent énormément. Ils constituent le « bruit de fond ». Dans cet article, les auteurs essaient de trouver une aiguille dans une botte de foin sans savoir exactement à quoi ressemble l'aiguille au préalable.

Voici comment ils ont procédé, en utilisant une astuce ingénieuse empruntée à la manière dont les ordinateurs apprennent à lire et à écrire.

1. Transformer la physique en langage

Les auteurs ont réalisé que les données de ces collisions de particules pouvaient être traitées comme une phrase dans une langue.

• Les « mots » : Au lieu de lettres, les « mots » (ou tokens) sont les particules qui sortent du crash. Certaines sont des jets d'énergie, d'autres sont des électrons, d'autres des muons.
• La « phrase » : Un événement de collision unique est une phrase composée d'environ 18 de ces « mots », plus quelques chiffres supplémentaires décrivant l'énergie totale manquante (comme une pièce manquante d'un puzzle).

Pour que cela fonctionne pour un ordinateur, ils ont dû traduire ces particules physiques en un code que la machine peut comprendre. Ils ont créé un système où chaque type de particule ainsi que sa vitesse et sa direction reçoivent un nombre spécifique, transformant un événement physique complexe en une simple liste de nombres, du type [3, 1, 5, 2, ...].

2. Le jeu du « texte à trous »

L'équipe a utilisé un type d'Intelligence Artificielle appelé Modèle de Langage Étendu (LLM) — le même type de technologie qui alimente les agents conversationnels. Cependant, ils ne lui ont pas appris à écrire des histoires. Au lieu de cela, ils lui ont appris à jouer à un jeu de « texte à trous » en utilisant uniquement les collisions de « fond » (les plus communes, les plus banales).

• L'entraînement : Ils ont montré à l'IA des milliers de collisions normales, mais ont caché un « mot » (une particule) dans chaque phrase. L'IA devait deviner quelle était la particule manquante en se basant sur le reste de la phrase.
• L'objectif : L'IA a appris la « grammaire » des collisions de particules normales. Elle a appris, par exemple, que « si je vois un jet massif ici, je m'attends généralement à un certain type d'électron là ».

3. Repérer l'anomalie

Une fois que l'IA est devenue experte dans la prédiction des collisions « normales », ils l'ont testée sur de nouvelles données, incluant les collisions de « signal » rares qu'ils recherchaient.

• Le test : Ils ont caché une particule dans un événement de collision et ont demandé à l'IA de la deviner.
• Le résultat : Lorsqu'elle examinait une collision normale, l'IA devinait correctement la plupart du temps. Mais lorsqu'elle examinait la collision rare et étrange de « quatre quarks top », elle était confuse. Parce que cet événement rare ne suivait pas la « grammaire » du fond normal, les prédictions de l'IA étaient erronées.
• L'alarme : Plus l'IA se trompait, plus il était probable que l'événement soit une anomalie (le signal qu'ils recherchaient).

4. À quel point cela a-t-il fonctionné ?

Les auteurs ont testé cette méthode lors d'une recherche de production de « quatre quarks top » (un événement très rare où quatre particules lourdes sont créées simultanément).

• Le score : Ils ont mesuré la capacité de l'IA à séparer les collisions « normales » des collisions « rares ». Ils ont obtenu un score (appelé ROC-AUC) de 0,67.
• La comparaison : Ils ont comparé leur méthode à d'autres méthodes établies de recherche d'anomalies.
  • Elle n'a pas battu la meilleure méthode existante (appelée DDD).
  • Cependant, elle a fait mieux que deux autres méthodes courantes (DeepSVDD et DROCC).

L'essentiel

L'article affirme que traiter les données de la physique des particules comme un langage et utiliser une IA de « texte à trous » est une nouvelle voie prometteuse pour trouver des événements de physique rares et inconnus. Bien que ce ne soit pas encore la solution parfaite, elle a réussi à identifier des différences subtiles dans les données que d'autres méthodes avaient manquées, suggérant que cette approche « basée sur le langage » pourrait être un outil précieux pour les futures découvertes au LHC.

Résumé technique

Résumé Technique : Tokenisation d'Événements et Prédiction de Tokens Masqués pour la Détection d'Anomalies au Grand Collisionneur de Hadrons

Énoncé du Problème
Le document traite du défi consistant à identifier les signatures rares de la physique au-delà du Modèle Standard (BSM) dans les données de haute énergie sans connaissance préalable des caractéristiques du signal. Plus précisément, les auteurs se concentrent sur la recherche de la production simultanée de quatre quarks top ($t\bar{t}t\bar{t}$) au Grand Collisionneur de Hadrons (LHC). Ce processus est difficile à isoler car son état final (0–4 leptons, 4–12 jets, incluant quatre jets $b$) ressemble étroitement à des fonds complexes du Modèle Standard (SM) tels que $t\bar{t}WW$, $t\bar{t}W$, $t\bar{t}Z$ et $t\bar{t}H$. Les auteurs proposent d'utiliser des modèles de langage de grande taille (LLM) comme détecteurs d'anomalies non supervisés pour apprendre la distribution des événements de fond et signaler les écarts qui pourraient indiquer une nouvelle physique.

Méthodologie
L'approche proposée utilise un réseau transformer léger, basé sur un encodeur, entraîné via la prédiction de tokens masqués, une technique adaptée du traitement du langage naturel (spécifiquement BERT).

1. Jeu de Données et Prétraitement :

   • L'étude utilise des données de collisions $pp$ simulées à $\sqrt{s} = 13$ TeV issues du défi Dark Machines, générées avec MG5_a_NLO, hadronisées avec Pythia 8, et traitées via Delphes 3.
   • Les événements sont représentés comme des séquences allant jusqu'à 18 objets particulaires (jets, leptons, photons) plus l'énergie transverse manquante ($E_T^{\text{miss}}$) et son angle azimutal ($\phi_{E_T^{\text{miss}}}$).
   • Les processus de fond ($t\bar{t}H, t\bar{t}W, t\bar{t}WW, t\bar{t}Z$) constituent l'ensemble d'entraînement, tandis que $t\bar{t}t\bar{t}$ sert de signal pour l'évaluation.

2. Stratégie de Tokenisation :

   • Une composante critique de la méthode est la conversion des variables cinématiques continues en tokens discrets.
   • Les types de particules sont mappés sur 7 catégories prédéfinies.
   • Les variables cinématiques ($p_T, \eta, \phi, E_T^{\text{miss}}, \phi_{E_T^{\text{miss}}}$) sont discrétisées par intervalles (binning). La configuration optimale divise $p_T, \eta$ et $E_T^{\text{miss}}$ en 4 intervalles (chacun contenant 25 % des données de fond) et $\phi$ et $\phi_{E_T^{\text{miss}}}$ en 4 intervalles de largeur $\pi/4$.
   • Ces intervalles sont combinés en un token entier unique pour chaque particule ($token_{part} \in [1, 448]$) et pour les composantes de l'énergie manquante ($token_{E_T^{\text{miss}}} \in [449, 452]$, $token_{\phi_{E_T^{\text{miss}}}} \in [453, 456]$).
   • Les événements sont complétés (padding) pour atteindre une longueur de séquence fixe de 18 particules plus les tokens d'énergie.

3. Architecture du Modèle et Entraînement :

   • Le modèle consiste en deux couches de transformer avec quatre têtes d'auto-attention chacune, suivies d'une projection linéaire et d'une couche softmax.
   • Entraînement : Le modèle est entraîné exclusivement sur des événements de fond en utilisant un objectif de prédiction de token masqué. Un token par événement est aléatoirement masqué, et le modèle apprend à le reconstruire en utilisant une perte de type Sparse Categorical Cross-Entropy.
   • Inférence : Lors des tests, tous les tokens d'un événement sont masqués et reconstruits un par un. Le score de reconstruction moyen (perte) est calculé pour chaque événement.

Contributions Clés

• Application Novatrice : Le papier introduit l'utilisation d'architectures de type LLM pour la détection d'anomalies non supervisée en physique des collisionneurs, en traitant les événements de particules comme des séquences de tokens.
• Schéma de Tokenisation : Il propose un schéma de discrétisation et d'encodage spécifique pour transformer les données de physique des particules continues en un format adapté aux modèles basés sur les transformers.
• Recherche Indépendante du Signal : La méthode opère sans connaissance du signal, s'appuyant uniquement sur la performance de reconstruction des événements de fond pour identifier les anomalies.

Résultats

• Performance sur la recherche de quatre quarks top : Appliqué au signal $t\bar{t}t\bar{t}$, le modèle a obtenu une aire sous la courbe ROC (ROC-AUC) de 0,67.
• Recouvrement de Distribution : Les distributions de score de reconstruction pour les événements de fond et de signal ont montré une zone commune de 70,85 %, indiquant un certain degré de chevauchement mais aussi la capacité du modèle à distinguer les deux classes dans une certaine mesure.
• Comparaison : La méthode proposée a été comparée à des méthodes non supervisées établies (DDD, DeepSVDD et DROCC) du défi Dark Machines. Les résultats indiquent que, bien que l'approche basée sur les LLM n'ait pas surpassé les techniques basées sur DDD, elle a démontré une performance améliorée par rapport à DeepSVDD et DROCC, se positionnant comme une technique de détection d'anomalies non supervisée compétitive.

Signification et Revendications
Les auteurs caractérisent les résultats comme étant préliminaires mais prometteurs. Ils affirment que l'approche parvient à capturer des divergences subtiles dans les données de collision et offre une représentation flexible basée sur les tokens pour les recherches indépendantes du modèle. Le papier suggère qu'avec une optimisation supplémentaire du schéma de tokenisation et de l'architecture du modèle, cette méthode pourrait devenir un candidat viable pour améliorer la sensibilité aux processus rares du Modèle Standard et découvrir de nouvelles signatures de physique dans les futures analyses de haute énergie. Le travail ne prétend pas avoir surpassé toutes les méthodes existantes, mais souligne le potentiel de l'adaptation des architectures de transformers aux défis structurels spécifiques des données de physique des particules.