jBOT: Semantic Jet Representation Clustering Emerges from Self-Distillation

Ce travail présente jBOT, une méthode de pré-entraînement par auto-distillation pour les jets du LHC qui permet d'apprendre des représentations sémantiques émergentes, facilitant ainsi la détection d'anomalies et la classification de particules.

L'essentiel

Le titre simplifié : « jBOT : Apprendre à reconnaître les particules sans qu'on lui donne de mode d'emploi »

Imaginez que vous vouliez apprendre à un enfant à reconnaître tous les types d'animaux du monde.

La méthode classique (l'apprentissage supervisé) :
C'est comme si vous preniez des milliers de photos et que, pour chaque photo, vous disiez à l'enfant : « Ça, c'est un chat », « Ça, c'est un chien », « Ça, c'est un éléphant ». C'est très efficace, mais c'est un travail colossal et très coûteux en temps.

La méthode jBOT (l'apprentissage auto-supervisé) :
C'est comme si vous laissiez l'enfant regarder des milliers de vidéos d'animaux en silence, sans jamais lui donner de noms. L'enfant ne sait pas que l'animal s'appelle "lion", mais il commence à remarquer des choses : « Tiens, ceux-là ont des poils et des griffes », « Ceux-là sont énormes et ont une trompe », « Ceux-là nagent et ont des écailles ».

Sans qu'on lui ait dit un seul mot, l'enfant a créé dans sa tête des "familles" d'animaux basées sur leur apparence. C'est exactement ce que fait jBOT.

---

De quoi parle-t-on concrètement ? (Le contexte de la physique)

Dans les accélérateurs de particules comme le LHC au CERN, on fait s'entrechoquer des particules à des vitesses incroyables. Ces collisions créent des "jets" : des gerbes de particules qui partent dans toutes les directions.

Pour les physiciens, ces "jets" sont comme des empreintes digitales. En analysant la forme et la composition de la gerbe, on peut deviner quelle particule invisible a causé l'explosion. Le problème, c'est qu'il y a des milliards de collisions et qu'on ne peut pas tout étiqueter à la main.

Comment fonctionne jBOT ? (La recette magique)

Les chercheurs ont utilisé une technique appelée "auto-distillation". Voici comment ils ont "éduqué" leur intelligence artificielle (jBOT) :

1. Le jeu du cache-cache (Masquage) : On prend l'image d'un jet de particules, on cache une partie de ses composants (comme si on mettait un bandeau sur les yeux de l'enfant), et on demande à l'IA de deviner ce qui manque. Pour réussir, l'IA est obligée de comprendre la structure profonde du jet.
2. Le jeu des jumeaux (Distillation) : On montre deux versions légèrement modifiées du même jet à l'IA (une version un peu tournée, une version un peu floue). On lui dit : « Ces deux-là sont des jumeaux, ils doivent se ressembler dans ton esprit ». Cela apprend à l'IA à ne pas se laisser distraire par le "bruit" ou les détails inutiles.

Pourquoi est-ce une révolution ?

Le papier démontre trois choses incroyables :

• L'émergence de l'ordre : Même sans savoir ce qu'est un "quark" ou un "gluon", l'IA a naturellement regroupé les jets par familles dans sa mémoire. Elle a "compris" la physique toute seule !
• L'efficacité : Une fois que jBOT a appris ces structures, il devient un expert. Si on lui donne ensuite seulement 10 % des étiquettes (les noms des particules), il apprend beaucoup plus vite et mieux qu'une IA qui part de zéro. C'est comme si l'enfant, ayant déjà compris les familles d'animaux, apprenait les noms en un clin d'œil.
• Le détecteur d'anomalies (Le garde du corps) : Comme jBOT connaît parfaitement la "normale" (les jets de fond habituels), si une particule totalement inconnue ou une nouvelle loi de la physique apparaît, jBOT va dire : « Attention, ça ne ressemble à rien de ce que je connais ! ». C'est l'outil parfait pour découvrir de la nouvelle physique (le "Saint Graal" des chercheurs).

En résumé

jBOT, c'est une intelligence artificielle qui apprend la "grammaire" de l'univers en observant simplement la matière, sans avoir besoin qu'un humain lui tienne la main. Elle transforme le chaos des collisions de particules en un catalogue organisé et intelligent, prêt à nous aider à découvrir les secrets les plus profonds de la nature.

Résumé technique

Résumé Technique : jBOT

1. Problématique (Le Problème)

Dans les expériences de physique des hautes énergies (HEP) au CERN (comme ATLAS et CMS), l'identification de la particule d'origine d'un "jet" (un faisceau de particules produit lors de collisions) est cruciale pour découvrir de nouvelles physiques ou mesurer le Modèle Standard. Cette tâche, appelée jet tagging, est complexe car la structure interne des jets est riche, bruitée et difficile à modéliser.

Traditionnellement, l'apprentissage automatique en HEP repose sur l'apprentissage supervisé, qui nécessite de vastes quantités de données étiquetées (simulations). Cependant, l'étiquetage est coûteux et les modèles supervisés peuvent manquer de généralisation. L'enjeu est donc de développer des méthodes capables d'apprendre des représentations intrinsèques des jets à partir de données non étiquetées (auto-supervisées), à l'instar de ce qui a été accompli en vision par ordinateur (ex: BERT ou ViT).

2. Méthodologie (jBOT)

Les auteurs introduisent jBOT, une méthode de pré-entraînement auto-supervisée basée sur l'auto-distillation (adaptée du framework iBOT de la vision par ordinateur).

• Architecture : Le modèle utilise un encodeur de type Vision Transformer (ViT). Chaque particule du jet est transformée en un "token" (jet-tokenization). Un jet est représenté par un ensemble de tokens de particules plus un token spécial [CLS] qui capture le contexte global du jet.
• Augmentations de données : Pour créer des paires d'apprentissage, le modèle applique trois transformations : la rotation uniforme autour de l'axe du jet, le flou gaussien des positions des particules, et la division colinéaire des particules (conservant le moment transverse).
• Objectifs d'apprentissage (Loss functions) :
  • Distillation au niveau de la particule (Local) : Le réseau "étudiant" doit prédire les représentations des particules masquées (via un mécanisme de masquage sensible au moment transverse) en utilisant les représentations fournies par le réseau "enseignant" sur la vue complète.
  • Distillation au niveau du jet (Global) : Le token [CLS] de l'étudiant est entraîné à correspondre au token [CLS] de l'enseignant à travers deux vues augmentées différentes.
  • Diversification (KoLeo loss) : Un régularisateur est ajouté pour éviter l'effondrement des représentations (collapse) et assurer une distribution uniforme des vecteurs dans l'espace latent.
• Mécanisme de l'enseignant : L'enseignant n'est pas un modèle pré-entraîné séparé, mais une version de l'étudiant dont les poids sont une moyenne mobile exponentielle (EMA) de ceux de l'étudiant, ce qui stabilise l'apprentissage.

3. Contributions Clés

• Adaptation de l'auto-distillation aux jets : Première application réussie d'un framework de type iBOT aux données de jets de collision.
• Émergence de la sémantique : Démonstration que l'apprentissage sans étiquettes permet au modèle de regrouper naturellement les jets par classe (quarks, gluons, bosons W/Z, top quarks) dans l'espace latent.
• Efficacité des données : Preuve que le pré-entraînement améliore considérablement les performances lorsque les données étiquetées sont rares.
• Détection d'anomalies sans supervision : Capacité à détecter des signaux physiques (W, Z, top) en utilisant uniquement des données de fond (QCD) pour définir la "normalité".

4. Résultats Expérimentaux

Les tests ont été effectués sur le jeu de données JetNet.

• Classification (Five-class) : Le modèle jBOT-B (version "base") atteint une précision de 76,43 % après fine-tuning. Le point majeur est que lorsque seulement 10 % des données sont étiquetées, jBOT surpasse largement les modèles supervisés entraînés de zéro.
• Top Tagging : Pour identifier les jets issus de quarks top, jBOT atteint une précision de 89,11 %, surpassant les modèles supervisés classiques.
• Détection d'anomalies : En utilisant des métriques de distance (k-NN, similarité cosinus, GMM) sur les représentations figées, jBOT obtient des performances de détection (AUC) comparables, voire supérieures, aux modèles basés sur l'auto-encodeur (reconstruction-based) utilisés dans la littérature. Par exemple, pour les signaux W et Z, jBOT montre une meilleure séparation que les modèles de reconstruction classiques.

5. Signification et Impact

Ce travail marque une étape importante vers la création de modèles de fondation (foundation models) pour la physique des particules. Il démontre que l'auto-distillation est une méthode robuste pour extraire des caractéristiques physiques complexes sans intervention humaine pour l'étiquetage. Cela ouvre la voie à une analyse plus efficace des données massives du LHC, permettant de détecter des phénomènes physiques rares (anomalies) de manière plus agile et avec moins de biais liés aux simulations.