Explainable AI for Jet Tagging: A Comparative Study of GNNExplainer, GNNShap, and GradCAM for Jet Tagging in the Lund Jet Plane

Cet article évalue et compare les méthodes d'explicabilité basées sur les perturbations, les valeurs de Shapley et les gradients, adaptées à la représentation Lund Jet Plane, démontrant que ces techniques corrélationnent avec succès les prédictions des réseaux de neurones avec des observables QCD classiques et révèlent des décalages distincts de focalisation entre les régimes perturbatif et non perturbatif dans l'étiquetage des jets.

L'essentiel

La vue d'ensemble : Le problème de la « boîte noire »

Imaginez que vous êtes un détective tentant de résoudre un crime. Vous avez un assistant IA super-intelligent capable d'examiner une scène de crime en désordre et de vous dire, avec une précision de 99 %, exactement qui est le criminel. Cependant, lorsque vous demandez à l'IA pourquoi elle pense cela, elle répond simplement : « Je suis sûre. » Elle ne vous montre pas ses notes ni n'explique son raisonnement.

Dans le monde de la physique des particules (spécifiquement au Grand collisionneur de hadrons), les scientifiques utilisent des modèles d'IA similaires de « boîte noire » pour identifier les jets. Les jets sont des gerbes de minuscules particules créées lorsque des protons entrent en collision. Parfois, ces jets proviennent de particules courantes (comme des quarks ou des gluons), et parfois de particules rares et lourdes (comme le boson de Higgs ou un quark top).

L'IA est excellente pour repérer la différence, mais les physiciens s'inquiètent : L'IA apprend-elle réellement les lois de la physique, ou se contente-t-elle de mémoriser les particularités de la simulation informatique utilisée pour l'entraîner ? Si elle se contente de mémoriser la simulation, elle pourrait échouer face aux données réelles.

La solution : La carte du « Plan Lund des jets »

Pour résoudre ce problème, les chercheurs ont décidé de cesser de considérer les particules comme un tas désordonné et de commencer à les examiner comme une carte.

Ils ont utilisé ce qu'on appelle le Plan Lund des jets. Imaginez cela comme une carte topographique d'une chaîne de montagnes.

• L'axe X représente la largeur de la gerbe de particules.
• L'axe Y représente l'énergie des particules.

Chaque « division » où une particule se scinde en deux particules plus petites est représentée par un point sur cette carte. Parce que cette carte est basée sur les lois réelles de la physique (la Chromodynamique Quantique), chaque point a une signification spécifique et connue. C'est comme avoir une carte où chaque colline et chaque vallée correspond à un événement géologique précis.

L'expérience : Trois « lampes de poche » différentes

Les chercheurs ont pris trois types de modèles d'IA différents (les « détectives ») et ont dirigé trois types de « lampes de poche » différents (des outils d'IA explicable) sur eux pour voir quelles parties de la carte ils examinaient.

1. GNNExplainer (La lampe « Et si ? ») : Cet outil demande : « Si je cache cette partie de la carte, l'IA donne-t-elle toujours la bonne réponse ? » Il met en évidence les zones les plus critiques en observant ce qui se passe lorsqu'elles sont supprimées.
2. GNNShap (La lampe « Partage équitable ») : Cet outil utilise un concept de théorie des jeux mathématique pour calculer exactement combien de « crédit » chaque point de la carte mérite pour la décision finale. C'est comme partager une addition équitablement en fonction de ce que chacun a mangé.
3. GradCAM (La lampe « Carte thermique ») : Cet outil observe les « neurones » internes de l'IA qui s'activent et dessine une carte thermique montrant quelles zones étaient les plus actives lorsque l'IA prenait une décision.

Les découvertes : Qu'est-ce que l'IA a réellement vu ?

Les chercheurs ont comparé les vues éclairées par la « lampe » de l'IA avec la physique connue de la carte. Voici ce qu'ils ont découvert :

1. L'IA a appris la vraie physique
Pour les particules lourdes (comme le quark top ou le boson de Higgs), les lampes de l'IA ont correctement éclairé les « divisions » « dures » spécifiques de la carte où la particule lourde se désintègre.

• Analogie : Si vous cherchez un type d'arbre spécifique dans une forêt, l'IA n'a pas simplement deviné ; elle a correctement pointé la forme unique des feuilles et l'écorce. L'étude prouve que l'IA ne se contente pas de deviner ; elle a appris la structure réelle de la désintégration de ces particules lourdes.

2. L'« anomalie QCD » (La forêt brumeuse)
Pour les particules courantes (les jets QCD), la lampe de l'IA ne s'est pas concentrée sur un endroit spécifique. Au lieu de cela, elle a éclairé toute la carte, en particulier les zones « douces » et « larges ».

• Analogie : Imaginez essayer d'identifier un pin générique. Il n'y a pas une seule branche unique qui le définit ; c'est la forme globale et la façon dont les aiguilles sont dispersées. L'IA a correctement réalisé que pour ces jets courants, la réponse réside dans le modèle global, et non dans un endroit spécial. Les chercheurs appellent cela une « anomalie de fidélité », mais c'est en réalité un signe que l'IA comprend parfaitement la physique.

3. Différents outils pour différents travaux
L'étude a révélé qu'aucune « lampe » unique ne fonctionne mieux pour chaque modèle d'IA.

• Pour certains modèles d'IA, l'outil « Partage équitable » (GNNShap) était le meilleur pour trouver les divisions dures.
• Pour d'autres, l'outil « Carte thermique » (GradCAM) était meilleur pour voir les modèles plus larges.
• À retenir : Vous ne pouvez pas simplement choisir un outil d'explication et l'utiliser indéfiniment. Vous devez associer l'outil au modèle d'IA spécifique que vous utilisez.

4. L'effet « Boost »
Les chercheurs ont examiné des jets se déplaçant à différentes vitesses (faible énergie contre haute énergie). Ils ont constaté que plus les jets se déplaçaient vite, plus le focus de l'IA devenait net et concentré sur les divisions dures spécifiques, exactement comme la physique le prédit.

La conclusion

Le papier conclut que les marqueurs de jets modernes ne sont pas de simples boîtes noires magiques. Lorsque vous éclairez la bonne lumière sur eux, vous pouvez voir qu'ils ont véritablement appris les lois de la physique. Ils savent où les particules lourdes se désintègrent et ils comprennent la différence entre un événement lourd spécifique et une gerbe générique de particules.

C'est une grande avancée car cela signifie que les scientifiques peuvent faire davantage confiance à ces outils d'IA lorsqu'ils sont utilisés pour rechercher de nouvelles particules inconnues dans les expériences futures. L'IA ne se contente pas de mémoriser un manuel ; elle fait de la physique.

Résumé technique

1. Énoncé du problème

Malgré les performances de pointe des réseaux de neurones à graphes (GNN) comme ParticleNet et Particle Transformer dans l'identification des jets (gerbes de particules collimatées) au Grand collisionneur de hadrons (LHC), leurs processus décisionnels restent des "boîtes noires".

• Le fossé : Les observables classiques de sous-structure des jets (par exemple, la $N$-subjettiness $\tau_{21}$, les fonctions de corrélation d'énergie) sont dérivées de la Chromodynamique Quantique (QCD) de premiers principes et sont calculables analytiquement. En revanche, les réseaux de neurones apprennent des représentations de caractéristiques complexes et opaques.
• Le risque : Si un modèle apprend des artefacts de simulations Monte Carlo (MC) (par exemple, des modèles d'hadronisation spécifiques ou des réponses de détecteurs) plutôt que la physique fondamentale, ses performances se dégraderont sur les données de collisions réelles.
• Le défi : Les méthodes existantes d'IA explicable (XAI) n'ont pas été systématiquement appliquées aux GNN basés sur le Plan de Jet de Lund (LJP). Le LJP offre une opportunité unique car chaque nœud de sa représentation graphique correspond à une séparation de parton physiquement significative, permettant une comparaison directe entre l'attention du modèle et la théorie QCD.

2. Méthodologie

Les auteurs ont développé un cadre complet pour évaluer et comparer trois paradigmes XAI distincts adaptés aux GNN basés sur le LJP.

A. Représentation des données : Le Plan de Jet de Lund (LJP)

Au lieu de traiter les jets comme des images ou des nuages de points génériques, l'étude utilise le Plan de Jet de Lund, un espace de phase 2D défini par :

• $\ln(k_T)$ : Logarithme de l'impulsion transverse de la séparation.
• $\ln(1/\Delta R)$ : Logarithme de l'inverse de l'angle de séparation.
• Construction du graphe : Chaque nœud représente une émission de parton spécifique dans l'histoire de l'avalanche du jet. Cela permet aux méthodes d'explicabilité d'attribuer des scores d'importance à des événements de séparation physique spécifiques.

B. Modèles et méthodes d'explicabilité

L'étude évalue trois architectures :

1. LundNet : Un GNN utilisant EdgeConv sur un graphe $k$-NN statique construit à partir du LJP.
2. ParticleNet : Un GNN utilisant Dynamic EdgeConv (recalculant les voisins à chaque couche).
3. Particle Transformer : Une architecture basée sur Transformer utilisant l'auto-attention sur les constituants du LJP.

Celles-ci sont associées à trois méthodes XAI :

1. GNNExplainer (basée sur la perturbation) : Optimise un masque pour maximiser l'information mutuelle entre le sous-graphe et la prédiction.
2. GNNShap (basée sur la valeur de Shapley) : Utilise la théorie des jeux coopératifs pour attribuer des valeurs d'importance équitables aux arêtes en fonction de leur contribution marginale.
3. GradCAM (basée sur le gradient) : Calcule des cartes d'activation de classe pondérées par le gradient pour identifier les nœuds/caractéristiques importants.

C. Cadre d'évaluation

Les auteurs ont introduit une évaluation informée par la physique au-delà des métriques de fidélité standard :

1. Masques de vérité MC : Des masques d'explication de vérité terrain ont été construits en traçant les partons durs diffusés à travers le processus d'avalanche (par exemple, en identifiant la structure à 3 branches pour les quarks Top ou la structure à 2 branches pour les bosons de Higgs).
2. Métriques de fidélité ($Fid^+, Fid^-$) : Mesurant dans quelle mesure la prédiction du modèle chute lorsque des arêtes importantes sont supprimées ou conservées.
3. Corrélation de sous-structure : Calcul des corrélations de rang de Spearman entre l'importance des nœuds attribuée par le XAI et les observables classiques ($\tau_{21}, \tau_{32}, C_2, C_3$).
4. Stratification par $p_T$ : L'analyse a été réalisée sur trois intervalles d'impulsion transverse ($500\text{--}700$ GeV, $800\text{--}1000$ GeV et inclusif) pour étudier la transition entre les régimes non perturbatifs et perturbatifs.

3. Contributions clés

1. Première comparaison systématique multi-méthodes : Le papier fournit la première comparaison rigoureuse des méthodes XAI basées sur la perturbation, la théorie des jeux et les gradients spécifiquement pour les GNN opérant sur la représentation physiquement fondée du LJP.
2. Vérité terrain informée par la physique : L'introduction de masques d'explication MC-truth permet une vérification quantitative de savoir si le modèle se concentre sur les bonnes topologies de désintégration physiques (par exemple, les séparations dures pour le signal contre le rayonnement mou pour le bruit de fond).
3. Découverte de l'"Anomalie de fidélité" : Les auteurs ont identifié un comportement contre-intuitif mais physiquement significatif où la suppression des arêtes "importantes" des jets QCD ne dégrade pas la confiance du modèle, contrairement aux jets de signal.
4. Appariement Architecture-Méthode : L'étude démontre qu'aucune méthode XAI unique n'est universellement meilleure ; le choix optimal dépend de l'architecture neuronale sous-jacente.

4. Résultats clés

A. Apprentissage du modèle et alignement avec la physique

• Redécouverte de la QCD : Les trois architectures ont appris avec succès les caractéristiques canoniques de sous-structure QCD.
  • Jets Top ($t \to bW \to bq\bar{q}'$) : Les modèles se sont concentrés sur la structure de séparation dure à 3 branches.
  • Jets Higgs ($H \to c\bar{c}$) : Les modèles se sont concentrés sur la région de chute de masse à 2 branches.
  • Jets QCD : Les modèles ont correctement identifié l'absence d'échelles dures, s'appuyant sur le rayonnement mou et à grand angle intégré (queue de Sudakov).
• Force de corrélation : Le Particle Transformer a montré la corrélation la plus forte ($|\rho| \approx 0,5\text{--}0,6$) entre ses poids d'attention internes et les observables classiques (par exemple, $\tau_{21}$), suggérant que les mécanismes d'attention encodent les caractéristiques cinématiques paires plus directement que les GNN de passage de messages locaux.

B. Comportements spécifiques aux méthodes

• GNNShap : Mieux adapté au Particle Transformer et au LundNet. Il agit comme un "filtre" pour les branchements durs et collinéaires, attribuant un poids élevé aux arêtes spécifiques responsables de la masse du signal.
• GradCAM : Mieux adapté au ParticleNet. Il tend à pondérer l'activité de fragmentation à faible $k_T$ (rayonnement mou), capturant le chemin complet de passage de messages plutôt que simplement les arêtes causales.
• GNNExplainer : Très efficace pour révéler le rôle du partage d'impulsion ($\ln z$) et de l'étendue angulaire, mettant souvent en évidence le motif complet de rayonnement.

C. L'anomalie de fidélité (Jets QCD)

• Pour les jets de signal (2 branches/3 branches), la suppression des $k$ arêtes les plus importantes détruit la prédiction ($Fid^+ \to 1$), comme prévu.
• Pour les jets QCD, la suppression des $k$ arêtes les plus importantes ne entraîne aucune baisse significative de la prédiction ($Fid^+ \to 0$).
• Interprétation : Ce n'est pas un échec de l'explicateur mais une validation de la factorisation QCD. Les jets QCD manquent d'une échelle dure discriminante unique ; leur classification repose sur le motif collectif des émissions douces. Par conséquent, aucun petit sous-graphe n'est suffisant pour définir la classe.

D. Dépendance en $p_T$

• À mesure que l'impulsion transverse ($p_T$) augmente, les séparations dures deviennent plus collimatées.
• Dans les régimes à haut $p_T$, l'accord entre les différentes méthodes XAI s'améliore généralement pour les jets de signal, car le signal dur devient plus distinct du bruit de fond mou. Cependant, pour les jets à 2 branches fortement boostés, la frontière entre le signal et le bruit de fond mou devient ambiguë, provoquant une certaine divergence dans les interprétations des méthodes.

5. Importance et perspectives

• Confiance dans le ML : L'étude fournit des preuves quantitatives que les étiqueteurs d'apprentissage profond modernes n'exploitent pas seulement des artefacts de simulation mais apprennent la physique de sous-structure fondamentale prédite par la QCD.
• Changement méthodologique : Il établit que l'évaluation multi-méthodes est essentielle. S'en remettre à une seule technique XAI peut conduire à des interprétations incomplètes ou biaisées de ce qu'un modèle a appris.
• Applications futures :
  • Détection d'anomalies : Utiliser le XAI pour localiser des populations inattendues dans le plan de Lund pour les recherches au-delà du Modèle Standard (BSM).
  • Conception d'architectures : Utiliser les cartes d'explication pour élaguer les entrées ou concevoir des étiqueteurs plus efficaces (par exemple, en restreignant les entrées aux régions de Lund à haute importance).
  • Validation axée sur les données : Le cadre est prêt à être appliqué aux données réelles du LHC (ATLAS/CMS) pour valider directement les étiqueteurs ML par rapport aux mesures expérimentales plutôt qu'à la simulation.

En conclusion, ce papier comble le fossé entre l'apprentissage automatique haute performance et la physique des particules théorique, démontrant qu'avec la bonne représentation (Plan de Jet de Lund) et un XAI rigoureux, les réseaux de neurones peuvent être interprétés comme apprenant le langage de la QCD.