Explainable AI for Jet Tagging: A Comparative Study of GNNExplainer, GNNShap, and GradCAM for Jet Tagging in the Lund Jet Plane

Dieser Beitrag bewertet und vergleicht auf Perturbationen, Shapley-Werte und Gradienten basierende Erklärbarkeitsmethoden, die für die Darstellung des Lund-Jet-Plans adaptiert wurden, und zeigt, dass diese Techniken erfolgreich Vorhersagen neuronaler Netze mit klassischen QCD-Observablen korrelieren sowie deutliche Verschiebungen des Fokus zwischen perturbativen und nicht-perturbativen Regimen beim Jet-Tagging aufdecken.

Das Wesentliche

Das große Bild: Das „Black Box"-Problem

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären. Sie haben einen superschlauen KI-Assistenten, der sich eine chaotische Tatortszene ansehen und mit 99-prozentiger Genauigkeit genau sagen kann, wer der Täter ist. Wenn Sie den KI jedoch fragen, warum sie das glaubt, antwortet sie nur: „Ich bin mir sicher." Sie zeigt Ihnen keine Notizen und erklärt ihre Schlussfolgerungen nicht.

In der Welt der Teilchenphysik (speziell am Large Hadron Collider) verwenden Wissenschaftler ähnliche „Black Box"-KI-Modelle, um Jets zu identifizieren. Jets sind Ströme winziger Teilchen, die entstehen, wenn Protonen zusammenstoßen. Manchmal stammen diese Jets von gewöhnlichen Teilchen (wie Quarks oder Gluonen), und manchmal von seltenen, schweren Teilchen (wie dem Higgs-Boson oder einem Top-Quark).

Die KI ist hervorragend darin, den Unterschied zu erkennen, aber Physiker sind besorgt: Lernt die KI tatsächlich die Gesetze der Physik, oder merkt sie sich nur Eigenheiten der Computersimulation, mit der sie trainiert wurde? Wenn sie sich nur die Simulation merkt, könnte sie versagen, wenn sie echte Daten betrachtet.

Die Lösung: Die „Lund Jet Plane"-Karte

Um dies zu beheben, beschlossen die Forscher, die Teilchen nicht mehr als chaotischen Haufen zu betrachten, sondern als eine Karte.

Sie verwendeten etwas, das Lund Jet Plane genannt wird. Stellen Sie sich dies wie eine topografische Karte eines Gebirgszugs vor.

• Die X-Achse repräsentiert, wie breit der Teilchenschauer ist.
• Die Y-Achse repräsentiert, wie viel Energie die Teilchen haben.

Jeder einzelne „Split", bei dem ein Teilchen in zwei kleinere Teilchen zerfällt, wird als Punkt auf dieser Karte eingetragen. Da diese Karte auf den tatsächlichen Gesetzen der Physik (Quantenchromodynamik) basiert, hat jeder Punkt eine spezifische, bekannte Bedeutung. Es ist wie eine Karte, bei der jeder Hügel und jedes Tal einem bestimmten geologischen Ereignis entspricht.

Das Experiment: Drei verschiedene „Taschenlampen"

Die Forscher nahmen drei verschiedene Arten von KI-Modellen (die „Detektive") und richteten drei verschiedene Arten von „Taschenlampen" (Erklärbare-KI-Tools) auf sie, um zu sehen, welche Teile der Karte sie betrachteten.

1. GNNExplainer (Die „Was-wäre-wenn"-Taschenlampe): Dieses Tool fragt: „Wenn ich diesen Teil der Karte verberge, bekommt die KI die Antwort immer noch richtig?" Es hebt die kritischsten Bereiche hervor, indem es beobachtet, was passiert, wenn sie entfernt werden.
2. GNNShap (Die „Faire-Anteil"-Taschenlampe): Dieses Tool verwendet ein mathematisches Konzept der Spieltheorie, um genau zu berechnen, wie viel „Guthaben" jeder Punkt auf der Karte für die endgültige Entscheidung verdient. Es ist wie das faire Aufteilen einer Rechnung basierend darauf, wer was gegessen hat.
3. GradCAM (Die „Wärmekarten"-Taschenlampe): Dieses Tool betrachtet das interne „Feuern" der Neuronen der KI und zeichnet eine Wärmekarte, die zeigt, welche Bereiche am aktivsten waren, als die KI eine Entscheidung traf.

Die Ergebnisse: Was hat die KI tatsächlich gesehen?

Die Forscher verglichen die „Taschenlampen"-Ansichten der KI mit der bekannten Physik der Karte. Hier ist, was sie fanden:

1. Die KI lernte die echte Physik
Bei den schweren Teilchen (wie dem Top-Quark oder dem Higgs-Boson) beleuchteten die Taschenlampen der KI korrekt die spezifischen „harten" Splits auf der Karte, an denen das schwere Teilchen zerfiel.

• Analogie: Wenn Sie in einem Wald nach einem bestimmten Baumtyp suchen, hat die KI nicht nur geraten; sie wies korrekt auf die einzigartige Form der Blätter und die Rinde hin. Die Studie beweist, dass die KI nicht nur rät; sie hat die tatsächliche Struktur des Zerfalls dieser schweren Teilchen gelernt.

2. Die „QCD-Anomalie" (Der neblige Wald)
Bei den gewöhnlichen Teilchen (QCD-Jets) konzentrierte sich die Taschenlampe der KI nicht auf einen spezifischen Punkt. Stattdessen beleuchtete sie die gesamte Karte, insbesondere die „weichen" und „breiten" Bereiche.

• Analogie: Stellen Sie sich vor, Sie versuchen, eine gewöhnliche Kiefer zu identifizieren. Es gibt keinen einzelnen, einzigartigen Ast, der sie definiert; es ist die Gesamtform und die Art und Weise, wie die Nadeln verteilt sind. Die KI erkannte korrekt, dass bei diesen gewöhnlichen Jets die Antwort im gesamten Muster liegt, nicht nur an einer speziellen Stelle. Die Forscher nennen dies eine „Fidelity-Anomalie", aber es ist tatsächlich ein Zeichen dafür, dass die KI die Physik perfekt versteht.

3. Unterschiedliche Werkzeuge für unterschiedliche Aufgaben
Die Studie ergab, dass kein einzelnes „Taschenlampen"-Tool für jedes KI-Modell am besten funktioniert.

• Bei einigen KI-Modellen war das „Faire-Anteil"-Tool (GNNShap) am besten darin, die harten Splits zu finden.
• Bei anderen war das „Wärmekarten"-Tool (GradCAM) besser darin, die breiteren Muster zu erkennen.
• Fazit: Sie können nicht einfach ein Erklärungstool auswählen und es für immer verwenden. Sie müssen das Tool an das spezifische KI-Modell anpassen, das Sie verwenden.

4. Der „Boost"-Effekt
Die Forscher betrachteten Jets, die sich mit unterschiedlichen Geschwindigkeiten bewegten (niedrige Energie vs. hohe Energie). Sie stellten fest, dass sich der Fokus der KI mit zunehmender Geschwindigkeit der Jets schärfte und sich mehr auf die spezifischen harten Splits konzentrierte, genau wie die Physik vorhersagt.

Das Fazit

Das Paper kommt zu dem Schluss, dass moderne KI-Jet-Tagger keine magischen Black Boxes sind. Wenn Sie das richtige Licht auf sie werfen, können Sie sehen, dass sie die Gesetze der Physik wirklich gelernt haben. Sie wissen, wo die schweren Teilchen zerfallen, und sie verstehen den Unterschied zwischen einem spezifischen schweren Ereignis und einem generischen Teilchenschauer.

Das ist eine große Sache, denn es bedeutet, dass Wissenschaftler diesen KI-Tools mehr vertrauen können, wenn sie in zukünftigen Experimenten zur Suche nach neuen, unbekannten Teilchen eingesetzt werden. Die KI merkt sich nicht nur ein Lehrbuch; sie betreibt Physik.

Technische Zusammenfassung

1. Problemstellung

Trotz des State-of-the-Art-Performance von Graph Neural Networks (GNNs) wie ParticleNet und Particle Transformer bei der Identifizierung von Jets (kollimierten Teilchenschauern) am Large Hadron Collider (LHC) bleiben ihre Entscheidungsprozesse „Black Boxes".

• Die Lücke: Klassische Jet-Substruktur-Observablen (z. B. $N$-subjettiness $\tau_{21}$, Energiekorrelationsfunktionen) werden aus ersten Prinzipien der Quantenchromodynamik (QCD) abgeleitet und sind analytisch berechenbar. Im Gegensatz dazu lernen neuronale Netze komplexe, undurchsichtige Merkmalsrepräsentationen.
• Das Risiko: Wenn ein Modell Artefakte von Monte-Carlo-(MC)-Simulationen (z. B. spezifische Hadronisierungsmodelle oder Detektorantworten) anstelle fundamentaler Physik lernt, wird seine Leistung auf echten Kollisionsdaten abnehmen.
• Die Herausforderung: Bestehende Explainable-AI-(XAI)-Methoden wurden noch nicht systematisch auf Lund-Jet-Ebene (LJP)-basierte GNNs angewendet. Die LJP bietet eine einzigartige Gelegenheit, da jeder Knoten in ihrer Graphenrepräsentation einer physikalisch bedeutsamen Parton-Spaltung entspricht, was einen direkten Vergleich zwischen Modell-Aufmerksamkeit und QCD-Theorie ermöglicht.

2. Methodik

Die Autoren entwickelten ein umfassendes Framework zur Evaluierung und zum Vergleich dreier unterschiedlicher XAI-Paradigmen, die an LJP-basierte GNNs angepasst wurden.

A. Datenrepräsentation: Die Lund Jet Plane (LJP)

Anstatt Jets als Bilder oder generische Punktwolken zu behandeln, verwendet die Studie die Lund Jet Plane, einen 2D-Phasenraum definiert durch:

• $\ln(k_T)$: Logarithmus des transversalen Impulses der Spaltung.
• $\ln(1/\Delta R)$: Logarithmus des inversen Spaltungswinkels.
• Graphkonstruktion: Jeder Knoten repräsentiert eine spezifische Parton-Emission in der Shower-Historie des Jets. Dies ermöglicht es Explainability-Methoden, Wichtigkeitswerte für spezifische physikalische Spaltungsereignisse zuzuweisen.

B. Modelle und Explainability-Methoden

Die Studie evaluiert drei Architekturen:

1. LundNet: Ein GNN, das EdgeConv auf einem statischen $k$-NN-Graphen verwendet, der aus der LJP aufgebaut ist.
2. ParticleNet: Ein GNN, das Dynamic EdgeConv verwendet (Nachbarn werden in jeder Schicht neu berechnet).
3. Particle Transformer: Eine Transformer-basierte Architektur, die Self-Attention auf LJP-Konstituenten anwendet.

Diese werden mit drei XAI-Methoden gepaart:

1. GNNExplainer (auf Perturbation basierend): Optimiert eine Maske, um die gegenseitige Information zwischen dem Subgraphen und der Vorhersage zu maximieren.
2. GNNShap (auf Shapley-Werten basierend): Nutzt die kooperative Spieltheorie, um faire Wichtigkeitswerte für Kanten basierend auf ihrem marginalen Beitrag zuzuweisen.
3. GradCAM (auf Gradienten basierend): Berechnet gewichtete Klassenaktivierungskarten basierend auf Gradienten, um wichtige Knoten/Merkmale zu identifizieren.

C. Evaluierungsframework

Die Autoren führten eine physikinformierte Evaluierung über Standard-Fidelity-Metriken hinaus ein:

1. MC-Truth-Masks: Ground-Truth-Erklärungsmasken wurden konstruiert, indem die hart gestreuten Partons durch den Shower-Prozess verfolgt wurden (z. B. Identifizierung der 3-Prong-Struktur für Top-Quarks oder der 2-Prong-Struktur für Higgs-Bosonen).
2. Fidelity-Metriken ($Fid^+, Fid^-$): Messung, wie stark die Vorhersage des Modells abfällt, wenn wichtige Kanten entfernt oder beibehalten werden.
3. Substruktur-Korrelation: Berechnung der Spearman-Rangkorrelationen zwischen den von XAI zugewiesenen Knotenwichtigkeiten und klassischen Observablen ($\tau_{21}, \tau_{32}, C_2, C_3$).
4. $p_T$-Stratifizierung: Die Analyse wurde über drei transversale Impuls-Bins ($500\text{--}700$ GeV, $800\text{--}1000$ GeV und inklusiv) durchgeführt, um den Übergang zwischen nicht-störungstheoretischen und störungstheoretischen Regimen zu untersuchen.

3. Hauptbeiträge

1. Erster systematischer Multi-Methoden-Vergleich: Das Paper liefert den ersten rigorosen Vergleich von auf Perturbation, Spieltheorie und Gradienten basierenden XAI-Methoden speziell für GNNs, die auf der physikalisch fundierten LJP-Repräsentation operieren.
2. Physikinformierte Ground Truth: Die Einführung von MC-Truth-Erklärungsmasken ermöglicht eine quantitative Überprüfung, ob sich das Modell auf die korrekten physikalischen Zerfallstopologien konzentriert (z. B. harte Spaltungen für Signale vs. weiche Strahlung für Untergrund).
3. Entdeckung der „Fidelity-Anomalie": Die Autoren identifizierten ein kontraintuitives, aber physikalisch sinnvolles Verhalten, bei dem das Entfernen „wichtiger" Kanten von QCD-Jets die Konfidenz des Modells nicht verschlechtert, im Gegensatz zu Signal-Jets.
4. Architektur-Methoden-Paarung: Die Studie zeigt, dass keine einzelne XAI-Methode universell am besten ist; die optimale Wahl hängt von der zugrunde liegenden neuronalen Architektur ab.

4. Hauptergebnisse

A. Modelllernen und Physik-Alignment

• Wiederentdeckung der QCD: Alle drei Architekturen lernten erfolgreich kanonische QCD-Substrukturmerkmale.
  • Top-Jets ($t \to bW \to bq\bar{q}'$): Modelle konzentrierten sich auf die 3-Prong-harte Spaltungsstruktur.
  • Higgs-Jets ($H \to c\bar{c}$): Modelle konzentrierten sich auf die 2-Prong-Mass-Drop-Region.
  • QCD-Jets: Modelle identifizierten korrekt das Fehlen harter Skalen und verließen sich auf die integrierte weiche, großwinkelige Strahlung (Sudakov-Schwanz).
• Korrelationsstärke: Der Particle Transformer zeigte die stärkste Korrelation ($|\rho| \approx 0,5\text{--}0,6$) zwischen seinen internen Aufmerksamkeitsgewichten und klassischen Observablen (z. B. $\tau_{21}$), was darauf hindeutet, dass Aufmerksamkeitsmechanismen paarweise kinematische Merkmale direkter kodieren als lokale Message-Passing-GNNs.

B. Methoden-spezifisches Verhalten

• GNNShap: Am besten geeignet für Particle Transformer und LundNet. Es wirkt als „Filter" für harte, kollineare Verzweigungen und weist hohen Gewicht den spezifischen Kanten zu, die für die Signalmasse verantwortlich sind.
• GradCAM: Am besten geeignet für ParticleNet. Es neigt dazu, niedrige-$k_T$-Fragmentationsaktivität (weiche Strahlung) zu gewichten und erfasst den gesamten Message-Passing-Pfad anstatt nur der kausalen Kanten.
• GNNExplainer: Hochwirksam bei der Aufdeckung der Rolle der Impulsverteilung ($\ln z$) und der Winkelausdehnung, wobei oft das gesamte Strahlungsmuster hervorgehoben wird.

C. Die Fidelity-Anomalie (QCD-Jets)

• Bei Signal-Jets (2-Prong/3-Prong) zerstört das Entfernen der Top-$k$-wichtigsten Kanten die Vorhersage ($Fid^+ \to 1$), wie erwartet.
• Bei QCD-Jets führt das Entfernen der Top-$k$-Kanten zu keinem signifikanten Abfall der Vorhersage ($Fid^+ \to 0$).
• Interpretation: Dies ist kein Versagen des Explainers, sondern eine Validierung der QCD-Faktorisierung. QCD-Jets fehlen eine einzelne diskriminierende harte Skala; ihre Klassifizierung beruht auf dem kollektiven Muster weicher Emissionen. Daher ist kein kleiner Subgraph ausreichend, um die Klasse zu definieren.

D. $p_T$-Abhängigkeit

• Mit zunehmendem transversalen Impuls ($p_T$) werden die harten Spaltungen stärker kollimiert.
• In hoch-$p_T$-Regimen verbessert sich die Übereinstimmung zwischen verschiedenen XAI-Methoden im Allgemeinen für Signal-Jets, da das harte Signal deutlicher vom weichen Untergrund abgegrenzt wird. Für stark geboostete 2-Prong-Jets wird die Grenze zwischen Signal und weichem Untergrund jedoch mehrdeutig, was zu einer gewissen Divergenz in den Methodeninterpretationen führt.

5. Bedeutung und Ausblick

• Vertrauen in ML: Die Studie liefert quantitative Belege dafür, dass moderne Deep-Learning-Tagger nicht nur Simulation-Artefakte ausnutzen, sondern die fundamentale Substruktur-Physik lernen, die von der QCD vorhergesagt wird.
• Methodischer Wandel: Sie etabliert, dass eine Multi-Methoden-Evaluierung unerlässlich ist. Das Verlassen auf eine einzelne XAI-Technik kann zu unvollständigen oder verzerrten Interpretationen dessen führen, was ein Modell gelernt hat.
• Zukünftige Anwendungen:
  • Anomalieerkennung: Nutzung von XAI, um unerwartete Populationen in der Lund-Ebene für Beyond-Standard-Model-(BSM)-Suchen zu lokalisieren.
  • Architekturdesign: Nutzung von Erklärungskarten, um Eingaben zu beschneiden oder effizientere Tagger zu entwerfen (z. B. Einschränkung der Eingaben auf hochwichtige Lund-Bereiche).
  • Datengetriebene Validierung: Das Framework ist bereit, auf echte LHC-Daten (ATLAS/CMS) angewendet zu werden, um ML-Tagger direkt gegen experimentelle Messungen und nicht gegen Simulationen zu validieren.

Zusammenfassend überbrückt dieses Paper die Lücke zwischen hochleistungsfähigem Machine Learning und theoretischer Teilchenphysik und zeigt, dass neuronale Netze mit der richtigen Repräsentation (Lund Jet Plane) und rigorosem XAI als lernend der Sprache der QCD interpretiert werden können.