Mixture-of-Experts Graph Transformers for Interpretable Particle Collision Detection

Technische Samenvatting: Mixture-of-Experts Graph Transformers voor Interpreteerbare Detectie van Deeltjesbotsingen

Probleemstelling
De Large Hadron Collider (LHC) bij CERN genereert enorme volumes aan complexe data uit hoogenergetische deeltjesbotsingen, wat geavanceerde analytische technieken vereist voor gebeurtenisclassificatie en objectidentificatie. Hoewel Graph Neural Networks (GNN's) state-of-the-art prestaties hebben getoond bij het representeren van botsingen als grafen, beperkt hun "black box"-natuur hun verklaarbaarheid. In de hogenergetische fysica (HEP), waar het vestigen van vertrouwen in nieuwe ontdekkingen van cruciaal belang is, vormt het onvermogen om besluitvormingsprocessen te interpreteren een kritieke beperking. Bestaande post-hoc verklaarbaarheidsmethoden (bijv. PGExplainer, GNNExplainer) missen vaak robuustheid en slagen er niet in een volledig begrip te bieden van de interne werking van het model. Dit werk adresseert de uitdaging om machine learning-modellen te ontwikkelen die zowel een hoge voorspellende nauwkeurigheid bereiken als intrinsieke verklaarbaarheid direct in de architectuur inbedden.

Methodologie
De auteurs stellen een nieuwe architectuur voor, de Mixture-of-Experts Graph Transformer (MGT), ontworpen voor het classificeren van gesimuleerde botsingsgebeurtenissen van het ATLAS-experiment. De taak bestaat uit het onderscheiden van zeldzame Supersymmetrische (SUSY) signaalgebeurtenissen van dominante Standaardmodel (SM) achtergronden (specifiek $t\bar{t}$ en $Wt$ productie).

1. Data-representatie: Elke botsingsgebeurtenis wordt gemodelleerd als een volledig verbonden graaf $G$ met 6 of 7 knopen. Knopen representeren gereconstrueerde deeltjes (jets, b-getagde jets, leptonen en ontbrekende transversale energie) en bevatten tot 6 kinematische kenmerken (bijv. transversale impuls $p_T$, pseudorapiditeit $\eta$, azimutale hoek $\phi$, b-tagging kwantiel en massa).
2. Architectuur: Het model bouwt voort op het Graph Transformer (GT) framework.
   • Graph Transformer: Maakt gebruik van multi-head self-attention mechanismen om knooprepresentaties bij te werken, waardoor het model attention-kaarten kan visualiseren en relaties tussen deeltjes kan kwantificeren.
   • Mixture of Experts (MoE): Het standaard feed-forward netwerk (FFN) binnen de Transformer-lagen wordt vervangen door een MoE-blok. Dit blok bestaat uit meerdere gespecialiseerde sub-netwerken ("experts") en een gating-mechanisme. De router wijst elke knoop dynamisch toe aan een subset van experts op basis van geleerde patronen.
   • Training: Het model maakt gebruik van een noisy top-K gating mechanisme met een load-balancing loss om een gelijkmatige expert-benutting te garanderen en te voorkomen dat slechts een klein deel van de experts wordt getraind.
3. Verklaarbaarheidsmechanisme: De architectuur biedt intrinsieke verklaarbaarheid via twee primaire kanalen:
   • Attention Maps: Het visualiseren van attention-gewichten onthult op welke knopen (deeltjes) het model zich focust bij het doen van voorspellingen.
   • Expert Specialisatie: Het analyseren van de output van het gating-netwerk identificeert welke experts worden geactiveerd voor specifieke typen knopen, wat onthult hoe het model het probleem deelt in gespecialiseerde sub-taken.

Belangrijkste Bijdragen

• Intrinsieke Verklaarbaarheid: In tegen tegenstelling tot post-hoc methoden integreert deze aanpak verklaarbaarheid in de kernarchitectuur van het model, waardoor voorspellingen direct herleid kunnen worden naar specifieke attention-mechanismen en expert-activaties.
• Fysica-gealigneerde Interpretatie: De studie toont aan dat de interne mechanismen van het model overeenkomen met bekende natuurkundige principes. Zo laten attention-kaarten een hoge focus zien op b-jets ($b_1, b_2$) en ontbrekende energie bij signaalgebeurtenissen, wat consistent is met het verval van Higgs-bosonen en kandidaten voor donkere materie.
• Expert Specialisatiepatronen: De analyse laat zien dat MoE-experts van nature specialiseren in verschillende soorten deeltjes (bijv. specifieke experts die zich richten op lepton/energie-paren of b-jets), wat een granulair overzicht biedt van het besluitvormingsproces van het model.

Resultaten
Het model werd geëvalueerd op een dataset van 800.000 Monte Carlo gesimuleerde gebeurtenissen (400.000 signaal, 400.000 achtergrond) met tien runs met verschillende random seeds.

• Prestaties: Het MGT-model behaalde superieure prestaties vergeleken met baseline-architecturen (MLP, GCN en standaard GT). Het behaalde een nauwkeurigheid van 0.852 ± 0.0005 en een AUC van 0.929 ± 0.0039, waarmee het de standaard GT (0.849 nauwkeurigheid, 0.928 AUC) overtrof en de GCN (0.750 nauwkeurigheid, 0.832 AUC) aanzienlijk overtrof.
• Interpretatiebevindingen:
  • Attention Analyse: In correct geclassificeerde signaalgebeurtenissen concentreerde de aandacht zich sterk op de $b_1$, $b_2$ en energie-knopen, wat de fysica van Higgs-verval en ontbrekende energie door donkere materie reflecteert. In achtergrondgebeurtenissen was de aandacht meer gelijkmatig verdeeld.
  • Expert Analyse: Experts in de eerste laag vertoonden duidelijke specialisatie (bijv. Experts 2 en 4 richtten zich op lepton en energie, terwijl Experts 1 en 5 zich richtten op b-jets), terwijl diepere lagen meer overlap vertoonden, wat duidt op een hoger niveau van abstractie bij het combineren van kenmerken.
  • Ablatie-studies: De auteurs stelden vast dat de load balancing loss cruciaal is voor expert-specialisatie; zonder deze faalden de experts in specialisatie. De optimale configuratie omvatte 6 experts met top-2 routing.

Betekenis en Claims
Het artikel claimt dat het MGT-model er succesvol in is geslaagd om een balans te vinden tussen hoge voorspellende prestaties en robuuste verklaarbaarheid, waardoor het een transparant instrument biedt voor de analyse van HEP-data. Door voorspellingen te koppelen aan natuurkunde-geïnformeerde kenmerken via attention-kaarten en expert-specialisatie, vergroot het model het vertrouwen in AI-gestuurde ontdekkingen. De auteurs benadrukken dat verklaarbaarheid even cruciaal is als nauwkeurigheid bij het verkennen van potentiële nieuwe fysica. Zij concluderen dat, hoewel de huidige studie zich richt op een specifieke SUSY-zoektocht, het framework de levensvatbaarheid van intrinsiek verklaarbare GNN's voor complexe wetenschappelijke data aantoont, wat de weg vrijmaakt voor meer betrouwbare AI-methodologieën in de deeltjesfysica. De auteurs blijven bescheiden over de schaalbaarheid en merken op dat generalisatie naar grotere datasets en bredere natuurkundige taken verdere validatie vereist.