Graph theory inspired anomaly detection at the LHC

Technische Samenvatting: Grafentheorie-geïnspireerde Anomaliedetectie bij de LHC

Probleemstelling
De zoektocht naar fysica voorbij het Standaardmodel (BSM) bij de Large Hadron Collider (LHC) staat voor een centrale uitdaging: het ontwerpen van model-onafhankelijke anomaliedetectie-algoritmen die in staat zijn om de hoogdimensionale aard van collider-events te verwerken. Traditionele "top-down" zoektochten die zich richten op specifieke theoretische modellen, lopen het risico signalen te missen die niet overeenkomen met die modellen. Hoewel ongecontroleerde machine learning-benaderingen, zoals autoencoders, een model-agnostisch alternatief bieden door te leren hoe achtergrondgebeurtenissen gereconstrueerd kunnen worden en gebeurtenissen met een hoge reconstructieverlies te markeren als anomalieën, worstelen ze vaak met de complexiteit van jet-data. Standaardbenaderingen die gebruikmaken van volledig verbonden grafen of dichte representaties kunnen redundantie en overfitting introduceren, vooral wanneer het signaalpercentage klein is. Dit werk adresseert de behoefte aan een fysisch gemotiveerde inductieve bias die de informatie-inhoud balanceert met geometrische structuur om de prestaties van anomaliedetectie te verbeteren.

Methodologie
De auteurs ontwikkelen een Graph Autoencoder (GAE) als een ongecontroleerde, model-agnostische tool voor anomaliedetectie, getoetst aan de LHC Olympics 2020 dataset. De methodologie introduceert twee primaire innovaties in het representeren van jet-constituenten als grafen:

1. Sparse Graafconstructies via Graaf-rigiditeit: In plaats van volledig verbonden grafen te gebruiken (die kwadratisch schalen, $O(N^2)$), construeren de auteurs sparse grafen waarbij het aantal randen schaalt met het aantal constituenten ($N$). Deze constructies worden gemotiveerd door de graf-rigiditeitstheorie in de Euclidische ruimte ($\mathbb{R}^2$):

   • Laman-grafen: Lokaal rigide grafen met $2N-3$ randen, geconstrueerd via Henneberg Type I operaties. Deze zorgen voor lokale rigiditeit, maar kunnen meerdere discrete realisaties toelaten.
   • Unieke grafen: Globaal rigide grafen die een unieke inbedding (tot isometrieën) in $\mathbb{R}^2$ toelaten. De auteurs construeren "unieke-$k$" grafen door te beginnen met een volledig verbonden subgraaf van de $k+1$ moeilijkste deeltjes en vervolgens elk opeenvolgend deeltje te verbinden met zijn $k$ dichtstbijzijnde buren in hoekafstand. Voor $k \geq 3$ voldoen deze grafen aan de Hendrickson-condities voor globale rigiditeit.

2. Subjet-clustering als Informatie-throttle: Om de complexiteit van de input te beheersen, worden jet-constituenten geclusterd in een vast aantal exclusieve $k_T$ subjets. Dit maakt een vloeiende interpolatie mogelijk tussen laag-niveau (hadron) en hoog-niveau (samenvattende statistiek) representaties. De modelinputs bestaan uit de transversale impuls ($p_T$) van knopen en relatieve hoekafstanden ($\theta_{ij}$) en kinematische variabelen ($k_{T,ij}, z_{ij}$) van randen, in plaats van absolute posities, om aan te sluiten bij perturbatieve QCD-observabelen.

De architectuur maakt gebruik van een Graph Neural Network (GNN) gebaseerde autoencoder. De encoder gebruikt EdgeConv-lagen om knoop- en randkenmerken te verwerken, waarbij de input wordt gecomprimeerd tot een 2-dimensionale latente knooprepresentatie (een "strakke bottleneck"). De decoder bestaat uit twee takken: één voor het reconstrueren van knoopkenmerken en een andere voor het reconstrueren van randkenmerken. Het model is getraind om de Mean Squared Error (MSE) van zowel de knoop- als de randreconstructies op achtergrondrijke data te minimaliseren.

Belangrijkste Bijdragen

• Inductieve Bias via Rigiditeit: Het artikel toont aan dat het afdwingen van graaf-rigiditeit (specifiek globale rigiditeit via unieke grafen) dient als een effectieve inductieve bias, die voldoende geometrische beperkingen biedt om deeltjesposities vast te leggen zonder de redundantie van volledig verbonden grafen.
• Optimaal Informatieniveau: De studie identificeert dat de prestaties van anomaliedetectie pieken bij een intermediair niveau van subjet-clustering ($n_{\text{subjets}} \approx 30$), wat contrasteert met taken zoals jet-classificatie die vaak profiteren van maximale laag-niveau informatie.
• Superioriteit van Sparse Unieke Grafen: De auteurs tonen aan dat specifieke sparse graafconstructies (unieke-6) beter presteren dan volledig verbonden grafen in anomaliedetectie-taken.
• Interpreteerbaarheid: Door de graafconnectiviteit te koppelen aan de topologische eigenschappen van de faseruimte, verbetert dit werk de interpreteerbaarheid van machine learning-tools voor deeltjesexperimenten.

Numerieke Resultaten
Met behulp van de LHC Olympics dataset (die een $Z' \to X Y$ resonantie simuleert met $m_{Z'} = 3.5$ TeV), evalueerden de auteurs de prestaties met behulp van de Area Under the Curve (AUC) en de Significance Improvement Characteristic (SIC) curve.

• Grafenprestaties: De unieke-6 graaf constructie behaalde de beste prestaties, met een maximale SIC van 2.94 en een AUC van 0.925 bij $n_{\text{subjets}} = 30$. Dit presteerde beter dan volledig verbonden grafen, Laman-grafen en andere unieke-$k$ varianten.
• Sparsity vs. Topologie: Hoewel het vergroten van de sparsity over het algemeen de prestaties verbeterde tot een bepaald punt, bleek de specifieke connectiviteitsstructuur van unieke grafen belangrijker dan sparsity alleen. "Modified Laman" grafen (die tussen Laman en volledig verbonden interpoleren door randen toe te voegen) konden de prestatiepiek van unieke grafen niet repliceren, wat suggereert dat de unieke graaf-topologie de onderliggende faseruimte-structuur beter vangt.
• Input Kenmerken: Modellen die uitsluitend vertrouwden op absolute positionele informatie of de reconstructie van volledige 3-momenten presteerden aanzienlijk slechter, wat bevestigt dat relatieve relaties de relevante fysica-informatie coderen.
• Robuustheid: De prestaties bleven stabiel voor signaal-naar-achtergrondverhoudingen tot $S/B \lesssim 1\%$, consistent met het ongecontroleerde paradigma.

Betekenis en Claims
Het artikel claimt dat het benutten van grafentheoretische inzichten, speciffisch de concepten van lokale en globale rigiditeit, het mogelijk maakt om machine learning-tools voor deeltjesexperimenten te verfijnen. De resultaten suggereren dat:

1. Fysisch Gemotiveerde Biases: Sparse, rigide grafen vormen een natuurlijke keuze voor inductieve biases in anomaliedetectie, waarbij de essentiële geometrische structuur behouden blijft terwijl de overfitting geassocieerd met dichte representaties wordt vermeden.
2. State-of-the-Art Prestaties: De unieke-6 graafconstructie vertegenwoordigt de huidige state-of-the-art onder ongecontroleerde autoencoder-gebaseerde methoden voor deze specifieke anomaliedetectie benchmark.
3. Complementariteit: De aanpak benadrukt een duidelijk verschil tussen gesuperviseerde classificatie (die profiteert van rijke, laag-niveau data) en ongecontroleerde anomaliedetectie (die profiteert van gestructureerde, intermediaire-niveau informatie).

De auteurs concluderen dat deze bevindingen motiveren tot verdere exploratie van de verbinding tussen grafentheorie, computationele complexiteit en de interpreteerbaarheid van machine learning in de hoge-energiefysica, zonder direct te claimen dat er een ontdekkingpotentieel is, maar eerder de verbeterde sensitiviteit in model-agnostische zoektochten te demonstreren.