🤖 machine learning

Contrastive Learning for Interpretable Anomaly Detection at Collider Experiments

Het artikel introduceert ORCA, een tweestaps-framework dat supervised contrastief leren combineert met autoencoders om zowel de sensitiviteit als de interpreteerbaarheid te verbeteren bij de detectie van anomalieën in de deeltjesversneller door gebeurtenissen te mappen naar een embedding-ruimte waarin anomale monsters kwantitatief kunnen worden toegeschreven aan bekende fysische processen.

Oorspronkelijke auteurs: Haoyi Jia, Sagar Addepalli, Julia Gonski

Gepubliceerd 2026-08-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoyi Jia, Sagar Addepalli, Julia Gonski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de Large Hadron Collider (LHC) voor als de krachtigste deeltjesversneller ter wereld. Hij vuurt protonen op elkaar af met bijna de snelheid van het licht, wat een chaotische explosie van nieuwe deeltjes creëert. Natuurkundigen zijn op zoek naar "nieuwe fysica"—mysterieus deeltjes of krachten die niet in ons huidige regelboekje passen, bekend als het Standaardmodel. Het probleem is dat deze nieuwe deeltjes als naalden in een hooizak zijn, verborgen tussen miljarden saaie, gewone botsingen. Om ze te vinden, gebruiken wetenschappers "Anomaliedetectie", een beetje zoals een beveiliger op een feestje die de gewone menigte negeert en alleen ingrijpt als iemand zich vreemd gedraagt.

Echter, traditionele beveiligers hebben twee grote gebreken. Ten eerste raken ze vaak in de war door hoe luidruchtig het feestje is (de energie van de botsing) of hoeveel mensen er aan het dansen zijn (het aantal deeltjes), waardoor ze normale gebeurtenissen als verdacht markeren, simpelweg omdat ze energiek zijn. Ten tweede, wanneer de bewaker wel iemand tegenhoudt, kan hij niet uitleggen waarom. Hij zegt alleen maar: "Deze persoon is vreemd," zonder te vertellen of het een spion is, een verdwaalde toerist, of gewoon iemand met een grappige hoed. Dit artikel introduceert een nieuw, slimmer beveiligingssysteem genaamd ORCA dat niet alleen de vreemdelingen beter opspoort, maar ook precies uitlegt wat voor soort vreemdheid het is.

De ORCA-methode: Een detectiveverhaal in twee stappen

De auteurs, Haoyi Jia, Sagar Addepalli en Julia Gonski, stellen een nieuw raamwerk voor genaamd ORCA (Organized Representation via Contrastive learning for Anomaly detection). Denk aan ORCA als een proces in twee stappen dat is ontworpen om de rommel op het deeltjesfeestje op te ruimen voordat de beveiliger überhaupt begint te kijken.

Stap 1: De "Sorter" (Contrastief Leren)
Stel je voor dat je een enorme stapel gemengde LEGO-steentjes hebt van verschillende sets: een kasteel, een ruimteschip en een racewagen. Als je ze allemaal in één doos gooit, is het moeilijk te zien welk steentje bij welke set hoort. Traditionele methoden proberen de hele stapel te reconstrueren, maar raken vaak in de war door de rode steentjes die in alle sets lijken te lijken.

De eerste stap van ORCA gebruikt een techniek genaamd Contrastive Learning. Het is als een superintelligente leraar die de steentjes neemt en ze in aparte stapels sorteert op basis van hun type, nog voordat je überhaupt iets probeert te bouwen. Het model wordt getraind op 48 verschillende Standard Model-processen (de "bekende" fysica) en groepeert deze in 14 categorieën zoals "Single Vector Boson" of "Top Pair". Het leert de steentjes van verschillende sets ver uit elkaar te duwen in een virtuele ruimte, terwijl steentjes van dezelfde set dicht bij elkaar worden gehouden.

Het resultaat is een zeer georganiseerde "embedding space". In plaats van een rommelige stapel ruwe data, heeft het model nu een nette kaart waarbij elk bekend type fysica-gebeurtenis zijn eigen specifieke buurt heeft. Dit lost het eerste probleem op: het model raakt niet langer in de war door de enorme energie of het aantal deeltjes, omdat het de data al heeft georganiseerd op basis van wat de deeltjes zijn.

Stap 2: De "Beveiliger" (Autoencoder)
Zodra de data in deze nette buurten is gesorteerd, komt de tweede stap in actie. Dit is een standaard Autoencoder, die fungeert als een beveiliger. De bewaker is getraind alleen op de "achtergrond"-gebeurtenissen (het saaie, normale spul). Het leert de lay-out van de normale buurten perfect te reconstrueren.

Wanneer er een nieuwe gebeurtenis binnenkomt, probeert de bewaker deze opnieuw op te bouen. Als de gebeurtenis normaal is, kan de bewaker deze gemakkelijk reconstrueren. Maar als de gebeurtenis een anomalie is (een nieuw fysica-signaal), past deze niet in het patroon van de bekende buurten. De bewaker heeft moeite met de reconstructie, en de "reconstructiefout" wordt enorm. Deze foutscore is de anomaliescore. Omdat de data door de eerste stap al is gesorteerd, is deze score veel nauwkeuriger en minder snel gefopt door hoge energie of drukke gebeurtenissen.

Wat ze vonden: Betere detectie en een duidelijkere uitleg

De onderzoekers testten ORCA op een gesimuleerde dataset van 750 miljoen proton-proton botsingen, die de omstandigheden van de High-Luminosity LHC nabootsen. Ze vergeleken ORCA met een standaard autoencoder die direct naar de ruwe data keek zonder de sorteerstap.

1. Slimere Detectie
De resultaten toonden aan dat ORCA significant beter is in het opsporen van nieuwe fysica. Bij bijna alle verschillende soorten signalen die ze testten, vond ORCA meer "ware" anomalieën terwijl het meer "valse" alarmen negeerde. In de taal van het artikel verbeterde het zowel de "breedte" (het vinden van meer soorten signalen) als de "diepte" (het vinden ervan, zelfs wanneer de achtergrondruis enorm was). De enige kleine uitzondering was een specifieke laag-massa resonantie, die het model nog steeds als achtergrond-achtig behandelde, maar voor bijna alles elders was de nieuwe methode een duidelijke winnaar.

2. Het "Waarom" achter het "Vreemde"
Het meest opwindende deel van het artikel is de interpreteerbaarheid. In het verleden, als een detector een gebeurtenis als "vreemd" markeerde, bleven wetenschappers achter met de vraag: was het een nieuw deeltje? Was het een glitch?

Met ORCA, omdat de gebeurtenissen in afzonderlijke buurten zijn gesorteerd, kunnen wetenschappers nu naar de "vreemde" gebeurtenis kijken en vragen: "Waar lijkt deze gebeurtenis het meest op?" Ze gebruiken een statistische techniek genaamd een template fit. Stel je voor dat je een mysterieuze gast op het feestje hebt. In plaats van alleen te zeggen "hij is vreemd", kun je zeggen: "Deze gast lijkt voor 80% op een verdwaalde toerist uit de 'Top Pair'-buurt en voor 20% op een spion uit de 'Di-Higgs'-buurt."

Het artikel demonstreert dit door "nep" nieuwe signalen in de data te "injecteren". Wanneer ze dit deden, kon ORCA nauwkeurig tellen hoeveel nep-signalen er waren en correct identificeren met welk bekend fysica-proces ze het meest leken. Bijvoorbeeld, als ze een "Di-Higgs"-signaal injecteerden zonder het aan het model te vertellen, categoriseerde het model de gebeurtenissen correct als zijnde lijkend op "Top Pair"-gebeurtenissen. Dit onthulde dat het model de onderliggende fysica-structuur (zoals het aantal deeltjes in de eindtoestand) had geleerd, zelfs zonder dat dit expliciet was verteld.

De Kern van het Verhaal

Dit artikel suggereert dat door een "sorteringstap" toe te voegen vóór de "zoekstap", we anomaliedetectie bij deeltjesversnellers zowel krachtiger als begrijpelijker kunnen maken. Het gaat niet alleen om het vinden van de naald in de hooizak; het gaat erom dat je de vorm, kleur en oorsprong van de naald kunt beschrijven zodra je hem hebt gevonden.

De auteurs benadrukken dat dit een simulatie-gebaseerd resultaat is. Ze hebben het getest op een dataset van 750 miljoen gesimuleerde botsingen, nog niet op echte data van de LHC. Echter, het raamwerk is ontworpen om modulair te zijn. De "sorter" zou vervangen kunnen worden door een snellere versie om op de werkelijke hardware-triggers te draaien, en de "bewaker" kan elke andere anomaliedetector zijn. Dit opent de deur voor toekomstige real-world experimenten om niet alleen nieuwe fysica te vinden, maar ook direct te begrijpen wat het zou kunnen zijn.

Technische Samenvatting: Georganiseerde Representatie via Contrastief Leren voor Anomaliedetectie (ORCA)

Probleemstelling
Generieke anomaliedetectie (AD) op event-niveau in de deeltjesfysica staat voor twee hardnekkige uitdagingen:

Interpreteerbaarheid: Anomaliescores zijn vaak moeilijk fysiek te interpreteren. Het begrijpen van het gedrag van deze scores is doorgaans beperkt tot het onderzoeken van correlaties met ruwe kinematische inputs, en signaalextractie vereist vaak het vernauwen van de analyse tot een specifieke, nauwe fase-ruimte (bijv. een specifiek invariant-massa-venster), wat de algemeenheid van de zoektocht vermindert.
Correlatie met Kinematica: Traditionele AD-scores correleren vaak sterk met energieschalen en object-multipliciteiten in plaats van met werkelijke afwijkingen van het Standaardmodel (SM). Compressiegebaseerde technieken, zoals standaard autoencoders getraind op laag-niveau inputs, kunnen gevoelig zijn voor de kenmerken van de trainingspopulatie, wat leidt tot een slechte reconstructie van normale events of een goede reconstructie van zeldzame anomalies door dataset-topologie of interpolatie-biases.

Methodologie
De auteurs stellen ORCA (Organized Representation via Contrastive learning for Anomaly detection) voor, een tweestaps raamwerk ontworpen om het leren van een natuurkunde-geïnformeerde representatie te ontkoppelen van het mechanisme voor anomalie-scoring.

Fase 1: Gesuperviseerd Contrastief Embedding
- Architectuur: Het model maakt gebruik van een encoder-netwerk geïnspireerd op transformer-architecturen. Het verwerkt input-events (bestaande uit maximaal 10 jets, 4 elektronen, 4 muon en 4 fotonen, en MET) door elk objecttype naar een gemeenschappelijke embedding-ruimte te mappen via toegewijde netwerken. Deze object-tokens worden verrijkt met positionele embeddings en verwerkt door transformer encoder-blokken, gevolgd door een multi-head attention pooling-laag om ze te aggregeren tot een enkele event-representatievector $\vec{r}$ .
- Trainingsdoel: De embedder wordt getraind met een gesuperviseerde contrastieve loss (InfoNCE-achtig) over 48 verschillende SM-processen, die zijn samengevoegd tot 14 natuurkunde-procesgroepen. De loss stimuleert events uit dezelfde procesgroep om samen te clusteren (alignment) terwijl ze de representaties over de beschikbare ruimte verspreidt (uniformity). Een variantie-regularisator wordt toegevoegd om representatieve instorting te voorkomen.
- Output: Het model produceert een 128-dimensionale $\ell_2$ -genormaliseerde embedding-vector. Een projectie-kop wordt alleen tijdens de training gebruikt om de contrastieve loss te berekenen; downstream-taken opereren op de embedding $\vec{r}$ .
Fase 2: Ongesuperviseerde Anomaliedetectie
- Architectuur: Een standaard autoencoder wordt uitsluitend getraind op de embeddings van achtergrond-events (minimum-bias data).
- Trainingsdoel: De autoencoder minimaliseert de gemiddelde kwadratische reconstructiefout tussen de input-embedding en de reconstructie daarvan.
- Anomaliescore: De anomaliescore voor een event wordt gedefinieerd als de gemiddelde kwadratische fout (MSE) tussen de gestandaardiseerde embedding en de reconstructie van de autoencoder. Omdat de autoencoder alleen leert de achtergronddistributie te reconstrueren, leveren processen die verschillen van de achtergrond hoge reconstructiefouten op.
Interpretatiekader
- De gestructureerde aard van de embedding-ruimte maakt een maximum-likelihood template fit mogelijk. De embedding-dimensies worden gereduceerd via Principal Component Analysis (PCA) en Independent Component Analysis (ICA).
- Waarschijnlijkheidsfuncties (PMF's) worden geconstrueerd voor elke bekende procesgroep in de gereduceerde dimensies.
- Een composiet likelihood fit wordt uitgevoerd op de distributie van events in een anomale sample om deze toe te schrijven aan specifieke template-processen, waarbij signaal- en achtergrondcounts met gekwantificeerde onzekerheden worden geleverd (met behulp van een sandwich-estimator voor composiete likelihoods).

Belangrijkste Bijdragen en Resultaten
De methode werd geëvalueerd op de COLLIDE-2V dataset, die de condities van de High-Luminosity LHC simuleert ( $\sqrt{s} = 13,6$ TeV, $\mu=200$ ) met meer dan 50 verschillende SM-processen.

Verbeterde Sensitiviteit:
- Vergeleken met een baseline autoencoder die direct op ruwe 110-dimensionale input-features is getraind, toonde ORCA significante winst in zowel de Area Under the Curve (AUC) als de True Positive Rate (TPR) bij een vaste False Positive Rate (FPR) van $10^{-4}$ .
- De contrastieve embedding slaagde er succesvol in om verschillende signaalklassen te scheiden in de latente ruimte (gevisualiseerd via PCA), terwijl de latent-ruimte van de baseline autoencoder brede, overlappende distributies vertoonde.
Interpreteerbaarheid en Signaal-attributie:
- Template Fitting: De auteurs hebben aangetoond dat de geometrie van de embedding een decompositie van een anomale sample naar bekende natuurkunde-processen mogelijk maakt.
- Holdout Tests: In tests waarbij een signaalgroep werd uitgesloten van de training van de embedder, categoriseerde de blinde fit (zonder de signaal-template) de geïnjecteerde events correct naar de meest vergelijkbare bekende processen (bijv. Di-Higgs events werden gecategoriseerd als Top Pair events in de afwezigheid van een Di-Higgs template).
- Signaalherstel: In signaalinjectie-tests bereikte de multidimensionale contrastieve embedding fit een bijna perfect herstel van de geïnjecteerde yields. Deze prestatie presteerde aanzienlijk beter dan:
  - Fits uitgevoerd op de eendimensionale anomaliescore (wat de waarde van multidimensionale informatie benadrukt).
  - Fits uitgevoerd op de latente ruimte van een standaard ongesuperviseerde autoencoder (wat de waarde van de contrastieve doelstelling benadrukt).

Betekenis en Claims
Het artikel claimt dat ORCA een route legt naar interpreteerbare anomaliedetectie bij colliders. Door de latent-ruimte te structureren via contrastief leren, biedt het raamwerk:

Een verbeterde sensitiviteit van AD-zoektochten naar nieuwe natuurkunde-signalen over een breed scala aan processen.
De transformatie van de anomaliedetectie-output van een enkele, oninterpreteerbare score naar een hoog-dimensionale representatie die natuurkunde-informatie bevat.
Het mogelijk maken van het gebruik van standaard statistische technieken (template fitting) om anomale samples te karakteriseren, waarbij ze worden toegeschreven aan bekende processen of worden geïdentificeerd als lijkend op specifieke bekende processen, zelfs als het ware signaal afwezig is van de template-bibliotheek.
Een modulaire architectuur waarbij de embedder en de anomaliedetector onafhankelijk van elkaar geoptimaliseerd of vervangen kunnen worden (bijv. voor low-latency trigger-omgevingen) zonder de interpreteerbaarheid van de uiteindelijke resultaten te verliezen.

De auteurs benadrukken dat deze aanpak geen vereiste stelt om de analyse te vernauwen tot een specifieke meetfase-ruimte, waardoor de algemeenheid van de anomaliedetectie-zoektocht behouden blijft terwijl er een mechanisme wordt geboden voor downstream statistische analyse en model-reinterpretatie.

De ORCA-methode: Een detectiveverhaal in twee stappen

Wat ze vonden: Betere detectie en een duidelijkere uitleg

De Kern van het Verhaal

Technische Samenvatting: Georganiseerde Representatie via Contrastief Leren voor Anomaliedetectie (ORCA)

Meer zoals dit