Sensitivity to New Physics Phenomena in Anomaly Detection: A Study of Untunable Hyperparameters

Dit artikel evalueert systematisch de gevoeligheid van vier semi-gesuperviseerde anomaliedetectiemethoden voor niet-afstembare hyperparameters in de zoektocht naar fysica buiten het standaardmodel en stelt een robuuste, niet-parametrische permutatietoets voor voor statistische beoordeling.

De kern

Stel je voor dat je een detective bent die probeert een enkele, kleine, onzichtbare dief te vinden in een enorme menigte van 10 miljoen onschuldige mensen. Je weet niet hoe de dief eruitziet, je weet niet wat hij draagt, en je weet zelfs niet of hij er wel echt is. Je weet alleen hoe de "normale" mensen eruitzien.

Dit is precies de uitdaging waar deeltjesfysici bij de Large Hadron Collider (LHC) voor staan. Ze laten protonen op elkaar botsen om een storm van deeltjes te creëren. Meestal gedragen deze deeltjes zich precies zoals voorspeld door het "Standaardmodel" (het regelboekje van de natuurkunde). Maar soms kan er een nieuw, onbekend deeltje verschijnen—een "Nieuwe Natuurkunde"-signaal. Het doel is om deze vreemdeling op te sporen zonder van tevoren te weten hoe hij eruitziet.

Dit artikel is een studie naar hoe je de beste "zoek-het-verschil"-instrumenten (genaamd Anomaly Detection algoritmen) kunt bouwen om deze vreemdelingen te vinden, met een specifieke focus op een lastig probleem: Hoe belangrijk is de interne "knop"-instelling van het instrument als je deze niet kunt afstellen?

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. De Instrumenten: Vier Verschillende Manieren om de Dief te Sporen

De onderzoekers testten vier verschillende computeralgoritmen, elk met een andere manier van denken over wat "normaal" is:

• Auto-Encoders (AE) & Deep-SVDD: Denk aan deze als hoogtechnologische geheugenkunstenaars. Ze worden getraind om de gezichten van de 10 miljoen onschuldige mensen te onthouden. Wanneer er een nieuw persoon binnenkomt, probeert de kunstenaar deze vanuit het geheugen te tekenen. Als de tekening totaal niet lijkt op de echte persoon (een hoge "reconstructiefout"), schreeuwt de kunstenaar: "Anomalie!"
• Isolation Forest (iForest): Stel je een spelletje "Taart Snijden" voor. Je blijft de menigte willekeurig in stukken snijden. Normale mensen bevinden zich in het midden van de menigte, dus het kost veel snijbewegingen om hen te isoleren. Een dief die alleen aan de rand staat, wordt met slechts één of twee sneden geïsoleerd. Het algoritme telt hoeveel sneden het kostte om iemand te isoleren. Minder sneden = meer verdacht.
• Histogram-based Outlier Score (HBOS): Dit is als een volkstelling. Ze tellen hoeveel mensen in specifieke categorieën vallen (bijv. "draagt een hoed," "houdt een tas vast"). Als iemand in een categorie valt die bijna leeg is, wordt diegene gemarkeerd als een anomalie.

2. Het Probleem: De "Niet-Afstelbare" Knoppen

Elk van deze instrumenten heeft een instelling die moeilijk aan te passen is omdat je geen "antwoordmodel" hebt (omdat je nog niet weet hoe de nieuwe natuurkunde eruitziet).

• Voor de Geheugenkunstenaars is het de grootte van hun "schetsboek" (hoeveel detail ze kunnen onthouden).
• Voor de Taartsnijder is het het aantal sneden dat ze mogen maken.
• Voor de Volksteller is het het aantal categorieën dat ze creëren.

De onderzoekers vroegen zich af: "Als we deze instellingen veranderen, verandert ons vermogen om de dief te vinden dan drastisch?"

3. De Bevindingen: Verrassende Stabiliteit

De studie vond iets geruststellends: De instrumenten zijn verrassend robuust.

• De "Goldilocks"-mythe: Je zou kunnen denken dat er een perfecte instelling is (niet te groot, niet te klein) voor het schetsboek of het aantal sneden. De onderzoekers ontdekten dat het voor de meeste signalen niet veel uitmaakt. Of het schetsboek nu klein of enorm is, de kunstenaar ziet de dief ongeveer even snel.
• Ondiep vs. Diep: De simpelere instrumenten (iForest en HBOS) en de complexe deep-learning instrumenten (AE en Deep-SVDD) presteerden vergelijkbaar. De complexe instrumenten werden niet magisch veel beter alleen omdat ze "dieper" waren.
• De "Beste Kenmerk"-regel: De studie toonde aan dat deze slimme algoritmen in essentie net zo goed zijn als de enkel beste fysieke meting die je zou kunnen doen (zoals "hoe zwaar is dit deeltje?"). Ze slagen erin de dief te vinden zonder dat ze verteld hoeven te worden welke meting de beste is.

4. De Twist: Hoe je "Succes" Meet Maakt het Verschil

Dit is het meest cruciale deel van het artikel. De onderzoekers probeerden twee verschillende manieren om te beoordelen of de instrumenten werkten:

• Methode A (De Standaard Score): Ze gebruikten een standaard score genaamd ROC AUC. Dit is als een leraar die een toets nakijkt waarbij hij de juiste antwoorden kent.
  • Resultaat: De instrumenten zagen er geweldig uit en de instellingen maakten niet veel uit.
• Methode B (De Real-World Test): Ze gebruikten een Permutatietest met een nieuwe statistiek genaamd Cramér's (Cr). Dit is als een rechter die naar twee stapels bewijs kijkt (één stapel met bekende onschuldige mensen, één stapel met gemengde data) en vraagt: "Zijn deze twee stapels statistisch verschillend?"
  • Resultaat: Hier werd het interessant. De Deep Learning-instrumenten (de Geheugenkunstenaars) zagen er plotseling veel beter uit dan de simpele instrumenten.
  • Waarom? De simpele instrumenten geven scores die "geplafonneerd" zijn (ze kunnen niet erg hoog gaan). De deep-learning instrumenten geven scores die oneindig hoog kunnen gaan als de anomalie maar vreemd genoeg is. De nieuwe statistische test (Cr) is zeer goed in het opvangen van deze extreme, "long-tail" uitschieters, terwijl de oude standaard score deze miste.

5. De Conclusie: Zet niet alles op één kaart

Het artikel concludeert met een paar belangrijke lessen voor natuurkundigen:

1. Maak je niet te veel zorgen over de "knoppen": Omdat de prestaties niet wild variëren met verschillende instellingen, hoef je geen jaren te besteden aan het vinden van de perfecte instelling voor je anomaliedetector.
2. Gebruik de juiste liniaal: Als je nieuwe natuurkunde wilt vinden, gebruik dan niet alleen de standaard "toetsscore" (ROC AUC). Gebruik de nieuwe statistische test (Cramér's), omdat deze beter is in het opsporen van de vreemde, extreme uitschieters die deep learning-instrumenten vinden.
3. Combineer je instrumenten: Verschillende instrumenten sporen verschillende dingen op. De "Geheugenkunstenaar" (AE) en de "Deep Center Finder" (Deep-SVDD) sporen soms verschillende soorten anomalieën op. Het combineren van hen is beter dan er slechts één te gebruiken.

Kortom: Het artikel vertelt ons dat deze anomaliedetectie-instrumenten stevig en betrouwbaar zijn. Ze hebben geen perfecte afstelling nodig om te werken, maar ze hebben wel de juiste statistische "liniaal" nodig om hun succes te meten, en het gebruik van een combinatie van verschillende instrumenten geeft je de beste kans om de onzichtbare dief te vangen.

Technische samenvatting

Technische Samenvatting: Gevoeligheid voor Nieuwe Fysica Fenomenen in Anomaliedetectie

Probleemstelling
De zoektocht naar fysica buiten het Standaardmodel (BSM) bij deeltjesversnellerexperimenten leunt steeds meer op modelonafhankelijke strategieën om te voorkomen dat onverwachte signalen worden gemist. Hoewel technieken voor anomaliedetectie (AD) uitgebreid zijn bestudeerd voor het identificeren van afwijkingen van de Standaardmodel (SM) distributies, is de gevoeligheid van deze methoden voor "niet-instelbare" hyperparameters niet systematisch vergeleken. In semi-gesuperviseerde settings, waarbij modellen uitsluitend worden getraind op SM-achtergronddata zonder toegang tot signaal-labels, kunnen hyperparameters zoals de dimensies van de latente ruimte of het aantal bins niet worden geoptimaliseerd via standaard validatiemetrieken. Bijgevolg is er een gebrek aan begrip over hoe deze vaste parameters de capaciteit van AD-modellen om nieuwe fysica te detecteren beïnvloeden. Bovendien blijft statistische interpreteerbaarheid een uitdaging, aangezien anomalie-scores vaak geen goed gedefinieerde significantiematen hebben voor signaal-agnostische zoektochten.

Methodologie
Deze studie onderzoekt vier semi-gesuperviseerde AD-methoden die uitsluitend zijn getraind op gesimuleerde SM-achtergrondgebeurtenissen (proton-proton botsingen bij $\sqrt{s}=13$ TeV, met twee leptonen, één bottom-jet en grote $H_T$). De geëvalueerde methoden zijn:

1. Auto-Encoders (AE): Diepe neurale netwerken getraind om de reconstructiefout te minimaliseren.
2. Deep Support Vector Data Description (Deep-SVDD): Diepe netwerken die data naar een hypersfeer mappen om de afstand tot een centrum te minimaliseren.
3. Histogram-gebaseerde Outlier Score (HBOS): Een oppervlakkige methode die de waarschijnlijkheidsdichtheid schat via feature-histogrammen.
4. Isolation Forest (iForest): Een boom-gebaseerde methode die anomalieën isoleert via willekeurige partities.

De modellen werden getest tegen zes diverse BSM-benchmarksignalen (Heavy Vector-like Quarks, Flavour Changing Neutral Currents, Randall-Sundrum radion, Two-Higgs-Doublet Model, en Left-Right Symmetric Model).

De analyse verloopt in twee fasen:

1. Hyperparameter Gevoeligheid: De auteurs beoordelen de gevoeligheid van elke methode voor specifieke niet-instelbare hyperparameters (bijv. de dimensie van de latente ruimte voor AE/Deep-SVDD, het aantal estimators voor iForest, het aantal bins voor HBOS) met behulp van de Receiver Operating Characteristic Area Under the Curve (ROC AUC) als discriminatiemetriek.
2. Statistische Significantie: Om het gebrek aan signaal-labels in echte zoektochten aan te pakken, stelt het artikel een non-parametrische permutatietest voor met signaal-agnostische statistieken. Twee teststatistieken worden geïntroduceerd:
   • $M_\Delta$: Het maximale verschil tussen empirische cumulatieve distributiefuncties (eCDFs), geïnspireerd door de Kolmogorov-Smirnov test.
   • Cramér's statistiek ($Cr$): De integraal van het kwadraat van het verschil tussen eCDFs, bekend om de gevoeligheid voor de staarten van distributies.
     De permutatietest evalueert de nulhypothese ($H_0$) dat de analyse-steekproef (data) en de controle-steekproef (SM-simulatie) uit dezelfde distributie voortkomen.

Belangrijkste Bijdragen

• Systematische Hyperparameter Analyse: Het artikel biedt een vergelijkende studie naar hoe niet-instelbare hyperparameters de prestaties van vier verschillende AD-architecturen beïnvloeden over meerdere BSM-scenario's heen.
• Ontkoppeling van Reconstructie en Gevoeligheid: De studie toont aan dat voor Auto-Encoders een verbeterde kwaliteit van de achtergrondreconstructie (gemeten door $R^2$) niet noodzakelijkerwijs correleert met een verbeterde signaaldiscriminatie. Gevoeligheid hangt af van het relatieve verschil in reconstructiefout tussen signaal en achtergrond, in plaats van de absolute kwaliteit van de achtergrondreconstructie.
• Signaal-Agnostisch Statistisch Kader: De auteurs introduceren een robuust statistisch toetsingskader met behulp van permutatietests en de $Cr$-statistiek. Dit maakt de beoordeling van bewijs voor nieuwe fysica mogelijk zonder voorafgaande kennis van de signaalhypothese, wat de beperkingen van ROC AUC in signaal-agnostische contexten aanpakt (bijv. ongevoeligheid voor symmetrische distributies).

Resultaten

• Hyperparameter Stabiliteit: Over de meeste BSM-signalen en AD-methoden heen resulteerde de keuze van niet-instelbare hyperparameters in een verwaarloosbare variatie in ROC AUC. De semi-gesuperviseerde methoden presteerden over het algemeen even goed als de meest discriminerende enkele feature voor elk signaal, ongeacht de specifieke hyperparameterconfiguratie.
• Metriek Divergentie: Hoewel oppervlakkige methoden (HBOS, iForest) vaak beter presteerden dan Deep-SVDD in termen van ROC AUC, onthulde de permutatietest met de $Cr$-statistiek dat diepe leermethoden (AE en Deep-SVDD) lagere p-waarden (hogere gevoeligheid) bereikten voor veel signalen. Deze discrepantie wordt toegeschreven aan de langgerekte staart van de diepe leer-anomalie scores, die de $Cr$-statistiek effectief vastlegt, terwijl de begrensde scores van oppervlakkige methoden en de $M_\Delta$-statistiek dat niet doen.
• Effectiviteit van de Teststatistiek: De $M_\Delta$-statistiek slaagde er niet in bewijs voor nieuwe fenomenen te produceren (mediaan p-waarden $> 0,05$) voor alle signalen en methoden. In contrast hiermee identificeerde de $Cr$-statistiek succesvol afwijkingen, met name voor deep learning-modellen, wat het cruciale belang benadrukt van het selecteren van een geschikte teststatistiek voor het discriminant domein.
• Complementariteit: De resultaten wijzen op een gevoeligheidscomplementariteit tussen AE en Deep-SVDD, wat suggereert dat verschillende AD-methoden verschillende concepten van anomalieën vastleggen.

Betekenis en Claims
Het artikel claimt dat de keuze van niet-instelbare hyperparameters in semi-gesuperviseerde AD-modellen een significante impact heeft op de zoekgevoeligheid, hoewel deze impact niet altijd monotoon of voorspelbaar is via standaardmetrieken zoals ROC AUC. De auteurs stellen dat het vertrouwen op een enkel model of metriek onvoldoende is; in plaats daarvan moeten strategieën die resultaten aggregeren van modellen met variërende hyperparameters worden verkend.

Cruciaal is dat het werk een pad banen voor puur semi-gesuperviseerde zoektochten door een statistische test te introduceren die in staat is de "alleen-SM" hypothese te verwerpen zonder signaal-specifieke aannames. De auteurs concluderen bescheiden dat hoewel hun permutatietest en $Cr$-statistiek een robuuste methode bieden voor het kwantificeren van afwijkingen, de "no free lunch"-stelling van toepassing is: geen enkele AD-model of hyperparameterconfiguratie presteert superieur aan alle anderen voor elke taak, wat diverse methodologische benaderingen noodzakelijk maakt voor toekomstige zoektochten.