How to pick the best anomaly detector?

Dit artikel introduceert de datagedreven ARGOS-metriek, een theoretisch gefundeerde en empirisch robuuste tool voor het selecteren van de meest gevoelige anomaliedetectiemodellen op een model-agnostische wijze, waarmee de superieuriteit ervan ten opzichte van bestaande metrieken zoals binary cross-entropy loss wordt aangetoond in taken zoals hyperparameteroptimalisatie en featureselectie.

De kern

Stel je voor dat je een detective bent die probeert een enkele, piepkleine, onzichtbare dief te vinden die zich verstopt in een enorme menigte van 1.000.000 onschuldige mensen. Dit is in essentie wat natuurkundigen bij de Large Hadron Collider (LHC) doen wanneer ze zoeken naar "nieuwe fysica" (zoals een nieuw deeltje) die verborgen zit in een zee van gewone data.

Het probleem is niet alleen het vinden van de dief; het is dat ze niet weten hoe de dief eruitziet. Ze kunnen niet zeggen: "Zoek naar een man met een rode hoed." In plaats daarvan moeten ze computerprogramma's (anomaliedetectoren) gebruiken om iedereen op te merken die vreemd of afwijkend lijkt ten opzichte van de menigte.

Een lange tijd hadden wetenschappers een groot probleem: Hoe bepaal je welke computerprogramma de beste detective is?

Normaal gesproken, om een detective te testen, zou je hen een lijn van bekende criminelen geven en kijken wie ze vangen. Maar in dit geval zijn de "criminelen" (de nieuwe fysica) onbekend. Als je je detective test op een neprecrimineel, kies je misschien een detective die geweldig is in het vangen van die specifieke neprecrimineel, maar verschrikkelijk is in het vinden van de echte dief.

Dit artikel introduceert een nieuwe, slimme manier om de beste detective te kiezen zonder de crimineel ooit te zien. Ze noemen dit nieuwe instrument ARGOS.

Het Kernidee: De "Achtergrondtemplate"

Om ARGOS te begrijpen, stel je voor dat je een enorme menigte onschuldige mensen hebt (de "Achtergrond"). Je hebt ook een specifiek gebied waar de dief waarschijnlijk verborgen zit (de "Signaalregio").

• De Oude Manier (BCE Loss): Traditioneel trainden wetenschappers hun computers door te vragen: "Kun jij het verschil zien tussen deze neprecrimineel en de onschuldige menigte?" Ze gebruikten een score genaamd "Binary Cross-Entropy" (BCE). Het probleem is dat deze score als een leraar is die een leerling beoordeelt op een toets waarvan de leerling de antwoorden al kent. De computer wordt heel goed in het herkennen van kleine, willekeurige verschillen tussen de menigte en de neprecrimineel, maar faalt in het herkennen van de echte vreemdheid van de werkelijke dief. Het is alsof een student de antwoorden op de toets uit het hoofd leert, maar faalt op het echte examen.

• De Nieuwe Manier (ARGOS): ARGOS verandert het spel. In plaats van de computer te vragen om twee groepen van elkaar te onderscheiden, vraagt het: "Als je de top 10% van de vreemdste mensen uit de menigte kiest, hoeveel van hen bevinden zich dan daadwerkelijk in de 'Diefzone' vergeleken met hoeveel je zou verwachten door puur geluk?"

Denk er zo over na:

1. Je hebt een kaart van waar de dief zou moeten zijn (de Signaalregio).
2. Je hebt een "Achtergrondtemplate", een perfecte kaart van hoe de onschuldige menigte eruitziet in datzelfde gebied.
3. ARGOS controleert: "Als ik de meest verdachte kijkende mensen kies, stijgt het aantal mensen dat ik in de 'Diefzone' vind dan aanzienlijk meer dan wat ik zou verwachten van de onschuldige menigte?"

Als het antwoord "Ja, veel meer dan verwacht" is, geeft ARGOS die detective een hoge score. Als het antwoord "Nee, het is gewoon willekeurige ruis" is, is de score laag.

Waarom is ARGOS Beter?

De auteurs hebben deze nieuwe metriek getest tegen de oude standaard (BCE) met drie verschillende soorten "detectives" (machine learning-modellen) en drie verschillende manieren om de kaart van de "onschuldige menigte" te maken.

Dit is wat ze vonden, met behulp van eenvoudige analogieën:

1. Het Kiezen van de Beste "Trainingsdag" (Epoch Selection)
Stel je voor dat je een detective traint voor 100 dagen. Op dag 10 zijn ze oké. Op dag 50 zijn ze geweldig. Op dag 90 raken ze misschien in de war en beginnen ze spoken te zien (overfitting).

• De Oude Manier: De BCE-score vertelde hen om de training op dag 20 te stoppen omdat de "toetsscore" er goed uitzag. Maar de detective was eigenlijk gewoon de toets aan het memoriseren, niet het herkennen van de dief.
• De Nieuwe Manier (ARGOS): ARGOS wachtte tot dag 50. Het negeerde de kleine, verwarrende details en focuste op het grote plaatje: "Vinden we daadwerkelijk meer mensen in de diefzone?" Het slaagde erin om de dagen te kiezen waarop de detective echt scherp was.

2. Het Afstellen van de Instellingen van de Detective (Hyperparameters)
Detectives hebben instellingen (zoals hoe gevoelig hun ogen zijn).

• De Ode Manier: Het tweaken van de instellingen om de "toetsscore" te minimaliseren, maakte de detective vaak te gevoelig voor ruis. Ze zouden onschuldige mensen als verdachten markeren, simpelweg omdat ze anders knipperden.
• De Nieuwe Manier (ARGOS): Het tweaken van de instellingen om ARGOS te maximaliseren, maakte de detective beter in het negeren van de ruis en het focussen op de echte anomalieën. Het was veel stabieler, vooral wanneer de "dief" erg moeilijk te vinden was (lage signaalsterkte).

3. Het Kiezen van de Juiste Detective (Architectuurselectie)
Soms moet je kiezen tussen een menselijke detective, een robot of een hond.

• De Oude Manier: De BCE-score koos vaak het "verkeerde" type detective, wat leidde tot inconsistente resultaten. Soms kozen ze een robot die geweldig was in de toets, maar nutteloos in het veld.
• De Nieuwe Manier (ARGOS): Het koos consistent de architectuur die het beste presteerde in het echte scenario, zelfs wanneer de kaart van de "onschuldige menigte" niet perfect was.

De "Realiteitstest"

De auteurs hebben dit niet alleen gedaan op perfecte, verzonnen data. Ze gebruikten een realistische dataset genaamd "LHC Olympics", die de rommelige, ruisige omstandigheden van een echt natuurkundig experiment simuleert.

Ze ontdekten dat zelfs wanneer de "Achtergrondtemplate" (de kaart van de onschuldige menigte) niet perfect was, ARGOS nog steeds werkte. Het was robuust. Het liet zich niet in de war brengen door de ruis.

De Kernboodschap

Het artikel beweert dat ARGOS het beste instrument is dat we op dit moment hebben om de beste anomaliedetector te kiezen voor het vinden van nieuwe fysica.

• Het is "Model-Agnostisch": Het geeft niet om wat voor soort nieuwe fysica je zoekt. Het kijkt gewoon naar elke vorm van vreemdheid.
• Het is "Data-Gedreven": Je hoeft niet te weten hoe het signaal eruitziet om het te gebruiken. Je hebt alleen een goede kaart van de achtergrond nodig.
• Het verslaat de oude standaard: In elke test die ze uitvoerden (het kiezen van trainingsdagen, het afstellen van instellingen, het kiezen van modellen), leidde ARGOS tot betere resultages dan de traditionele "Binary Cross-Entropy"-score.

Kortom, als je probeert een naald in een hooiberg te vinden zonder te weten hoe de naald eruitziet, dan is ARGOS de nieuwe, slimmere manier om de magneet te kiezen die hem zal vinden.

Technische samenvatting

Technische Samenvatting: Het selecteren van de beste anomaliedetector via de ARGOS-metriek

Probleemstelling
De snelle proliferatie van model-agnostische machine learning (ML)-methoden voor anomaliedetectie bij de Large Hadron Collider (LHC)—zoals autoencoders en zwak gesuperviseerde classificaties—heeft een aanzienlijke uitdaging gecreëerd: hoe selecteert men objectief de "beste" anomaliedetector voor een gegeven dataset zonder afhankelijk te zijn van specifieke signaalmodellen. Momenteel ontbreekt het het vakgebied aan een systematische aanpak voor modeloptimalisatie. Onderzoekers vertrouwen doorgaans op metrieken zoals de Binary Cross-Entropy (BCE) loss of de Area Under the Curve (AUC), die waarheidsetiketten (truth labels) en benchmark-signalen vereisen. Echter, in een echte scenario voor anomaliedetectie is het signaal onbekend; het vertrouwen op specifieke benchmark-signalen om modellen bij te stellen, brengt het risico met zich mee dat de zoektocht wordt vertekend tegen de daadwerkelijk aanwezige signalen in de data. Bijgevolg missen bestaande experimentele analyses vaak een systematische modeloptimalisatie, waarbij ze standaard terugvallen op parameters uit de oorspronkelijke publicaties van de methode of kleine sets benchmark-signalen gebruiken voor herafstemming.

Methodologie: De ARGOS-metriek
Om dit aan te pakken, introduceren de auteurs ARGOS (Above Random Gain Of SIC), een volledig datagedreven metriek die ontworpen is om de meest gevoelige anomaliedetector te selecteren. De metriek vereist enkel de ongelabelde data en een Background Template (BT)—een steekproef van events die de Standard Model (SM) achtergrondverdeling volgen in de signaalregio (SR).

ARGOS wordt gedefinieerd als:
\text{ARGOS} = \frac{\epsilon_{SR}}{\sqrt{\epsilon_{BT}}} - \sqrt{\epsilon_{BT}}}
waarbij $\epsilon_{SR}$ en $\epsilon_{BT}$ de efficiënties zijn om events te selecteren in respectievelijk de signaalregio en de achtergrondtemplate, voor een gegeven anomalie-score drempelwaarde.

Theoretische analyse toont aan dat ARGOS, voor een ideale achtergrondtemplate, monotoon is met de Significance Improvement Characteristic (SIC), gedefinieerd als $\text{SIC} = \epsilon_S / \sqrt{\epsilon_B}$. In tegen tegenstelling tot SIC, kan ARGOS niet berekend worden voor echte ongelabelde data, maar is ARGOS toegankelijk met enkel de data en de achtergrondtemplate. De auteurs stellen dat het maximaliseren van ARGOS effectief de gevoeligheid voor onbekende signalen maximaliseert, terwijl het tegelijkertijd de optimalisatie van het werkpunt van de anomaliedetector mogelijk maakt.

Experimentele Opzet
De auteurs evalueerden ARGOS met de LHC Olympics 2020 (LHCO) R&D-dataset, bestaande uit $10^6$ QCD dijet achtergrondevents en geïnjecteerde $W'$ resonantie-signalen ($m_{W'} = 3.5$ TeV). Zij testten drie verschillende methoden voor het construeren van de achtergrondtemplate:

1. Idealized Anomaly Detector (IAD): Gebruikt gesimuleerde achtergrondevents (perfecte BT).
2. CWoLa Hunting: Gebruikt data van korte sidebands aangrenzend aan de signaalregio.
3. CATHODE: Gebruikt conditional density estimation om de sideband-verdelingen te interpoleren naar de signaalregio.

Er werden drie classifier-architecturen toegepast: Multi-Layer Perceptrons (MLP), HistGradientBoosting (HGB) en AdaBoost. De studie richtte zich op zwak gesuperviseerde resonante anomaliedetectie, waarbij een classifier onderscheid maakt tussen datasets met gemengde labels.

Belangrijkste Resultaten
Het artikel vergelijkt ARGOS met de standaard BCE loss en de gesuperviseerde "max SIC" metriek over vier optimalisatietaken:

1. Epoch Selectie: Bij het selecteren van de beste trainingsepochs om te ensembelen, presteerden modellen die via ARGOS zijn geoptimaliseerd consistent beter dan modellen die via BCE zijn geselecteerd. BCE faalde vaak in het identificeren van de optimale epochs, met name bij lage signaalinjecties, omdat het wordt gedomineerd door de meerderheidsklasse van de achtergrond en gevoelig is voor overtraining op statistische fluctuaties. ARGOS, dat zich richt op gebeurtenissen met een hoge anomalie-score, volgde de ware signaalgevoeligheid (max SIC) veel nauwer.
2. Hyperparameter Optimalisatie: In random searches over hyperparameter-ruimtes vertoonde ARGOS een sterke correlatie met de ware max SIC, waarbij het de BCE aanzienlijk overtrof. BCE-optimalisatie leidde vaak tot suboptimale configuraties die de loss op achtergrondverschillen minimaliseerden in plaats van de signaalgevoeligheid te vergroten.
3. Architectuur Selectie: Bij het kiezen tussen verschillende classifier-architecturen (NN versus HGB versus AdaBoost), selecteerde ARGOS architecturen die een prestatie leverden die bijna identiek was aan de gesuperviseerde max SIC benchmark. In tegenstelling hiertoe resulteerde de BCE-gebaseerde selectie in een grotere prestatievariantie en selecteerde het in sommige gevallen (bijv. CWoLa Hunting) inferieure architecturen.
4. Feature Selectie: Een proof-of-concept studie demonstreerde dat ARGOS succesvol de meest gevoelige feature-sets kon identificeren (bijv. uitgebreide subjettiness ratio's) zonder voorafgaande kennis van het signaal, waarbij het betrouwbaar de "Extended 3" set selecteerde bij hoge signaalinjecties.

Betekenis en Claims
De auteurs beweren dat ARGOS een solide theoretische fundering biedt voor modelselectie in anomaliedetectie, en een robuust, datagedreven alternatief biedt voor metrieken die afhankelijk zijn van waarheidsetiketten. De primaire betekenis van dit werk is de demonstratie dat ARGOS robuust de meest gevoelige anomaliedetectie-modellen kan selecteren, hyperparameters kan afstemmen en architecturen kan kiezen zonder signaal-bias te introduceren.

Het artikel benadrukt dat ARGOS niet beperkt is tot de specifieke zwak gesuperviseerde context die is getest, maar toepasbaar is op elke anomaliedetectiemethode (incluser autoencoders en dichtheidsestimators), mits een achtergrondtemplate beschikbaar is. De auteurs concluderen dat hoewel ARGOS momenteel het meest effectief is met nauwkeurige achtergrondtemplates, het een cruciale stap vormt naar systematische, model-agnostische optimalisatie in zoektochten binnen de hogere energetica (high-energy physics). Zij merken op dat toekomstig werk vereist is om mogelijke biases te bestuderen die worden geïntroduceerd door imperfecte achtergrondtemplates bij feature selectie taken.