⚛️ high-energy experiments

Look everywhere effects in anomaly detection

Dit artikel onderzoekt het "look everywhere"-effect in op machine learning gebaseerde anomaliedetectie, waarbij wordt aangetoond dat hoewel trainen en testen op dezelfde data leidt tot misgekalibreerde $p$ -waarden, strategieën zoals k-folding een effectieve balans bieden tussen statistische kalibratie en gevoeligheid voor nieuwe fysica.

Oorspronkelijke auteurs: Marie Hein, Benjamin Nachman, David Shih

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marie Hein, Benjamin Nachman, David Shih

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een enkel, minuscuul aanwijzing te vinden die verborgen ligt in een enorme bibliotheek vol miljoenen boeken. In de wereld van de deeltjesfysica is deze "bibliotheek" de data die wordt verzameld door gigantische machines zoals de Large Hadron Collider (LHC), en de "aanwijzing" is een teken van nieuwe, onbekende fysica.

Al een lange tijd hadden detectives een specifieke lijst met aanwijzingen waar ze naar op zoek waren. Maar nu gebruiken ze Kunstmatige Intelligentie (AI) om de gehele bibliotheek tegelijkertijd te scannen, in de hoop dat ze elk vreemd patroon opmerken dat niet voldoet aan de normale regels. Dit wordt Anomaly Detection (anomaliedetectie) genoemd.

Dit artikel, geschreven door Marie Hein, Benjamin Nachman en David Shih, behandelt een lastig probleem met deze "scan alles"-benadering. Ze noemen dit het "Look Everywhere Effect" (het overal-kijken-effect).

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het Probleel: De "Look Everywhere" Valstrik

Stel je voor dat je naar een speld in een hooiberg zoekt.

De Oude Manier: Je besluit alleen in de bovenste 10% van de hooiberg te kijken. Als je daar een speld vindt, is dat een grote zaak.
De Nieuwe AI-Manier: Je zegt tegen de AI: "Kijk naar de gehele hooiberg, elke enkele strohalm, en vertel me welk plekje er het meest verdacht uitziet."

Het probleem is dat als je overal tegelijk kijkt, je onvermijdelijk een plek zult vinden die er louter door puur geluk verdacht uitziet (een willekeurige klont stro). Als je die "gelukkige" plek kiest en zegt: "Aha! Ik heb een speld gevonden!" zonder de wiskunde aan te passen, heb je waarschijnlijk ongelijk. Je bent misleid door een statistieke toevalstreffer.

In het artikel laten de auteurs zien dat wanneer AI-modellen trainen en testen op dezelfde data, ze "overmoedig" worden. Ze onthouden de willekeurige ruis (de gelukkige klonten) in plaats van de echte structuur te leren. Dit leidt tot misgekalibreerde p-waarden.

Vertaling: De AI denkt dat hij een ontdekking heeft gedaan met 99,9% zekerheid, maar het is eigenlijk gewoon een willekeurige samenloop van omstandigheden.

2. De Oplossingen en hun Afwegingen

De auteurs testten drie verschillende manieren om dit "Look Everywhere"-probleem aan te pakken. Zie dit als verschillende manieren om je detective-team te organiseren.

Optie A: De "Hetzelfde Team"-benadering (Trainen en testen op dezelfde data)

Hoe het werkt: Je geeft de AI alle data om te bestuderen en vraagt haar vervolgens de zaak op te lossen met behulp van diezelfde data.
Het Resultaat: De AI is zeer gevoelig (hij vindt de speld snel), maar hij liegt tegen je. Hij denkt dat hij een speld heeft gevonden terwijl hij slechts een willekeurige klont heeft gevonden. De wiskunde is kapot.
Analogie: Het is als een student die een toets maakt met behulp van het antwoordenblad dat hij net uit zijn hoofd heeft geleerd. Hij haalt een perfect cijfer, maar hij heeft de stof eigenlijk niet geleerd.

Optie B: De "Gesplitst Team"-benadering (Trainen op de helft, testen op de andere helft)

Hoe het werkt: Je splitst de data in tweeën. De AI bestudeert de eerste helft, en daarna test je hem op de tweede helft, die hij nog nooit heeft gezien.
Het Resultaat: De wiskunde is perfect. Als de AI een speld vindt, is deze echt. Geen leugens.
Het Nadeel: Omdat de AI slechts de helft van de data heeft bestudeerd, is hij minder gevoelig. Hij kan een echte speld missen omdat hij niet genoeg oefening heeft gehad.
Analogie: De student bestudeert de helft van het tekstboek en maakt de toets over de andere helft. Hij krijgt een eerlijk cijfer, maar hij kan misschien een vraag missen die hij wel had kunnen beantwoorden als hij het hele boek had bestudeerd.

Optie C: De "K-Folding"-benadering (Het Middenpad)

Hoe het werkt: Je splitst de data in vijf (of meer) groepen. De AI bestudeert vier groepen en test op de vijfde, en dan roteert dit zodat elke groep een beurt krijgt als de testgroep. Ten slotte combineer je de resultaten.
Het Resultaat: Dit vormt een "sweet spot". Het gebruikt bijna alle data (zodat het gevoelig blijft), maar door te roteren wordt de AI niet simpelweg verliefd op de ruis.
Het Nadeel: Het is niet perfect gekalibreerd zoals Optie B, maar het is veel beter dan Optie A. De auteurs vonden dit de beste balans voor de meeste situaties.

3. De Connectie met "Overfitting"

Het artikel verbindt dit ook met een concept genaamd Overfitting (of "Overtraining").

De Analogie: Stel je een student voor die voor een toets studeert door de specifieke willekeurige typefouten in zijn oefenboek uit zijn hoofd te leren. Wanneer hij de echte toets maakt, raakt hij in de war omdat het echte boek deze typefouten niet heeft.
De auteurs ontdekten dat het "Look Everywhere Effect" in essentie hetzelfde is als overfitting. De AI onthoudt de willekeurige ruis van de trainingsdata in plaats van de echte fysica.
De Oplossing: Ze gebruikten een techniek genaamd Early Stopping (de AI vertellen om te stoppen met leren voordat hij te geobsedeerd raakt door de ruis). Dit hielp de wiskundige fouten te herstellen, vooral bij Neurale Netwerken, maar werkte minder goed voor een ander type AI genaamd BDT's (Boosted Decision Trees).

4. Het Eind𝗼ordeel

De auteurs concluderen dat er geen gratis lunch is.

Als je perfecte wiskunde (kalibratie) wilt, moet je een beetje gevoeligheid opofferen (je kunt een signaal missen).
Als je maximale gevoeligheid wilt, moet je een aantal wiskundige fouten accepteren en deze later corrigeren.
De Winnaar: De K-Folding methode (Optie C) is het beste compromis. Het houdt de AI gevoelig genoeg om nieuwe fysica te vinden, terwijl het de wiskundige fouten klein genoeg houdt om beheersbaar te blijven.

Samenvattend: Wanneer je AI gebruikt om naar nieuwe fysica te zoeken door overal te kijken, moet je voorzichtig zijn dat de AI zichzelf niet voor de gek houdt met willekeurige ruis. Het artikel laat zien dat het slim splitsen van de data (K-Folding) de beste manier is om de zoektocht zowel gevoelig als eerlijk te houden.

Technische Samenvatting: Look Everywhere Effects in Anomaliedetectie

Probleemstelling
Machine learning (ML)-gebaseerde methoden voor anomaliedetectie (AD) bieden een model-agnostische benadering voor het zoeken naar nieuwe fysica in hoogdimensionale ruimtes, wat traditionele zoektochten aanvult met een verminderde theoretische bias. Deze methoden worden echter geconfronteerd met een statistische uitdaging die analoog is aan het "look elsewhere effect" (LEE) dat wordt gevonden in klassieke zoektochten. In traditionele zoektochten ontstaat de LEE door het testen van een vooraf bepaalde set signaalregio's, wat een "trials factor" vereist om p-waarden te corrigeren. In ML-gebaseerde AD zoekt de detector effectief "overal" tegelijkertijd door de faseruimte zonder vooraf gedefinieerde discrete regio's. Dit creëert een "look everywhere effect" waarbij de statistische kracht wordt verdund en p-waarden verkeerd gekalibreerd raken als de detector overfit op statistische fluctuaties in de trainingsdata. Het artikel onderzoekt de afweging tussen het bereiken van perfect gekalibreerde p-waarden en het behouden van een hoge sensitiviteit voor anomalieën, een spanning die voortvloeit uit de manier waarop data wordt gepartitioneerd voor training en evaluatie.

Methodologie
De auteurs maken gebruik van een systematische statistische studie met twee primaire datasets:

Toy Model: Een 2D Gaussische distributie met bekende achtergrond- en signaaltemplates, wat nauwkeurige analytische controle over statistische effecten mogelijk maakt.
Realistische Benchmark: De LHC Olympics 2020 R&D-dataset, bestaande uit een QCD dijet-achtergrond en een $W'$ -resonantie signaal, verwerkt met standaard jet-reconstructie en feature-sets.

De studie evalueert drie verschillende strategieën voor dataverbruik voor zwak gesuperviseerde classificaties (specifiek Neurale Netwerken en Boosted Decision Trees):

Full Data (Train/Test op dezelfde set): Maximaliseert statistiek maar introduceert een significante trials factor, wat leidt tot overfitting op fluctuaties.
Independent Split (50/50): Gebruikt de helft van de data voor training en de andere helft voor testen. Dit elimineert de trials factor en garandeert kalibratie, maar vermindert de effectieve trainingsstatistiek, wat potentieel de sensitiviteit verlaagt.
k-Fold Cross-Validation ( $k=5$ ): Traint op $k-1$ folds en evalueert op de resterende fold, waarbij dit proces wordt herhaald voor alle folds. Dit beoogt de volledige statistiek te benutten voor evaluatie terwijl overfitting wordt beperkt, hoewel de auteurs onderzoeken of de resulterende p-waarden onafhankelijk blijven.

De analyse vergelijkt de empirische cumulatieve distributie van p-waarden met berekende p-waarden om kalibratie te beoordelen. Het evalueert ook de signaalgevoeligheid via de Significance Improvement Characteristic (SIC, $\epsilon_S/\sqrt{\epsilon_B}$ ) en onderzoekt de relatie tussen het look everywhere effect en overtraining (overfitting).

Belangrijkste Bijdragen en Resultaten

Identificatie van het Look Everywhere Effect: Het artikel toont aan dat trainen en testen op dezelfde dataset resulteert in ernstig misgekalibreerde p-waarden. De anomaliedetector selecteert effectief de regio met de grootste statistische fluctuatie, waarbij een lokale p-waarde als een globale wordt gerapporteerd.
Equivalentie van Overfitting: De auteurs leggen een direct verband tussen het look everywhere effect en overtraining. Beide fenomenen komen voort uit het feit dat het model vertrouwt op de statistische fluctuaties van de trainingsset in plaats van op de onderliggende datadistributie.
Impact van Regularisatie:
- Neurale Netwerken (NN): Het toepassen van early stopping vermindert de miskalibratie aanzienlijk wanneer men evalueert op de trainingsset en kan k-fold cross-validatie resultaten perfect kalibreren.
- Boosted Decision Trees (BDT): Early stopping is minder effectief voor BDT's. Vanwege de aard van BDT's (het groeperen van gebeurtenissen en het middelen van waarden op basis van de trainingsset), blijven ze gevoelig voor trainingsfluctuaties, zelfs met early stopping, wat leidt tot persistente miskalibratie in k-fold scenario's.
De Sensitiviteit-Kalibratie Afweging:
- Onafhankelijke Testsets: Bieden perfect gekalibreerde p-waarden maar lijden onder verminderde sensitiviteit omdat de classifier wordt getraind op minder gebeurtenissen.
- Full Data Training: Biedt de hoogste sensitiviteit (grootste trainingsset) maar produceert ongekalibreerde p-waarden die een correctie vereisen.
- k-Fold Cross-Validation: Vormt een effectief evenwicht. Hoewel het niet in alle regimes perfect gekalibreerd is (met name voor grote excessen waarbij dezelfde fluctuatie in meerdere folds voorkomt), is de miskalibratie beperkt. De auteurs stellen vast dat k-folding een hoge sensitiviteit mogelijk maakt terwijl de p-waarde afwijkingen beheersbaar blijven, waarbij vaak slechts kleine correcties nodig zijn.
Noodzaak van Kalibratie: De studie laat zien dat om optimale sensitiviteit te bereiken, men wellicht een lichte miskalibratie moet accepteren en post-hoc kalibratiefitten (afgeleid van background-only simulaties) moet toepassen, in plaats strikt onafhankelijkheid af te dwingen wat de statistische kracht zou opofferen.

Significantie
Het artikel betoogt dat het "look everywhere effect" een fundamentele statistische eigenschap is van moderne anomaliedetectie die expliciet beheerd moet worden. Het benadrukt dat er geen enkele "beste" strategie is; eerder bepaalt de keuze van de datapartitionering (full, split, of k-fold) en regularisatie (early stopping) een specifieke afweging tussen p-waarnauwkeurigheid en signaal sensitiviteit.

De auteurs benadrukken dat hoewel kalibratie essentieel is, deze getest moet worden in een opzet die zo dicht mogelijk bij de uiteindelijke analyse ligt, waarbij zij opmerken dat kleine wijzigingen in architectuur (bijv. wisselen van NN naar BDT) de statistische eigenschappen drastisch kunnen veranderen. De bevindingen suggereren dat k-fold cross-validatie een robuuste praktische aanpak is voor experimentele zoektochten, aangezien het een compromis biedt dat een hoge sensitiviteit handhaaft terwijl de statistische verdunning binnen aanvaardbare grenzen blijft. Het werk biedt een kader voor het begrijpen hoe ML-gebaseerde zoektochten rigoureus gekalibreerd kunnen worden zonder het inherente ontdekkingspotentieel van het gebruik van de volledige dataset op te offeren.