Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches

Dit artikel stelt een op conformal prediction gebaseerde kalibratielaag voor die ongekalibreerde machine learning-anomaliescores transformeert naar statistisch rigoureuze, distributievrije lokale en globale p-waarden, waarmee effectief wordt gecorrigeerd voor foutieve modellering van de achtergrond en het look-elsewhere-effect om valse ontdekkingen in zoektochten naar nieuwe fysica te voorkomen.

De kern

Stel je voor dat je een detective bent die probeert een specifiek type vervalste munt te vinden, verborgen in een enorme zak met echte munten. Je hebt een nieuwe, hoogtechnologische "anomalie-detector" (een machine learning-model) die elke munt een "vreemdheidsscore" geeft. Hoe hoger de score, hoe groter de kans dat het een vervalsing is.

Het probleem is dat deze detector als een wilde gokker is. Hij geeft je een score zoals "17,5", maar dat getal betekent op zichzelf niets. Is 17,5 zeldzaam? Is het gebruikelijk? Zonder een liniaal om te meten, kun je niet weten of je een vervalste munt hebt gevonden of gewoon een normale munt die toevallig een beetje vreemd oogde.

Bovendien is het zo dat omdat de detector duizenden munten scant, hij er door puur geluk ook wel een paar zal vinden die er "vreemd" uitzien. Als je niet meeweegt hoe vaak je gekeken hebt, denk je misschien dat je een vervalsing hebt gevonden terwijl je eigenlijk gewoon geluk hebt gehad.

Dit artikel stelt een nieuwe "calibratielaag" voor om deze problemen op te lossen. Zo werkt het, met behulp van eenvoudige analogieën:

1. De Gebroken Liniaal (Het Calibratieprobleem)

Stel je voor dat je detector een weegschaal is die vertelt hoe zwaar een munt is, maar de weegschaal is kapot. Hij zegt dat een normale munt 17,5 gram weegt. Je weet niet of dat zwaar of licht is, omdat je eerst een stapel bekende normale munten niet hebt gewogen om een basislijn vast te stellen.

De auteurs gebruiken een statistisch hulpmiddel genaamd Conformal Prediction om een nieuwe liniaal te bouwen. Ze nemen een stapel munten waarvan ze weten dat ze normaal zijn (de "calibratieset") en kijken hoe de detector deze scoort. Vervolgens mappen ze de ruwe scores van de detector naar een p-waarde.

• De Analogie: In plaats van te zeggen "Deze munt is 17,5 vreemd", zegt de nieuwe liniaal: "Slechts 1% van de normale munten ziet er zo vreemd uit." Nu heb je een duidelijk, eerlijk getal.

2. De "Look-Elsewhere" Valstrik

Als je een hele zak munten scant, zul je uiteindelijk wel een munt tegenkomen die er door toeval net iets ongewoon uitziet. Als je 1.000 munten scant, is het vinden van één "vreemde" munt geen grote zaak. Maar als je slechts naar één munt had gekeken, zou het enorm nieuws zijn.

Het artikel combineert hun nieuwe liniaal met een methode genaamd de Gross–Vitells correctie.

• De Analogie: Dit is als een rechter die weet dat je een munt 1.000 keer hebt opgegooid. Als je zegt: "Ik heb 10 keer op rij kop gegooid!", kijelt de rechter niet alleen naar die reeks; hij kijelt naar de gehele 1.000 worpen. Hij berekent de kans op het krijgen van die reeks ergens in de zak. Dit voorkomt dat je "Vervalste Munt!" roept, alleen maar omdat je geluk had.

3. De "Sculpting" Scam (Het Falen van Uitwisselbaarheid)

Dit is de grootste ontdekking van het artikel. In de deeltjesfysica gebruiken wetenschappers vaak "sidebands" (gebieden naast het doelgebied) om te raden hoe de achtergrond eruitziet. Ze gaan ervan uit dat de achtergrond in de sidebands hetzelfde is als de achtergrond in het doelgebied.

De auteurs ontdekten dat in veel machine learning-modellen deze aanname onjuist is. Het model leert kenmerken te gebruiken die geheim verbonden zijn aan de locatie.

• De Analogie: Stel je voor dat je naar een vervalste munt zoekt in een specifieke pot. Om je detector te kalibreren, kijk je naar de munten in de pot ernaast. Maar je detector heeft geleerd dat "munten in de linker pot meestal zwaarder zijn" en "munten in de rechter pot meestal lichter zijn". Zelfs als alle munten echt zijn, zal je detector denken dat de munten in de rechter pot "vreemd" zijn, simpelweg omdat ze in de rechter pot zitten.
• Het Resultaat: Zonder dit te corrigeren, creëert de detector een "ghost signal" (geest-signaal). In de test van het artikel zag deze "geest" eruit als een 46-sigma ontdekking (wat astronomisch groot is, zoals het vinden van een naald in een melkwegstelsel). Het was een complete illusie veroorzaakt door de bias van de detector.

4. De Fix: De "Gewogen" Correctie

De auteurs lossen dit op door een gewicht toe te passen op de calibratie.

• De Analogie: Ze realiseren zich dat de munten uit de "linker pot" en de "rechter pot" iets verschillend zijn. Dus wanneer ze de munten uit de linker pot gebruiken om de rechter pot te kalibreren, geven ze de munten uit de linker pot een "korting" of "aanpassing" zodat ze overeenkomen met het profiel van de rechter pot.
• De Uitkomst: Wanneer ze deze weging toepassen, verdwijnt het valse 46-sigma signaal volledig. Het daalt naar 0,2 sigma, wat gewoon normale achtergrondruis is. De detector stopt met liegen.

5. De "Fail-Safe" Functie

Een van de beste eigenschappen van deze methode is dat hij eerlijk blijft, zelfs als er dingen misgaan.

• De Analogie: Als je kalibratiemunten stiekem vervuild zijn met een paar vervalsingen, zal een standaard detector misschien stilzwijgend beginnen te schreeuwen "Vervalsing!", en zou je het nooit weten. Maar deze nieuwe methode heeft een zelfcontrole. Als de kalibratie slecht is, zal de "liniaal" er krom uitzien (de p-waarden zullen niet uniform zijn). Het zal zeggen: "Hé, mijn liniaal is kapot," in plaats van je een valse ontdekking te presenteren.

Samenvatting van de Resultaten

De auteurs testten dit op publieke data van de LHC (Large Hadron Collider):

1. Standaard Methoden: Wanneer zij standaard technieken op deze data gebruikten, verzon de detector valse signalen van 10-sigma of 5- sigma in gebieden waar geen enkel signaal aanwezig was. Het hallucineerde ontdekkingen.
2. De Nieuwe Methode: Wanneer zij de calibratielaag toevoegden, verdwenen die valse signalen volledig. De detector rapporteerde correct "Geen signaal gevonden" (een null-resultaat).
3. Echte Signalen: Wanneer ze wel een echt signaal plaatsten, kon de methode dit nog steeds vinden (als het signaal sterk genoeg was), wat bewees dat het niet simpelweg de detector "uitschakelde"; het stopte alleen met liegen.

De Kernboodschap:
Dit artikel vindt geen nieuwe deeltjesdetector uit. In plaats daarvan vindt het een "waarheid-zeggende laag" die bovenop elke detector wordt geplaatst. Het zorgt ervoor dat wanneer een detector zegt "We hebben iets gevonden", dit ook echt betekent "We hebben iets gevonden", en niet "We hadden geluk" of "Onze wiskunde was bevooroordeeld". Het verandert een ruwe, verwarrende score in een verdedigbare, controleerbare wetenschappelijke verklaring.

Technische samenvatting

Technische Samenvatting: Conforme Kalibratie en het Look-Elsewhere Effect in Anomaliedetectie voor Zoektochten naar Nieuwe Fysica

Probleemstelling
Machine-geleerde anomaliedetectie (AD) is een primaire strategie geworden voor de zoektocht naar fysica buiten het Standaardmodel. De statistische interpretatie van AD-scores is echter achtergebleven bij de ontwikkeling ervan. Een ruwe anomaliescore mist een gekalibreerde betekenis; een waarde geeft niet inherent de waarschijnlijkheid van een achtergrondfluctuatie aan. Flexibele modellen die meerdere regio's, observabelen en latente richtingen scannen, lijden aan een acuut "look-elsewhere effect" (multipliciteit), wat de foutontdekkingspercentages (false discovery rates) opblaast. Bestaande experimentele workflows vertrouwen op asymptotische profiel-likelihoodformules en trials-factoren (bijv. de Gross–Vitells-theorie) die uitgaan van een correct gemodelleerde achtergrond. Deze methoden zijn blind voor foutieve modellering van de achtergrond, een faalmodus waar AD bijzonder gevoelig voor is. Wanneer trainings- en evaluatiedata worden gedeeld of wanneer kenmerken correleren met de resonante variabele (bijv. invariante massa), produceren standaard pipelines misgekalibreerde $p$-waarden, wat potentieel valse ontdekkingen kan fabriceren.

Methodologie
De auteurs stellen een kalibratielaag voor, gebouwd op conforme predictie, die elke anomaliescore transformeert naar een verdedigbare significantie met distributievrije, eindige-steekproefgaranties. De methodologie verloopt via verschillende cruciale fasen:

1. Split Conformal Calibration: De auteurs definiëren een eenzijdige conforme $p$-waarde, $\hat{p}(s)$, voor een testscore $s$ op basis van een kalibratieset van $n$ achtergrond-alleen scores. Dit brengt ruwe scores in kaart naar $p$-waarden zodanig dat, onder de aanname van uitwisselbaarheid (exchangeability), de $p$-waarden super-uniform zijn ($P(\hat{p} \le \alpha) \le \alpha$). Dit biedt een garantie voor een eindige steekproef die onafhankelijk is van de vorm van de scoreverdeling.
2. Adresseren van Uitwisselbaarheidsfouten: Resonante zoektochten schenden vaak de aanname van uitwisselbaarheid omdat de achtergrondscoreverdeling in de signaalregio (SR) verschilt van de zijbanden (SB) door correlaties tussen jet-substructuurkenmerken en de resonante variabele (massa).
   • Gewogen Conforme Predictie: Om deze covariantverschuiving te corrigeren, gebruiken de auteurs een gewogen conforme $p$-waarde met behulp van een likelihood ratio $w(x) = dQ/dP$ (waarbij $Q$ de SR-verdeling is en $P$ de SB-verdeling). Dit gewicht wordt label-vrij geschat vanuit de data.
   • Mondriaan Kalibratie: Voor heterogeniteit waarbij de achtergrond varieert over bins van de resonante variabele, stellen de auteurs Mondriaan (groep-conditionele) kalibratie voor, die apart binnen elke bin kalibreert om lokale geldigheid te waarborgen.
3. Robuustheid tegen Contaminatie: Het framework adresseert signaal-lekkage naar controle-regio's. Stelling 5 stelt vast dat als de signaalcontaminatie in de kalibratieset stochastisch is (signalevenementen hebben hogere scores dan achtergrondevenementen), de procedure geldig blijft en conservatief wordt, waarbij het veilig faalt in plaats van valse alarmen te genereren.
4. Look-Elsewhere Correctie: De lokale conforme $p$-waarden worden geaggregeerd tot een telveld $Z(m)$ over scannende vensters. De auteurs passen de Gross–Vitells up-crossing theorie toe op dit veld om een globale significantie te berekenen. Hoewel de lokale $p$-waarden garanties voor een eindige steekproef hebben, wordt de globale stap behandeld als een asymptotische grens, gevalideerd tegen achtergrond-alleen pseudo-experimenten.
5. Controle van de False Discovery Rate (FDR): Voor multi-regio shortlist-selecties wordt de Benjamini–Hochberg procedure geïntegreerd om de FDR te controleren, waarbij gebruik wordt gemaakt van de positieve afhankelijkheid van conforme $p$-waarden afgeleid van een gedeelde kalibratieset.

Belangrijkste Bijdragen

• Een Kalibratielaag: Het artikel introduceert een modulaire laag die op elke bestaande anomaliedetector kan worden toegepast zonder de detector zelf opnieuw te trainen. Het zet ongekalibreerde scores om in geldige lokale $p$-waarden.
• Diagnose en Correctie van Uitwisselbaarheid: De methode biedt een diagnostisch instrument (het controleren van de uniformiteit van achtergrond $p$-waarden) om uitwisselbaarheidsfouten te detecteren die worden veroorzaakt door kenmerk-massa correlaties. Het biedt een label-vrije gewogen correctie om de geldigheid te herstellen.
• Eindige-steekproefgaranties: In tegenstelling tot asymptotische methoden biedt de conforme laag rigoureuze eindige-steekproefgeldigheid die robuust is tegen foutieve modellering van de achtergrond, mits aan de aannames (uitwisselbaarheid of corrigeerbare covariantverschuiving) wordt voldaan.
• Integratie met Trials Factors: Het werk overbrugt de kloof tussen conforme predictie en hoog-energetische fysica (HEP) ontdekkingsstatistiek door lokale kalibratie met een eindige steekproef te combineren met het globale Gross–Vitells significantiekader.

Resultaten
De methodologie werd getest op de LHC Olympics 2020 R&D dataset (QCD dijet achtergrond met een geïnjecteerde $Z' \to XX$ resonantie).

• Detectie van Miskalibratie: Op echte data vertoonde een standaard zijband-gekalibreerde classifier een significante uitwisselbaarheidsfout. De achtergrond $p$-waarden waren anti-conservatief, met $P(\hat{p} \le 0.05) \approx 0.087$ in plaats van de nominale 0.05.
• Correctie van Valse Excessen:
  • Een naïeve telling van evenementen met $p \le 0.05$ in de signaalregio leverde een spuurtie van $\sim 46\sigma$ excess genereerde.
  • Het toepassen van de label-vrije gewogen correctie herstelde de achtergrond-rate naar het nominale niveau, waardoor de significantie werd teruggebracht naar een eerlijke nul ($Z \approx 0.2$).
  • In een blinde brede massa-scan (waarbij de detector in elk venster opnieuw wordt getraind), fabriceerden standaard asymptotische en ongegewogen conforme procedures $\gtrsim 10\sigma$ excessen in vensters zonder signaal. De gewogen conforme laag produceerde geen valse alarmen, met globale significances die consistent waren met de nul.
• Validatie van Globale Significantie: De globale fout-positieve ratio van de gewogen conforme procedure werd geverifieerd op achtergrond-alleen pseudo-experimenten, waarbij een empirische controle nabij het nominale niveau werd aangetoond.
• Signaalherstel: In een positieve controle-studie met sterkere signaalinjecties ($S/B \approx 1.3\%$) en minimale zijbandcontaminatie, slaagde de gewogen keten er succesvol in om een $\sim 7.4\sigma$ globale significantie te herstellen, wat aantoont dat de methode geen echte signalen onderdrukt, maar enkel voor systematische biases corrigeert.

Betekenis en Claims
Het artikel beweert een auditbaar, detector-agnostisch pad te bieden van een ongekalibreerde anomaliescore naar een trials-factor-bewuste globale significantie.

• De primaire waarde ligt niet in een nieuwe detector, maar in een kalibratie- en significantielaag die aannames expliciet en controleerbaar maakt.
• Het legt "stille" fouten bloot (zoals achtergrond-sculpting) die standaard asymptotische pipelines missen, en zet deze om in zichtbare niet-uniformiteiten of corrigeert ze via weging.
• De auteurs benadrukken dat hoewel de lokale $p$-waarden garanties voor een eindige steekproef hebben, de globale significantie afhankelijk is van asymptotische aannames (Gross–Vitells), die in hun studie empirisch zijn gevalideerd.
• Het werk benadrukt dat het "look-elsewhere effect" in AD wordt verergerd door de multipliciteit van regio's en de correlatie tussen kenmerken en de resonante variabele, en dat conforme predictie een rigoureus kader biedt om deze specifieke faalmodi aan te pakken.

Het artikel concludeert dat hoewel de methode niet alle achtergrond-systematieken oplost (zoals onbekende ongeparameteriseerde mismodellering), het de betrouwbaarheid van AD-zoektochten aanzienlijk verbetert door ervoor te zorgen dat gerapporteerde significances geen artefacten zijn van kalibratiefouten. Toekomstig werk wordt geïdentificeerd als het integreren van hinderlijke parameters (detector-systematieken) in het conforme framework en het direct vergelijken van deze aanpak met mass-gedecorreleerde detectoren.