Fair Universe Higgs Uncertainty Challenge

Deze paper beschrijft de eerste machine learning-wedstrijd in de deeltjesfysica die zich sterk richtte op het kwantificeren van onzekerheden bij de meting van het Higgs-boson verval naar tau-leptonen, waarbij de deelnemers methoden moesten ontwikkelen voor betrouwbare betrouwbaarheidsintervallen die werden gevalideerd via pseudo-experimenten.

De kern

🎲 De Grote "Fair Universe" Uitdaging: Hoe zeker zijn we van onze voorspellingen?

Stel je voor dat je een gigantische hoed vol met ballen hebt. De meeste ballen zijn grijs (dat zijn de "normale" deeltjes die we al kennen), maar er zit één heel zeldzame, glinsterende gouden bal in (dat is het Higgs-boson, het deeltje dat het universum massa geeft).

Deze paper vertelt het verhaal van een wedstrijd waar wetenschappers en kunstmatige intelligentie (AI) tegen elkaar streden. Hun missie? Niet alleen de gouden bal vinden, maar ook precies kunnen zeggen hoe zeker ze zijn dat ze die bal hebben gevonden.

1. Het Probleem: De "Grijze" Ballen en de Vage Brillen

In de echte wereld (bij deeltjesversnellers zoals de LHC) is het vinden van die gouden bal als het zoeken naar een naald in een hooiberg. De "hooiberg" (de achtergrond) is 1000 keer groter dan de "naald".

Maar er is een nog groter probleem: Onzekerheid.
Stel je voor dat je door een bril kijkt die soms een beetje vies is, of waarvan de lenzen een beetje vervormen.

• Soms zie je de ballen iets groter dan ze zijn (energie-schaal).
• Soms tel je de ballen verkeerd (aantal ballen).
• Soms is de hoed zelf een beetje scheef.

In de wetenschap noemen we dit systematische onzekerheden. Vroeger probeerden AI's alleen de gouden bal te vinden, maar ze negeerden vaak dat hun "bril" vies kon zijn. Als je AI zegt: "Ik heb de gouden bal gevonden!", maar je weet niet hoe vies de bril is, dan is die uitspraak waardeloos. Je wilt weten: "Ik heb 95% zekerheid dat de bal hier is, rekening houdend met de vieze bril."

2. De Wedstrijd: De "Fair Universe" Challenge

De organisatoren van deze wedstrijd (de "Fair Universe Higgs Uncertainty Challenge") hebben een enorme dataset gemaakt. Het is alsof ze een digitale simulatie hebben gebouwd van een heel universum met miljoenen deeltjesbotsingen.

De regels waren simpel maar streng:

1. De Taak: Deelnemers moesten een algoritme bouwen dat zegt: "Er is een kans dat er een Higgs-deeltje is."
2. De Belangrijkste Regel: Ze moesten niet alleen een getal geven, maar ook een vertrouwensinterval.
   • Slecht: "Het is 1,0."
   • Goed: "Het is tussen 0,9 en 1,1, en we zijn 68% zeker dat het waar is."
3. De Valstrik: De jury testte de AI's op een dataset die "vervormd" was. Alsof je de AI eerst een schone bril gaf om te leren, en toen een vies, vervormd brillen om te testen. Als de AI daar niet goed op reageerde, viel hij door de mand.

3. Hoe werd er gewonnen? (De Score)

De winnaars werden niet beloond voor het vinden van de gouden bal, maar voor het kloppen van hun voorspellingen.

Stel je voor dat je een boogschutter bent.

• Als je schiet en de pijl raakt de roos, maar je zegt: "Ik was 100% zeker dat hij links zou landen", dan ben je een slechte boogschutter. Je was te overmoedig.
• Als je zegt: "Ik weet het niet, misschien links, misschien rechts, misschien in de boom", en je raakt de roos, dan ben je te onzeker.
• De winnaars waren degenen die precies de juiste breedte van hun "doelwit" (het interval) hadden. Niet te smal (overmoedig), niet te breed (onzeker), maar precies zo breed dat het 68% van de tijd de waarheid bevatte.

De jury gebruikte een speciale "straf-scoresysteem". Als je te zeker was en je raakte de waarheid niet, kreeg je een zware straf.

4. De Winnaars: Twee Verschillende Manieren om het Op te Lossen

Aan het einde van de wedstrijd bleek er een ex aequo (gelijkspel) te zijn tussen twee teams. Het was alsof twee verschillende chefs precies even lekker eten maakten, maar met totaal verschillende recepten.

• Team 1 (HEPHY uit Oostenrijk): Zij gebruikten een methode die lijkt op het "ontleden" van de data. Ze keken naar de ruwe gegevens en leerden de AI om de "viesheid" van de bril direct in de berekening te verwerken. Het was alsof ze een bril maakten die zichzelf schoonmaakt terwijl je erdoor kijkt.
• Team 2 (IBRAHIME uit de VS): Zij gebruikten een techniek genaamd "Contrastive Normalizing Flows". Dit is een heel slimme manier om de AI te leren hoe de data eruitziet zonder de gouden bal, en hoe het eruitziet met de gouden bal, en dan de verschillen te gebruiken om de onzekerheid te meten. Het is alsof je een spiegel hebt die je laat zien wat er niet is, zodat je precies weet wat er wel is.

Beide teams kregen een prijs van $2000, en de derde plek ging naar een team uit Japan (HZUME) met een prijs van $500.

5. Waarom is dit belangrijk?

Vroeger waren AI's in de natuurkunde vaak "zwarte dozen": ze gaven een antwoord, maar je wist niet of je het mocht geloven.

Deze wedstrijd toont aan dat we AI's nu verantwoordelijk kunnen maken. We kunnen ze leren om te zeggen: "Ik denk dat dit het Higgs-deeltje is, maar let op, mijn bril is een beetje vies, dus ik ben niet 100% zeker, maar wel 68% zeker."

Dit is cruciaal voor de toekomst. Als we in de toekomst een nieuw deeltje vinden dat de wetten van de natuurkunde verandert, moeten we 100% zeker weten dat het niet gewoon een foutje in de meetapparatuur was. Deze wedstrijd is een grote stap in die richting.

Kortom: De wetenschappers hebben een wedstrijd georganiseerd om AI's te leren dat het niet alleen gaat om het vinden van het antwoord, maar vooral om het eerlijk vertellen van hoe zeker je bent. En dat is de echte "Fair Universe" (Eerlijk Universum).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Fair Universe Higgs Uncertainty Challenge" in het Nederlands.

Titel: Fair Universe Higgs Uncertainty Challenge

Publicatie: SciPost Physics Proceedings (voorbereid voor de 2e Europese AI-conferentie voor Fundamentele Fysica, EuCAIFCon2025).

---

1. Het Probleem

Hoewel machine learning (ML) de afgelopen tien jaar een grote impact heeft gehad op de hoge-energie fysica (HEP), zoals geïllustreerd door de eerdere "Higgs Boson Machine Learning Challenge", blijft een fundamenteel probleem onopgelost: het effectief kwantificeren en reduceren van onzekerheden, met name systematische onzekerheden.

Traditionele methoden schatten systematische onzekerheden vaak door datasets te verschuiven en de fouten te propagëren, maar dit lost het probleem van gebiasde ML-modellen niet op. Bestaande geavanceerde benaderingen (zoals het integreren van nuisance-parameters, Bayesiaanse netwerken of adversarial training) zijn vaak verspreid over verschillende datasets en probleemstellingen, wat een eerlijke vergelijking van methoden bemoeilijkt. Er is behoefte aan een gestandaardiseerd, publiek beschikbaar kader om onzekerheidskwantificatie te testen.

2. Methodologie en Opzet van de Uitdaging

De "Fair Universe Uncertainty Challenge" is ontworpen om de nauwkeurigheid van onzekerheidsintervallen in ML-modellen te evalueren, specifiek voor de meting van het Higgs-boson.

• Fysisch Doel: Deelt deeltjesproces $H \to \tau^+\tau^-$ (Higgs verval in twee tau-deeltjes). De te schatten parameter is de signaalsterkte $\mu$ (de verhouding tussen het waargenomen aantal signaalevenementen en het verwachte aantal in het Standaardmodel).
• Uitdaging: De achtergrond ($Z \to \tau^+\tau^-$) is ongeveer 1000 keer waarschijnlijker dan het Higgs-signaal.
• Dataset:
  • Genereerd met Pythia8 en Delphes 3.5.
  • Omvat 28 hoog-niveau variabelen (inclusief $p_T, \eta, \phi$ van tau's en jets, en ontbrekende transversale impuls).
  • De dataset is minimaal 200 keer groter dan de equivalente hoeveelheid gebeurtenissen in de LHC.
  • Er zijn 6 nuisance-parameters geïntroduceerd om systematische onzekerheden te simuleren:
    • 3 feature-verstorende systematieken: Tau-hadron Energy Scale (TES), Jet Energy Scale (JES), en Soft Missing Transverse Energy (Soft MET).
    • 3 normalisatie-systematieken: Normalisatie van totale achtergrond, di-boson achtergrond, en $t\bar{t}$ achtergrond.
• Evaluatie en Scoring:
  • Deelnemers moeten een algoritme ontwikkelen dat niet alleen $\mu$ schat, maar ook een 1$\sigma$ betrouwbaarheidsinterval (CI) levert.
  • De prestatie wordt getest via pseudo-experimenten (1000 trials in de privé-fase) waarbij de ware waarde van $\mu$ willekeurig wordt gekozen tussen 0,1 en 3.
  • Coverage (Dekking): Het ideale doel is dat de ware waarde binnen het voorspelde interval valt in 68,27% van de gevallen.
  • Scorefunctie: Een speciale "coverage penalty" ($f(x)$) straft modellen die te zelfverzekerd (onderdekking) of te onzeker (overdekking) zijn. De uiteindelijke score is de negatieve logaritme van de gemiddelde breedte van het CI, vermenigvuldigd met de coverage-functie. Een hoge score vereist dus smalle intervallen zonder in te boeten op de dekking.

3. Belangrijkste Bijdragen

• Eerste focus op onzekerheid: Dit is de eerste competitie in HEP die sterk de nadruk legt op de kwaliteit van onzekerheidsintervallen in plaats van alleen op classificatie-accuraatheid.
• Gestandaardiseerde Benchmark: De dataset en de evaluatiemethode zijn permanent gepubliceerd op Zenodo, waardoor ze dienen als een standaardbenchmark voor onzekerheidskwantificatie in HEP.
• Vergelijkbaarheid: Door een uniforme dataset en scoring te bieden, maakt het paper een directe vergelijking mogelijk tussen verschillende geavanceerde ML-technieken voor onzekerheidsbeheer.

4. Resultaten

De competitie eindigde met een duidelijke top drie, waarbij de eerste twee plaatsen een gelijkspel waren na grondige statistische analyse (bootstrap-analyse van de variantie):

1. Gelijkspel 1e plaats:
   • HEPHY (Wenen, Oostenrijk): Met de methode "Unbinned inclusive cross-section measurements with machine-learned systematic uncertainties". Ze wonnen $2000.
   • IBRAHIME (Ibrahim Elsharkawy, UIUC, VS): Met de methode "Contrastive Normalizing Flows for Uncertainty-Aware Parameter Estimation". Hij won $2000.
   • Opmerking: De statistische analyse toonde aan dat het verschil tussen deze twee inzendingen niet betrouwbaar te rangschikken was; beide presteerden uitzonderlijk goed op zowel dekking als intervalbreedte.
2. 3e plaats:
   • HZUME (Kyoto Universiteit, Japan): Met "Decision-Tree Aggregated Features and Hybrid Bin-Classifier/Quantile-Regressor". Won $500.

De resultaten (gevisualiseerd in Figuur 3 van het paper) tonen aan dat beide winnende modellen de ideale dekking van ~68% behaalden over een breed scala aan $\mu$-waarden, terwijl ze tegelijkertijd smalle betrouwbaarheidsintervallen behielden.

5. Betekenis en Conclusie

De Fair Universe Challenge markeert een belangrijke stap in de ontwikkeling van onzekerheidsbewuste kunstmatige intelligentie (Uncertainty-Aware AI) voor de fundamentele fysica.

• Toekomstperspectief: De succesvolle inzendingen suggereren dat er geen enkele "beste" methode is, maar dat verschillende benaderingen (zoals machine-learned systematieken en contrastive normalizing flows) complementair kunnen zijn.
• Impact: Het werk biedt een weg vooruit om de grenzen van ML in HEP te verleggen, waarbij de focus verschuift van puur het vinden van signalen naar het betrouwbaar kwantificeren van de onzekerheid rond die signalen. Dit is cruciaal voor toekomstige ontdekkingen waarbij systematische fouten vaak de beperkende factor zijn.
• Open Science: De beschikbaarheid van de dataset en de gedetailleerde documentatie van de winnende inzendingen zorgen voor transparantie en herbruikbaarheid voor de bredere wetenschappelijke gemeenschap.