GollumFit: An IceCube Open-Source Framework for Binned-Likelihood Neutrino Telescope Analyses

Dit artikel presenteert GollumFit, een open-source framework dat is ontworpen voor tijdsefficiënte binned-likelihood analyses van neutrino-telescoopdata, met name voor de IceCube-observator, en dat in staat is om complexe modellen met tientallen nuisance-parameters te fitten.

De kern

Wat is GollumFit eigenlijk?

Stel je voor dat je een gigantische, donkere ijsberg hebt (de Zuidpool) waarin duizenden lampjes zijn aangebracht. Dit is IceCube, een telescoop die niet naar sterren kijkt, maar naar neutrino's. Neutrino's zijn onzichtbare, spookachtige deeltjes die door alles heen vliegen, inclusief de aarde. Als ze soms botsen met het ijs, maken ze een flits licht.

Het probleem? Er zijn miljarden van die flitsen, en ze komen van overal vandaan. Soms van de zon, soms van verre sterrenstelsels, en soms gewoon van de atmosfeer hierboven. De wetenschappers willen weten: Waar komen de echte, interessante deeltjes vandaan en wat zeggen ze over het universum?

Om dit te achterhalen, moeten ze een enorme statistische puzzel oplossen. Ze vergelijken wat ze zien (de data) met wat ze verwachten te zien (een computermodel). Maar dit model heeft honderden knoppen en schuifregelaars (parameters) die je moet instellen. Als je één knop verdraait, verandert het hele plaatje.

GollumFit is de nieuwe, super-snelle software die deze puzzel oplost. Het is als een slimme GPS die je door een doolhof van duizenden verkeerslichten leidt om de snelste route naar het antwoord te vinden.

---

De drie belangrijkste onderdelen (in simpele taal)

1. Het "Rekenen met Gewichten" (Reweighting)

Stel je voor dat je een bak met duizenden Lego-blokjes hebt. Je wilt weten hoe het eruitziet als je de kleur van de blokken verandert, of als je ze iets groter maakt.

• De oude manier: Je zou elke keer een nieuwe bak Lego moeten bouwen als je de instellingen wilt veranderen. Dat duurt dagen.
• De GollumFit manier: Je bouwt de bak maar één keer. Vervolgens geef je elke Lego-blok een "gewichtje" (een label). Als je de instelling "atmosfeer" verandert, verandert GollumFit niet de blokken zelf, maar alleen de labels. De computer telt dan snel bij elkaar op: "Ah, met deze instelling zijn er 100 rode blokken in dit vakje, en 50 blauwe in dat vakje."
• Het resultaat: Je kunt duizenden scenario's doorgaan in seconden in plaats van dagen.

2. De "FastMC" (De Samenvatting)

Soms heb je zo veel Lego-blokjes dat het rekenen erover te lang duurt, zelfs met slimme labels.

• De analogie: Stel je voor dat je een foto van een drukke markt maakt met 10.000 mensen. Als je de foto wilt analyseren, kost dat veel tijd.
• De oplossing: GollumFit heeft een trucje genaamd FastMC. Het kijkt naar mensen die heel dicht bij elkaar staan en die er hetzelfde uitzien. Het plakt ze samen tot één "super-mens" met een gewicht dat overeenkomt met de groep.
• Het voordeel: In plaats van 10.000 mensen te tellen, telt de computer nu maar 500 "super-mensen". De foto ziet er nog steeds hetzelfde uit, maar het is veel sneller te analyseren. Het is alsof je een boek samenvat tot een samenvatting, zonder de belangrijkste plotpunten te verliezen.

3. Het "Doolhof van Knoppen" (Nuisance Parameters)

In de natuurkunde zijn er niet alleen de interessante vragen (zoals: "Hoeveel energie heeft het deeltje?"), maar ook vervelende, onzekere factoren.

• De analogie: Stel je voor dat je een foto maakt van een vogel, maar je camera is wazig, het licht is slecht, en je hand trilt. Je wilt de vogel analyseren, maar je moet eerst rekening houden met je trillende hand en de wazige lens.
• In GollumFit heten deze "trillende handen" nuisance parameters (onruststokers). Er zijn er ongeveer 40 van, zoals: "Hoe helder is het ijs?", "Hoe goed werken de sensoren?", "Hoeveel straling komt er uit de atmosfeer?"
• GollumFit is speciaal gebouwd om al deze 40 knoppen tegelijkertijd te draaien en te vinden welke combinatie de foto het scherpst maakt. Het doet dit zo snel dat het mogelijk is om binnen een redelijke tijd het beste antwoord te vinden, terwijl andere software hier dagen voor nodig zou hebben.

---

Waarom is dit belangrijk?

Vroeger waren analyses van neutrino's als het zoeken naar een naald in een hooiberg, waarbij je de hele hooiberg elke keer opnieuw moest bouwen om te kijken of je de naald beter zag.

Met GollumFit hebben de wetenschappers een magische schaar waarmee ze de hooiberg kunnen verkleinen (FastMC) en een bril die hen direct laat zien waar de naald zit, zelfs als de hooiberg verandert (Reweighting).

Dit betekent dat:

1. Snelheid: Analyses die weken duurden, gaan nu in uren of minuten.
2. Nauwkeurigheid: Ze kunnen veel meer factoren meenemen in hun berekening, waardoor de resultaten betrouwbaarder zijn.
3. Toekomst: Andere telescopen (niet alleen in het ijs, maar ook in de zee of in de ruimte) kunnen deze software gebruiken om hun eigen "naalden" te vinden.

Kortom: GollumFit is de nieuwe, supersnelle motor onder de kap van de neutrino-wetenschap, waardoor we het universum sneller en scherper kunnen bekijken.

Technische samenvatting

Technische Samenvatting: GollumFit

1. Het Probleem
Neutrinotelescopen, zoals IceCube aan de Zuidpool, genereren enorme hoeveelheden data die geanalyseerd moeten worden om fysische inferenties te trekken. De standaardaanpak voor deze analyses is een binned-likelihood methode (berekend in histogrammen), waarbij waargenomen data wordt vergeleken met Monte Carlo-simulaties.
De uitdagingen zijn:

• Hoog-dimensionale optimalisatie: Analyses vereisen het optimaliseren van een likelihood-functie over tientallen parameters, waaronder parameters van fysiek belang (zoals het spectraal index van astrophysische neutrino's) en nuisance parameters (parameters voor systematische onzekerheden, zoals detector-efficiëntie en atmosferische flux).
• Berekeningskosten: Het opnieuw genereren van Monte Carlo-simulaties voor elke combinatie van parameters is computationeel onmogelijk.
• Complexiteit van afgeleiden: Het analytisch berekenen van de gradient van de likelihood over vele parameters is vaak niet-triviaal en vertraagt de minimalisatie.
• Gebrek aan gespecialiseerde tools: Bestaande frameworks zijn vaak te algemeen of niet geoptimaliseerd voor de specifieke eigenschappen van neutrinotelescopen (zoals de specifieke onzekerheden in de atmosferische flux).

2. Methodologie
GollumFit is een open-source framework (geschreven in C++ en Python) dat specifiek is ontworpen om deze problemen op te lossen. De kernmethodologie omvat:

• Binned Likelihood Constructie:
  Het framework bint de data en simulaties in een tweedimensionale ruimte van gereconstrueerde energie ($E$) en de cosinus van het zenith-hoek ($\cos \theta$). De likelihood ($\mathcal{L}$) wordt berekend als het product van Poisson-likelihoods per bin, waarbij rekening wordt gehouden met de statistische onzekerheid in de Monte Carlo-generatie (via de effectieve likelihood uit Ref. [16]).

• Event Reweighting (Herverdeling):
  In plaats van nieuwe simulaties te draaien, past GollumFit reweighting toe op bestaande Monte Carlo-events. Elke gebeurtenis heeft een gewicht ($w_e$) dat afhankelijk is van modelparameters ($\vec{\theta}$ voor fysica, $\vec{\eta}$ voor systematiek).
  De afhankelijkheid van het gewicht van de parameters wordt gemodelleerd via drie methoden:

  1. Analytisch: Bekende formules (bijv. schalingsfactoren).
  2. Gradient: Lineaire extrapolatie gebaseerd op de bekende afgeleide van het gewicht.
  3. Spline: Interpolatie van vooraf berekende waarden.
     Dit stelt het framework in staat om de verwachte verdeling ($\mu_i$) in elke bin snel te berekenen voor elke set parameters.

• Optimalisatie en Differentiatie:
  GollumFit gebruikt de L-BFGS-B algoritme (via de PhysTools bibliotheek) voor likelihood-minimalisatie. Cruciaal is het gebruik van automatische differentiatie, wat zorgt voor snelle en nauwkeurige berekening van de likelihood-gradienten, essentieel voor het vinden van het optimum in een ruimte met 30-40 parameters.

• FastMC (Compressie):
  Om de rekentijd verder te verlagen, introduceert GollumFit een compressietechniek genaamd FastMC. Hierbij worden Monte Carlo-events die dicht bij elkaar liggen in de ruimte van ware waarden ($\vec{q}$) en gereconstrueerde waarden ($\vec{Q}$) samengevoegd tot "meta-events".

  • De som van de gewichten blijft behouden ($\sum w_e = \sum \bar{w}_{\bar{e}}$).
  • Het aantal events wordt drastisch gereduceerd, wat de doorlooptijd voor likelihood-berekeningen lineair verlaagt zonder significante verlies aan nauwkeurigheid, mits de compressieparameter $k$ correct wordt gekozen.

• Parametrisatie:
  Het framework bevat een uitgebreide lijst van nuisance parameters die specifiek zijn voor neutrinotelescopen, waaronder:

  • Algemeen: Atmosferische flux (kaonen, pionen, kosmische stralingsspectrum), astrophysische flux (gebroken power law), en neutrino-nucleon doorsnede.
  • IceCube-specifiek: Efficiëntie van optische sensoren (DOMs), effecten van ijs in de boorgaten ("Hole Ice"), en variaties in het glaciaal ijs (gemodelleerd via Fourier-modes via de SnowStorm-methode).

3. Belangrijkste Bijdragen

• Gespecialiseerd Framework: GollumFit is het eerste open-source framework dat specifiek is ontworpen voor binned-likelihood analyses van neutrinotelescopen, met ingebouwde ondersteuning voor de complexe systematische onzekerheden die uniek zijn voor dit veld.
• Efficiëntie: Door het combineren van event reweighting, automatische differentiatie en de FastMC-compressietechniek, wordt de tijd voor likelihood-optimalisatie aanzienlijk verkort.
• Extensibiliteit: Het framework is modulair ontworpen. Het is eenvoudig uit te breiden met nieuwe observabelen (bijv. azimuthale hoek) of nieuwe nuisance parameters door het toevoegen van nieuwe "weighters".
• Open Source: De code is beschikbaar onder de LGPL-licentie, met documentatie en voorbeeld-Monte Carlo-data (gegenereerd met LeptonInjector).

4. Resultaten en Prestaties

• Nauwkeurigheid: Benchmark-tests tonen aan dat GollumFit succesvol de nominale (ware) waarden van parameters kan herstellen, zelfs wanneer de initialisatie willekeurig en ver van de waarheid ligt.
• Schaalbaarheid: De tijd voor een enkele likelihood-evaluatie vertoont een lineair verband met de grootte van de Monte Carlo-dataset.
• Snelheidswinst: Het gebruik van FastMC leidt tot aanzienlijke snelheidswinsten. De tijd voor minimalisatie hangt niet alleen af van het aantal parameters, maar ook van het type parameter (bijv. spline-berekeningen zijn duurder dan schalingsfactoren).
• Hardware: Tests zijn uitgevoerd op een Intel Xeon Platinum 8480CL (112 cores), waarbij zelfs met slechts één kern een zeer efficiënte prestatie werd geboekt.

5. Betekenis en Toekomstperspectief
GollumFit is een cruciale tool voor de huidige en toekomstige neutrino-astronomie.

• IceCube: Het framework heeft al bijgedragen aan succesvolle analyses van IceCube-data (zoals in Refs. [8, 10]).
• Andere Telescopen: Hoewel momenteel geoptimaliseerd voor IceCube, is het framework eenvoudig aan te passen voor andere telescopen zoals KM3NeT (in de Middellandse Zee), waarbij alleen de specifieke Monte Carlo-data en de splines voor de ijs- of water-systematiek hoeven te worden aangepast.
• Gemeenschappelijke Analyses: Het faciliteert toekomstige gezamenlijke analyses (joint analyses) tussen meerdere neutrino-telescopen, wat essentieel is voor het verhogen van de statistische kracht.
• Breder Toepassingsgebied: De methodiek is ook toepasbaar op andere experimenten die binned-likelihood analyses vereisen, zoals kosmische stralingsexperimenten.

Kortom, GollumFit lost het "curse of dimensionality" op voor neutrinotelescopen door een robuuste, snelle en flexibele oplossing te bieden voor complexe statistische inferentieproblemen.