Neutrino Oscillation Parameter Estimation Using Structured Hierarchical Transformers

Titel: Schatting van Neutrino-Oscillatieparameters met behulp van Gestructureerde Hiërarchische Transformers

Auteurs: Giorgio Morales, Gregory Lehaut, Antonin Vacheret, Frédéric Jurie en Jalal Fadili.
Affiliaties: Normandië Universiteit (UNICAEN, ENSICAEN, CNRS), Frankrijk.

---

1. Probleemstelling

Neutrino-oscillaties bieden cruciale inzichten in de massa's en mengingsparameters van neutrino's, wat essentieel is voor fysica buiten het Standaardmodel. Het schatten van deze parameters (zoals menghoeken $\theta_{12}, \theta_{23}, \theta_{13}$, de CP-schendingfase $\delta_{CP}$ en massaverschillen $\Delta m^2$) op basis van experimentele data is echter computationeel zeer uitdagend.

• Huidige aanpak: Traditionele methoden (zoals likelihood-analyses en Markov Chain Monte Carlo - MCMC) vereisen uitgebreide simulaties om de parameter ruimte te verkennen. Dit creëert een groot knelpunt, vooral voor grote experimenten zoals KM3NeT die real-time analyse of herhaaldelijke hypothese-toetsing nodig hebben.
• De uitdaging: De relatie tussen de gemeten signalen (oscillatiekans-kaarten) en de onderliggende parameters is niet-lineair en hoogdimensionaal. Deze kaarten bevatten informatie over energieniveaus en voortplantingshoeken (zenith-hoek) door de aarde, inclusief materie-effecten.
• Doel: Het ontwikkelen van een datagedreven, computatie-efficiënte methode die direct schattingen kan doen van de zes oscillatieparameters op basis van deze gestructureerde 2D-kaarten, zonder de noodzaak van zware, herhaalde simulaties tijdens de inferentie.

2. Methodologie

De auteurs stellen een raamwerk voor dat het probleem herschrijft als een supervised regression taak over gestructureerde oscillatiekaarten. De kerncomponenten zijn:

A. Hiërarchische Transformer Architectuur

In plaats van standaard 2D-attention of Vision Transformers (die fijne details kunnen verliezen door patching), gebruiken de auteurs een gestructureerde hiërarchische transformer die de fysieke structuur van de kaarten respecteert:

• Input: Een kaart $X \in \mathbb{R}^{C \times H \times W}$, waarbij $C$ het aantal kanalen is (flavor-overgangen), $H$ de discretisatie van $\cos(\theta)$ (zenith-hoek) en $W$ de discretisatie van de energie $E$.
• Inner Encoder (Per Energie): Elke kolom (vastgestelde energie) wordt verwerkt door een specifieke innerlijke transformer ($T_k$). Dit modelleert de hoekafhankelijkheid en correlaties tussen de verschillende $\cos(\theta)$-waarden voor die specifieke energie.
• Outer Encoder (Over Energie): De verkregen embeddings per energie worden samengevoegd tot een sequentie en verwerkt door een externe transformer ($T_{outer}$). Dit modelleert hoe de hoekpatronen evolueren over het volledige energiespectrum.
• Voordeel: Deze scheiding behoudt de fysieke betekenis van de data (lokale hoekcorrelaties vs. globale spectrale relaties) en is computatie-efficiënter dan volledige 2D-attention.

B. Physics-Aware Training (SimPANN)

Om fysieke consistentie te garanderen en het leerproces te stabiliseren, wordt een surrogaat-simulatie constraint gebruikt:

• Naast de standaard fout op de parameters (MSE), wordt de voorspelde parameter $\hat{p}$ teruggevoerd naar een differentieerbaar surrogaat-simulatiemodel $\hat{S}$.
• Het model moet een oscillerende kaart genereren die overeenkomt met de inputkaart.
• De totale loss functie is: $L_{total} = L_{par} + \lambda L_{rec}$, waarbij $L_{rec}$ de reconstructiefout tussen de inputkaart en de gesimuleerde kaart is. Dit dwingt het model om fysiek betekenisvolle oplossingen te vinden.

C. Onzekerheidskwalificatie (Uncertainty Quantification)

Voor betrouwbare wetenschappelijke conclusies is het essentieel om onzekerheidsintervallen te geven.

• DualAQD: Een extra neurale netwerklaag voorspelt voorspellingsintervallen (Prediction Intervals - PIs) voor elke parameter.
• Conformal Calibration: Om formele dekkingstochten (coverage guarantees) te garanderen ongeacht de data-verdeling, wordt een split-conformal prediction methode toegepast. Dit past de voorspelde intervallen aan op basis van een calibratie-set, zodat ze een gegarandeerde nominale dekking van 90% bereiken.

3. Belangrijkste Bijdragen

1. Nieuwe Inferentie-paradigma: Het is de eerste studie die oscillatieparameters direct schat vanuit volledige 2D oscillatiekans-kaarten (energie vs. hoek), in plaats van gereduceerde observabelen of ruwe detector-data.
2. Gestructureerde Hiërarchische Transformer: Een nieuwe architectuur die de specifieke 2D-structuur van neutrino-kaarten uitbuit, waardoor het beter presteert dan generieke 2D-attention of Vision Transformers.
3. Physics-Informed Learning: Integratie van differentieerbare surrogaat-simulaties in de training om fysieke consistentie te bewaken zonder expliciete likelihood-berekeningen.
4. Formele Onzekerheidskwalificatie: Een methode die niet alleen punt-schattingen geeft, maar ook nauwkeurige, conformaal gekalibreerde voorspellingsintervallen met gegarandeerde dekking.
5. Extreme Efficiëntie: Een aanzienlijke reductie in rekentijd en -kosten vergeleken met de huidige staat-van-de-kunst (MCMC).

4. Resultaten

De methode is getest op gesimuleerde atmosferische neutrino-kaarten met materie-effecten (PREM-model). De resultaten zijn vergeleken met een Delayed-Acceptance MCMC-baseline.

• Nauwkeurigheid: De voorgestelde methode bereikt een Root Mean Square Error (RMSE) die statistisch vergelijkbaar is met MCMC voor de meeste parameters. Voor $\theta_{12}$ (een parameter met lage gevoeligheid) presteert de transformer zelfs significant beter dan MCMC, omdat het lokale patronen beter kan onderscheiden dan de globale Frobenius-norm die MCMC gebruikt.
• Computatiekosten:
  • FLOPs: De transformer vereist ongeveer 240 keer minder FLOPs dan MCMC.
  • Tijd: De verwerking is gemiddeld 33 keer sneller (5 seconden vs. 165 seconden per sample).
• Onzekerheid: De Conformal DualAQD methode levert voorspellingsintervallen op met een empirische dekking van ongeveer 90% (zoals bedoeld), maar deze intervallen zijn aanzienlijk smaller dan die van de MCMC-baseline. Bijvoorbeeld, voor $\theta_{12}$ is de gemiddelde breedte van het interval slechts ongeveer $0.13^\circ$, wat twee ordes van grootte kleiner is dan het totale operationele bereik.

5. Betekenis en Toekomstperspectief

• Schaalbaarheid: Deze methode maakt het mogelijk om grote datasets van toekomstige telescopen (zoals KM3NeT) in real-time te analyseren, wat onmogelijk was met traditionele MCMC-methoden vanwege de rekentijd.
• Hybride Aanpak: Hoewel de transformer zeer nauwkeurig is, kan deze dienen als een snelle "frontend" voor MCMC. De schattingen van de transformer kunnen worden gebruikt als geïnformeerde startwaarden voor MCMC, wat de convergentie van de Markov-keten drastisch versnelt.
• Toekomstige stappen: Het huidige werk gebruikt gesimuleerde kaarten zonder detector-respons of realistische fluxen. De volgende stap is het ontwikkelen van een reconstructiestap die ruwe detector-data omzet in deze oscillatiekaarten, zodat de methode toegepast kan kan worden op echte experimentele data.

Conclusie: Het paper presenteert een doorbraak in de neutrino-fysica door deep learning (specifiek gestructureerde transformers) te combineren met fysieke constraints en conformale statistiek, waardoor een even nauwkeurige maar veel snellere en betrouwbaardere methode voor parameter-schatting ontstaat.