Flow-Based Surrogates for High-Dimensional Likelihoods in Experimental Neutrino Physics

Technische Zusammenfassung: Flussbasierte Surrogatmodelle für hochdimensionale Likelihoods in der experimentellen Neutrinophysik

Problemstellung
Präzise Langstrecken-Neutrinoexperimente sind auf Daten von Nahdetektoren angewiesen, um systematische Unsicherheiten (Störparameter) zu kontrollieren, die den unoszillierten Neutrinofluss betreffen. Diese Einschränkungen sind entscheidend für genaue Bestimmungen der Oszillationsparameter an Fern-Detektoren sowie für gemeinsame Analysen über mehrere Experimente hinweg. Die zu beschränkenden Likelihood-Funktionen in diesen Szenarien sind jedoch oft hochdimensional (z. B. $\sim 100$ Parameter) und nicht-gaußförmig aufgrund nicht-linearer Parameterabhängigkeiten, physikalischer Grenzen und begrenzter Statistik.

Aktuelle Propagationsmethoden stehen vor einer methodischen Lücke:

1. Post-fit Gauß-Approximationen: Diese sind portabel und in geschlossener Form verfügbar, setzen aber eine quadratische Log-Likelihood voraus, wodurch asymmetrische Ausläufer, gekrümmte Korrelationen und nicht-gaußförmige Modi nicht erfasst werden können, was potenziell zu Bias führt.
2. Markov-Chain-Monte-Carlo (MCMC): Während MCMC-Proben asymptotisch exakt sind und der Likelihood-Struktur treu bleiben, sind sie keine geschlossenen, kontinuierlichen Funktionen, was es schwierig macht, sie direkt in nachgeschaltete Likelihoods für gradientenbasierte Optimierung oder effiziente Wiederverwendung einzusetzen.
3. Vollständige Likelihood-Implementierungen: Diese sind präzise, erfordern jedoch den Zugriff auf spezifische Software, Daten und Infrastruktur, was sie für die portable Propagation von Constraints unpraktisch macht.

Methodik
Die Autoren schlagen vor, Normalizing Flows (NF) als explizite, portable Surrogatmodelle für hochdimensionale systematische Likelihoods einzusetzen. Der Ansatz besteht darin, eine invertierbare Abbildung $f_\theta$ zu lernen, die eine einfache Basisverteilung in die Ziel-Likelihood-Dichte $p(\eta) \propto \mathcal{L}(\eta)$ transformiert.

• Hybride Architektur: Um ein Gleichgewicht zwischen Ausdrucksstärke und Rechenaufwand in hohen Dimensionen zu finden, verwenden die Autoren eine hybride Architektur, die die Störparameter $\eta$ in zwei Blöcke unterteilt:

  • $\eta_B$ (Hochdimensional, annähernd linear): Modelliert mittels Coupling-Layers (Affine-Coupling-Blöcke). Diese bieten schnelle, analytische Inverse- und Dichteberechnungen in einem Durchgang, geeignet für den Großteil der Parameter, die ein lineares Verhalten aufweisen.
  • $\eta_A$ (Niedrigdimensional, hochgradig nicht-linear): Modelliert mittels bedingter autoregressiver Rational Quadratic Neural Spline Flows (RQ-NSF). Dieser Block erfasst komplexe nicht-gaußförmige Merkmale. Die autoregressive Struktur ist auf $\eta_B$ konditioniert, um Kreuzkorrelationen zu bewahren, während die rechenintensive autoregressive Berechnung auf den kleineren, schwierigeren Block beschränkt wird.
  • Initialisierung: Der Flow wird mit der Post-fit Gauß-Approximation (Best-Fit-Punkt und Kovarianzmatrix aus einem Standard-Fit) initialisiert, um eine starke Start-Proposal-Verteilung und Trainings-Samples bereitzustellen.

• Trainingsstrategie: Das Modell wird durch Minimierung einer symmetrischen Kullback-Leibler-Divergenz (KL) zwischen der Ziel-Likelihood und der Flow-Approximation trainiert. Um die hohe Dimensionalität und die Kosten der Likelihood-Evaluierungen zu bewältigen, wird ein iteratives asynchrones Trainingsschema verwendet:

  • CPU-Worker ziehen Proben aus einem „verzögerten“ Checkpoint des Flows, um Proposal-Samples zu generieren.
  • Diese Samples werden gegen die teure Ziel-Likelihood evaluiert.
  • Der resultierende Datensatz wird in einen FIFO-Puffer geschoben.
  • Ein GPU-Trainer optimiert kontinuierlich die Flow-Parameter auf dem aggregierten Datensatz.
  • Dieser Prozess verfeinert iterativ die Proposal-Verteilung und reduziert die Varianz der Importance-Gewichte.

Wesentliche Beiträge und Ergebnisse
Die Methode wurde an einem realistischen Replikat einer T2K-Nahdetektor-Analyse mit 110 systematischen Parametern getestet, von denen 10 durch nicht-lineare Ereignisgewichte explizite Nicht-Gaußförmigkeiten einführen.

• Fideliät im Parameterraum: Das trainierte NF-Surrogat reproduziert die Ziel-Likelihood mit hoher Genauigkeit.
  • Marginale Verteilungen: Das NF erfasst die asymmetrischen Ausläufer und Modi, die vom Best-Fit-Wert verschoben sind, für die 10 nicht-linearen Parameter präzise und stimmt eng mit einer Referenz-MCMC-Kette (4,2 Millionen Samples) überein. Im Gegensatz dazu scheitert die Gauß-Approximation daran, diese Merkmale zu erfassen.
  • Korrelationen: Das NF modelliert korrekt gekrümmte Korrelationen und verzerrte Konfidenzregionen in 2D-Projektionen, welche das Gauß-Modell übersieht.
• Fluss-Vorhersagen: Bei der Propagation systematischer Unsicherheiten auf Fluss-Vorhersagen:
  • Die durch das NF abgeleiteten Unsicherheitsbänder stimmen mit den MCMC-Ergebnissen innerhalb von $\approx \pm 1\%$ überein.
  • Die Gauß-Approximation überschätzt die Breite der Unsicherheiten um $\approx 3,5\%$ und unterschätzt den Median der Ereignisrate um $\approx 0,2\%$, was auf einen Bias im Gauß-Surrogat hindeutet.
• Sampling-Effizienz:
  • Das trainierte NF erreicht eine relative effektive Stichprobengröße (rESS) von 98%, verglichen mit nur 5% für den initialen Gauß-Proposal.
  • Dies entspricht einer $\sim 20$-fachen Verbesserung der Sampling-Effizienz für das Importance Sampling.
  • Einmal trainiert, ist das Surrogat rechentechnisch sehr günstig: Es kann $\sim 38$ Millionen Samples pro GPU-Stunde generieren, verglichen mit $\sim 10.000$ Evaluierungen pro CPU-Stunde der ursprünglichen Likelihood.
• Skalierbarkeit: Die Rechenkosten skalieren primär mit der Größe des nicht-linearen Blocks ($D_A$), nicht mit der Gesamtdimension. Selbst bei $D_A=100$ bleibt das Surrogat signifikant schneller als die ursprüngliche Likelihood-Evaluierung.

Bedeutung und Ansprüche
Das Paper behauptet, dass Normalizing Flows eine „getreue und portable“ Lösung für hochdimensionale Likelihoods in der Neutrinophysik bieten. Durch die Umwandlung der gefitteten systematischen Likelihood in ein explizites Dichtemodell fungiert das NF als geschlossene, samplbare und punktweise evaluierbare Surrogat-Funktion.

Die Bedeutung liegt in der Überbrückung der Lücke zwischen Gauß-Approximationen und MCMC-Proben:

• Wie Gauß-Approximationen ist das NF leichtgewichtig, portabel und benötigt nicht die ursprünglichen Daten oder die Fitting-Maschinerie für die nachgeschaltete Verwendung.
• Wie MCMC bewahrt es die volle nicht-gaußförmige Struktur (Schiefe, gekrümmte Korrelationen, nicht-gaußförmige Ausläufer) und vermeidet so die durch quadratische Approximationen bedingten Biases.

Die Autoren positionieren diese Methode als essenziell für zukünftige Präzisionsmessungen der Oszillation, insbesondere für gemeinsame Experiment-Fits (z. B. T2K-NOvA) und globale Analysen, bei denen Constraints aus einer Phase rigoros an eine andere weitergegeben werden müssen, ohne statistische Informationen zu verlieren. Der trainierte Flow ermöglicht gradientenbasierte Optimierung und Unsicherheitspropagation in nachgeschalteten Analysen, ohne den Upstream-Fit erneut ausführen zu müssen.