Lecture notes on Machine Learning applications for global fits

Diese Vorlesungsnotizen stellen einen umfassenden Rahmen für globale statistische Anpassungen in der Hochenergiephysik vor, der moderne Machine-Learning-Surrogate wie Boosted Decision Trees nutzt, um die Rechenkosten zu senken, und diese Methoden erfolgreich auf die Untersuchung der $B^\pm \to K^\pm \nu \bar{\nu}$-Anomalie bei Belle II zur Erforschung axionähnlicher Teilchen anwendet.

Das Wesentliche

🎓 Physik auf dem Weg zum Super-Computer: Wie KI das Universum entschlüsselt

Stell dir vor, du bist ein Detektiv, der versucht, ein riesiges Puzzle zu lösen. Das Puzzle ist das Universum, und die einzelnen Teile sind die Regeln der Physik (die wir "Modelle" nennen). Um das Puzzle zu lösen, musst du herausfinden, welche Kombination von Parametern (wie die Masse eines Teilchens oder die Stärke einer Kraft) am besten zu den Beobachtungen passt, die wir im Labor gemacht haben.

Das Problem? Die Mathematik dahinter ist so kompliziert, dass ein normaler Computer dafür Jahre bräuchte, nur um eine einzige Möglichkeit zu prüfen.

Diese Vorlesungsnotizen von Jorge Alda erzählen die Geschichte, wie man Künstliche Intelligenz (KI) als "Stellvertreter" (einen Surrogat) einsetzt, um diese Aufgabe in Sekunden statt Jahren zu erledigen.

Hier ist der Ablauf, Schritt für Schritt:

1. Das Problem: Der endlose Suchlauf 🕵️‍♂️

Normalerweise versucht ein Physiker, das beste Modell zu finden, indem er Millionen von Kombinationen durchprobiert. Er berechnet für jede Kombination, wie gut sie zu den Daten passt (dies nennt man die "Wahrscheinlichkeitsfunktion" oder Likelihood).

• Die Analogie: Stell dir vor, du suchst den höchsten Punkt in einem riesigen, nebligen Bergland. Um zu wissen, wo der Gipfel ist, müsstest du jeden einzelnen Meter ablaufen und messen. Das dauert ewig.

2. Die Lösung: Ein intelligenter Assistent (Active Learning) 🗺️

Anstatt jeden Meter abzulaufen, schicken wir einen KI-Assistenten los. Dieser Assistent lernt aus wenigen Messpunkten und sagt voraus, wo es wahrscheinlich noch bessere Punkte gibt.

• Die Analogie: Der Assistent ist wie ein erfahrener Bergführer. Er sagt: "Hier ist es flach, lass uns nicht weiterlaufen. Aber dort oben, wo der Nebel dichter ist, könnte ein Gipfel sein." Er wählt seine nächsten Schritte klug aus: Er sucht dort, wo er sich unsicher ist (Erkundung), und dort, wo er schon gute Ergebnisse hatte (Ausbeutung).

3. Der Motor: Der "Boosted Decision Tree" (XGBoost) 🌳

Der Assistent nutzt eine spezielle Art von KI, die wie ein riesiger Baum mit vielen Verzweigungen funktioniert.

• Die Analogie: Stell dir einen "20-Fragen-Spiel"-Baum vor. "Ist der Wert größer als 5? Ja/Nein." "Ist er negativ? Ja/Nein." Durch Tausende solcher Fragen kann der Computer eine sehr genaue Vorhersage treffen, ohne die komplizierte Physik-Formel jedes Mal neu berechnen zu müssen. Er lernt einfach die Kurve der Wahrscheinlichkeit auswendig.

4. Nicht nur ein Blackbox: Erklärbarkeit (SHAP) 🔍

Ein großes Problem bei KI ist oft: "Wie kommt sie auf dieses Ergebnis?" Diese Notizen zeigen, wie man die KI "durchleuchtet".

• Die Analogie: Wenn die KI sagt "Das ist der richtige Gipfel", wollen wir wissen: Warum? Hat sie das wegen der Höhe gesagt? Oder wegen der Temperatur? Mit einem Werkzeug namens SHAP (wie ein Detektiv, der die Spuren analysiert) können wir genau sehen, welcher Parameter den größten Einfluss hatte. Es ist, als würde man dem Assistenten auf die Schulter klopfen und fragen: "Welches clue war das Wichtigste?"

5. Der große Test: Das Rätsel von Belle II 🧪

Am Ende wenden die Autoren diese Methode auf ein echtes, kniffliges Rätsel an: Ein seltsames Verhalten von Teilchen im Belle II-Experiment (ein Teilchenbeschleuniger in Japan).

• Das Rätsel: Ein Teilchen (ein B-Meson) zerfällt etwas häufiger, als die Standard-Theorie vorhersagt. Es ist, als würde eine Uhr plötzlich 2,7 Sekunden schneller ticken als erwartet.
• Die Theorie: Vielleicht gibt es ein neues, unsichtbares Teilchen, ein "Axion-ähnliches Teilchen" (ALP), das diesen Zerfall verursacht.
• Die Herausforderung: Dieses neue Teilchen muss sehr schwer zu finden sein (es lebt lange), aber trotzdem den Zerfall beeinflussen. Die Mathematik dafür ist extrem komplex.
• Der Erfolg: Die KI-Methode hat es geschafft, den riesigen Raum aller möglichen Theorien schnell zu durchsuchen und zu zeigen, welche Kombinationen von Kräften und Massen das Rätsel lösen könnten, ohne dass die Computer Jahre lang laufen mussten.

Fazit: Warum ist das wichtig? 🚀

Früher waren Physiker oft durch die Rechenzeit limitiert. Sie konnten nur einfache Modelle testen.
Mit diesen neuen Methoden (KI als Stellvertreter + intelligente Suche + Erklärbarkeit) können wir:

1. Schneller sein (Sekunden statt Jahre).
2. Komplexere Modelle testen.
3. Besser verstehen, was die KI uns sagt (keine Blackbox mehr).

Es ist wie der Wechsel von einem Fahrrad auf ein Hochgeschwindigkeitszug: Wir kommen viel schneller ans Ziel und können unterwegs viel mehr Details beobachten, die uns vorher entgangen wären.

Technische Zusammenfassung

Titel: Vorlesungsnotizen zu Machine-Learning-Anwendungen für globale Fits

1. Problemstellung

In der Hochenergiephysik (HEP) besteht die Hauptaufgabe darin, theoretische Modelle zu erstellen und zu testen, die Beobachtungen beschreiben. Dies geschieht durch globale statistische Fits, bei denen ein konsistenter Satz von Parametern ($\theta$) gefunden wird, der alle verfügbaren experimentellen Daten gleichzeitig beschreibt.

Das zentrale statistische Werkzeug ist die Likelihood-Funktion $L(\theta)$ (oder deren Negativ-Logarithmus $\chi^2(\theta)$). Die Herausforderung liegt in der computationalen Kosten:

• Die Auswertung von Modellvorhersagen (z. B. durch Integration von Renormierungsgruppen-Gleichungen oder komplexe Simulationen) ist oft extrem rechenintensiv.
• Traditionelle Minimierungs- und Scan-Verfahren benötigen Hunderte oder Tausende von Likelihood-Auswertungen, was bei teuren Modellen prohibitiv wird.
• Zudem können die Observablen korreliert und nicht-gaußförmig sein, was die Analyse weiter erschwert.

2. Methodik

Der Autor schlägt einen Workflow vor, der moderne Machine-Learning (ML)-Methoden nutzt, um eine Surrogat-Modellierung der Log-Likelihood-Funktion durchzuführen. Der Ansatz gliedert sich in folgende Schritte:

A. Aktives Lernen (Active Learning) für Datensatzgenerierung

Um ein Trainingsset zu erstellen, das die Likelihood-Funktion effizient abbildet, ohne unnötig viele teure Auswertungen durchzuführen, wird aktives Lernen verwendet.

• Strategie: Ein ML-Algorithmus (hier Gaussian Processes, GP) entscheidet rekursiv, welche neuen Punkte im Parameterraum evaluiert werden sollen.
• Zielkonflikt: Balance zwischen Exploitation (Punkte nahe dem aktuellen Optimum hinzufügen) und Exploration (Punkte in unsicheren Regionen hinzufügen).
• Acquisition-Funktion: Die "Expected Improvement" (EI) wird genutzt, um den nächsten besten Punkt zu wählen.
• Erweiterung: Zusätzliche Punkte werden im konvexen Hüllraum der besten bisherigen Punkte generiert, um den Lernprozess in die richtige Richtung zu lenken.

B. Surrogat-Modellierung mit Boosted Decision Trees (XGBoost)

Anstelle einer direkten Minimierung wird ein Ensemble von Regressionsbäumen (XGBoost) trainiert, um die Log-Likelihood (oder $\chi^2$) als Funktion der Parameter vorherzusagen.

• Vorteile: XGBoost ist schnell, robust gegenüber Rauschen und benötigt weniger Hyperparameter-Tuning als tiefe neuronale Netze.
• Training: Das Modell wird mit einem Verlustfunktion (z. B. mittlerer absoluter Fehler) und Regularisierung trainiert, um Overfitting zu vermeiden.
• Optimierung: Hyperparameter (Anzahl der Bäume, Lernrate, Tiefe, Regularisierung) werden mittels Optuna (Bayessche Optimierung) automatisch angepasst.
• Beschleunigung: Trainierte Modelle können in C-Bibliotheken kompiliert werden (via tl2cgen), was die Evaluierungszeit drastisch reduziert.

C. Interpretierbarkeit (Explainable AI)

Da ML-Modelle oft als "Black Box" gelten, werden SHAP-Werte (SHapley Additive exPlanations) verwendet, um die Vorhersagen zu entschlüsseln.

• Lokale Erklärung: Zeigt den Beitrag jedes Parameters zu einer spezifischen Vorhersage.
• Globale Erklärung: Identifiziert, welche Parameter über den gesamten Parameterraum hinweg am wichtigsten sind.
• Interaktionen: Mit der Bibliothek shapiq können Interaktionen zwischen Parametern (Paare, Tripel) analysiert werden, um physikalische Abhängigkeiten zu verstehen.

D. Posterior-Sampling (MCMC)

Sobald das Surrogat-Modell trainiert ist, wird der Parameterraum mittels Markov-Chain-Monte-Carlo (MCMC) erkundet, um die Posterior-Verteilung $p(\theta|\text{data})$ zu erhalten.

• Algorithmus: Es wird der affininvariant-Ensemble-Sampler emcee verwendet, der auch bei nicht-differenzierbaren Likelihoods (wie XGBoost) funktioniert.
• Ergebnis: Gewinnung von Konfidenzintervallen, Korrelationsmatrizen und Visualisierung der Posterior-Verteilung (z. B. mit corner).

E. Zwei-Stufen-Ansatz für komplexe Szenarien

Für Fälle, in denen große Bereiche des Parameterraums physikalisch unzulässig sind (hoher $\chi^2$), wird ein zweistufiges Modell vorgeschlagen:

1. Ein Klassifikator filtert Punkte mit zu hohem $\chi^2$ (z. B. $\Delta\chi^2 > 10$) heraus.
2. Ein Regressor lernt nur die $\chi^2$-Werte der verbleibenden, physikalisch relevanten Punkte. Dies verhindert, dass das Modell durch "Rauschen" in unwichtigen Regionen dominiert wird.

3. Anwendung: Die $B^\pm \to K^\pm \nu\bar{\nu}$ Anomalie bei Belle II

Als Fallstudie wird die aktuelle Anomalie bei der Zerfallsrate von $B^\pm \to K^\pm \nu\bar{\nu}$ untersucht, die um $2.7\sigma$ über dem Standardmodell (SM) liegt.

• Physikalisches Modell: Die Anomalie wird durch ein leichtes, langlebiges Teilchen, ein Axion-ähnliches Teilchen (ALP), erklärt.
• Herausforderung: Das Modell muss zwei konkurrierende Anforderungen erfüllen:
  1. Eine ausreichend große Kopplung für den Zerfall $b \to s a$ (um den Belle II-Überschuss zu erklären).
  2. Eine lange Lebensdauer des ALP ($c\tau \ge 80$ cm), damit es in den Detektoren nicht zerfällt und die experimentellen Grenzen für andere Zerfälle (wie $B^0 \to K^{*0}\nu\bar{\nu}$) nicht verletzt.
• Parameter: Der Fit umfasst mehrere Kopplungskonstanten ($c_{qL}, c_{uR}, c_{dR}, c_{\ellL}, c_{eR}$) und die Zerfallskonstante $f_a$. Die Renormierungsgruppen-Evolution (RGE) erzeugt Flavour-verletzende Effekte, was die Berechnung rechenintensiv macht (ca. 10 Sekunden pro Punkt).
• Ergebnis der Studie: Der ML-Workflow ermöglicht es, den hochdimensionalen Parameterraum effizient zu durchsuchen. Es wird gezeigt, wie ein zweistufiges ML-Modell die Parameterräume von ALPs effizient erkundet und dabei strenge experimentelle Einschränkungen erfüllt.

4. Wichtige Beiträge und Ergebnisse

• Effizienzsteigerung: Durch den Ersatz teurer numerischer Integrationen durch XGBoost-Surrogate können Tausende von Likelihood-Auswertungen in einem Bruchteil der Zeit durchgeführt werden.
• Robustheit: Der Zwei-Stufen-Ansatz (Klassifikator + Regressor) stellt sicher, dass das Modell sich auf physikalisch sinnvolle Regionen konzentriert.
• Interpretierbarkeit: Die Integration von SHAP-Werten macht die "Black Box" transparent und erlaubt physikalische Einsichten in die Wechselwirkungen der Parameter (z. B. welche Kopplungen die Lebensdauer des ALP dominieren).
• Reproduzierbarkeit: Der Autor stellt einen vollständigen Python-Code-Repository (Jorge-Alda/comcha_tutorial) mit allen notwendigen Bibliotheken (gpflow, xgboost, shap, emcee, alpaca) zur Verfügung.

5. Bedeutung und Ausblick

Diese Vorlesungsnotizen demonstrieren einen Paradigmenwechsel in der HEP: Von rein numerischen Fits hin zu ML-unterstützten Inferenzen.

• Für Modelle mit moderater Dimensionalität ($\lesssim 50$ Parameter) und nicht-differenzierbaren Grenzen (wie sie bei neuen Physik-Suchen häufig vorkommen) ist die Kombination aus XGBoost-Surrogaten und emcee ein hochwirksamer und erklärbarer Standard.
• Zukünftige Entwicklungen könnten differenzierbare Likelihoods (JAX/PyTorch) oder Normalizing Flows einbeziehen, aber für aktuelle Anwendungen bietet der vorgestellte Ansatz den besten Kompromiss aus Geschwindigkeit, Genauigkeit und physikalischer Nachvollziehbarkeit.
• Die Methode ist essenziell, um subtile Signaturen neuer Physik in zunehmend komplexen Datensätzen (wie denen von Belle II oder dem LHC) zu identifizieren.