Amplitude Uncertainties Everywhere All at Once

Die Arbeit stellt Methoden zur Quantifizierung von Amplitudenunsicherheiten für die LHC-Ereignisgenerierung vor, indem sie Ensemble-Methoden, evidenzbasierte Regression und Bayes'sche Netze nutzt, um systematische Fehler und numerisches Rauschen in Trainingsdaten zu identifizieren und zu kalibrieren.

Das Wesentliche

🎯 Das große Ziel: Der perfekte Vorhersage-Kochbuch-Trick

Stellen Sie sich vor, Physiker am Large Hadron Collider (LHC) sind wie Köche, die versuchen, das perfekte Rezept für die Entstehung von Teilchen zu finden. Wenn zwei Teilchen kollidieren, passiert eine unglaublich komplexe Sache. Um zu verstehen, ob da etwas Neues (neue Physik) passiert, müssen die Köche genau wissen, wie das „normale" Essen schmecken sollte.

Das Problem: Die Berechnung dieses „normalen Geschmacks" (der theoretischen Vorhersage) dauert so lange, als würde man jeden einzelnen Kochschritt mit einem Lineal messen. Das ist viel zu langsam für die riesigen Datenmengen, die der LHC produziert.

Die Lösung: Man trainiert einen künstlichen Intelligenz-Assistenten (eine KI), der das Rezept auswendig gelernt hat und die Berechnung in einem Wimpernschlag macht. Das nennt man einen „Surrogat-Modell".

Aber hier ist das große „Aber":
Ein KI-Assistent ist wie ein sehr guter Schüler. Wenn er eine Aufgabe löst, sollte er nicht nur das Ergebnis nennen, sondern auch sagen: „Ich bin mir zu 99 % sicher" oder „Hier bin ich unsicher, weil ich das noch nie gesehen habe."
Wenn die KI sich zu sicher ist, wo sie es nicht ist, können die Physiker neue Entdeckungen übersehen oder falsche Schlüsse ziehen.

Diese Arbeit untersucht also: Wie können wir den KI-Assistenten dazu bringen, seine Unsicherheiten ehrlich und genau anzugeben?

---

🎲 Die drei Methoden: Wie misst man das „Zittern" der KI?

Die Autoren testen drei verschiedene Wege, um diese Unsicherheit zu messen. Man kann sich das wie drei verschiedene Arten vorstellen, wie ein Orchester probt, um sicherzustellen, dass alle Instrumente im Takt sind.

1. Der „Reizende Chor" (Repulsive Ensembles)

Stellen Sie sich vor, Sie haben 100 identische KI-Modelle. Normalerweise würden sie alle genau das Gleiche sagen. Aber hier zwingt man sie, sich leicht zu streiten (das ist der „reizende" Teil).

• Die Metapher: Ein Chor, bei dem jeder Sänger eine winzige andere Note singen darf. Wenn alle Sänger fast die gleiche Note treffen, ist das Lied sicher. Wenn sie aber in einer bestimmten Passage wild durcheinander singen, weiß der Dirigent (der Physiker): „Achtung, hier sind wir unsicher!"
• Das Ergebnis: Diese Methode ist sehr gut darin, Unsicherheiten zu finden. Aber sie hat einen Haken: Wenn die Sänger (die KIs) alle ein bisschen falsch singen (ein systematischer Fehler), hilft das Streiten nicht. Der Chor bleibt trotzdem falsch, auch wenn er laut ist.

2. Der „Selbstbewusste Prophet" (Evidential Regression)

Hier gibt es nur einen einzigen KI-Assistenten. Aber dieser ist besonders: Er lernt nicht nur die Antwort, sondern auch, wie viel Vertrauen er in seine Antwort hat.

• Die Metapher: Ein Wettervorhersage-Experte, der nicht nur sagt „Es regnet", sondern auch sofort hinzufügt: „Ich habe 90 % Sicherheit, weil meine Daten gut sind" oder „Ich bin unsicher, weil ich hier noch nie gemessen habe." Er muss nicht 100 Kollegen fragen, er weiß es aus sich selbst heraus.
• Das Ergebnis: Das ist viel schneller als der Chor. Es funktioniert fast genauso gut, ist aber effizienter. Allerdings muss man dem Propheten manchmal einen kleinen Ratschlag geben, damit er nicht zu selbstverliebt wird.

3. Der „Bayesianische Detektiv" (Bayesian Neural Networks)

Das ist eine klassische Methode, die wie ein Detektiv arbeitet, der alle möglichen Szenarien durchspielt, um die Wahrscheinlichkeit zu berechnen. Sie dient hier als Vergleichsmaßstab.

---

🕵️‍♂️ Die Prüfungen: Wo hakt es?

Die Autoren haben ihre KIs mit drei speziellen „Tricks" getestet, um zu sehen, ob sie wirklich merken, wenn etwas schiefgeht.

Test 1: Das „Rauschen" (Lärm im Daten)

Man mischte absichtlich Lärm in die Trainingsdaten, aber nur in einem kleinen Bereich (wie ein Kratzen auf einer Schallplatte an einer bestimmten Stelle).

• Was passierte? Alle drei Methoden merkten: „Hey, hier ist etwas komisch!" Sie erhöhten ihre Unsicherheitsanzeige genau an der Stelle, wo der Lärm war. Das ist super! Die KI weiß also, wo sie nicht trauen soll.

Test 2: Die „Lücke" (Fehlende Daten)

Man entfernte komplett alle Daten aus einem bestimmten Bereich (wie ein Loch in der Landkarte).

• Was passierte? Die KIs mussten raten.
  • Der Chor (Ensemble) und der Detektiv (BNN) sagten: „Hier ist es dunkel, wir sind unsicher!" und erhöhten ihre Unsicherheitsanzeige genau in der Lücke.
  • Der Prophet (Evidential Regression) war hier etwas verwirrt und zeigte überall die gleiche Unsicherheit an, statt genau auf die Lücke zu reagieren.

Test 3: Der „Fehler im System" (Bias)

Man gab den KIs eine Aufgabe, bei der sie systematisch einen kleinen Fehler machten (z. B. immer 1 % zu hoch rechnen), weil sie nicht stark genug waren.

• Das Problem: Der Chor (Ensemble) dachte, er sei sicher, weil alle 100 Sänger gleich falsch sangen. Sie waren sich einig, aber alle falsch!
• Die Lösung: Die Autoren entwickelten einen neuen Trick, bei dem man dem Chor eine extra „Fehler-Korrektur" beibringt. So kann die KI auch dann ihre Unsicherheit korrekt angeben, wenn sie systematisch danebenliegt.

---

💡 Das Fazit: Was lernen wir daraus?

Diese Arbeit ist wie ein Leitfaden für den Bau von perfekten KI-Assistenten für die Teilchenphysik.

1. Unsicherheit ist wichtig: Eine KI, die nur die Antwort sagt, ist gefährlich. Eine KI, die sagt „Ich bin mir unsicher", ist wertvoll.
2. Keine Methode ist perfekt:
   • Der Chor (Ensemble) ist sehr genau und findet Fehler gut, kostet aber viel Rechenzeit (man muss 100 KIs trainieren).
   • Der Prophet (Evidential Regression) ist super schnell und effizient, braucht aber manchmal Hilfe, um bei großen Datenlücken genau zu sein.
3. Die Zukunft: Für die nächsten großen Experimente am LHC brauchen wir eine Mischung aus Geschwindigkeit und Präzision. Die Autoren haben gezeigt, wie man diese KIs „zähmt", damit sie nicht nur schnell rechnen, sondern auch ehrlich über ihre Grenzen sprechen.

Kurz gesagt: Wir haben gelernt, wie man KI-Modelle baut, die nicht nur „wissen", sondern auch wissen, was sie nicht wissen. Das ist der Schlüssel, um in der Teilchenphysik wirklich neue Entdeckungen zu machen, ohne sich in falschen Zahlen zu verlieren.

Technische Zusammenfassung

Titel: Amplitude Uncertainties Everywhere All at Once

Autoren: Henning Bahl, Nina Elmer, Tilman Plehn, Ramon Winterhalder
Veröffentlichung: SciPost Physics (Eingereicht am 16. März 2026)

---

1. Problemstellung

Für die zukünftige Ereignisgenerierung am Large Hadron Collider (LHC) und insbesondere für den High-Luminosity LHC (HL-LHC) sind ultraschnelle, präzise und kontrollierte Surrogate für Streuamplituden unerlässlich. Während neuronale Netze (ML) bereits erfolgreich eingesetzt werden, um komplexe Amplituden zu approximieren, ist die zuverlässige Quantifizierung der Unsicherheiten eine kritische Herausforderung.
Das Hauptproblem besteht darin, dass herkömmliche ML-Modelle oft nur den Mittelwert der Amplitude vorhersagen, aber keine gut kalibrierten lokalen Unsicherheitsabschätzungen liefern. Dies ist jedoch entscheidend, um zu rechtfertigen, ob ML-Surrogate traditionelle Berechnungen ersetzen können. Besonders problematisch sind:

• Systematische Verzerrungen (Bias): Die Modelle können in bestimmten Phasenraumregionen systematisch falsch liegen.
• Lokalisierte Störungen: Numerisches Rauschen oder Lücken in den Trainingsdaten (z. B. nahe physikalischer Schwellenwerte) müssen erkannt und durch die Unsicherheitsabschätzung abgedeckt werden.
• Kalibrierung: Die Trennung zwischen statistischer Unsicherheit (durch das Training/Modell) und systematischer Unsicherheit (durch Datenrauschen oder Modellfehler) ist oft unklar.

2. Methodik

Die Autoren untersuchen drei probabilistische Ansätze zur Amplitudenregression und vergleichen deren Fähigkeit, Unsicherheiten zu lernen und zu kalibrieren:

1. Repulsive Ensembles (RE): Ein Ensemble von neuronalen Netzen, die durch einen "repulsiven" Term in der Verlustfunktion dazu gebracht werden, unterschiedliche Parameterkonfigurationen zu lernen, anstatt in dasselbe Minimum zu kollabieren. Dies approximiert die Posterior-Verteilung der Gewichte.
2. Evidential Regression (ER): Ein sampling-freier Ansatz, bei dem das Netzwerk keine Gewichte, sondern die Hyperparameter einer Verteilung über die Vorhersage (hier eine Normal-Inverse-Gamma-Verteilung) lernt. Dies erlaubt die direkte Extraktion von systematischen und statistischen Unsicherheiten in einem einzigen Vorwärtspass.
3. Bayesian Neural Networks (BNN): Dienen als Benchmark, nutzen jedoch Variational Inference zur Posterior-Schätzung.

Technische Details:

• Datensatz: Loop-induzierte quadrierte Amplitude für den Prozess $gg \to \gamma\gamma g$.
• Verlustfunktionen: Untersuchung von heteroskedastischen Verlusten (Gauß-Annahme), natürlicher Parametrisierung (zur Stabilisierung des Trainings) und Gaußschen Mischmodellen (GMM).
• Unsicherheitsmetriken: Verwendung von "Pulls" ($t = (A_{NN} - A_{true}) / \sigma$), um die Kalibrierung zu prüfen (ein gut kalibriertes Modell sollte einen Pull mit einer Standardnormalverteilung $N(0,1)$ erzeugen).

3. Wichtige Beiträge und Ergebnisse

A. Analyse von Repulsive Ensembles

• Einfluss des repulsiven Kerns: Der repulsive Parameter $\beta$ hat nur bei sehr kleinen Trainingsdatensätzen einen signifikanten Einfluss auf die Unsicherheit. Bei ausreichend großen Datensätzen (>10% der Daten) ist der Effekt vernachlässigbar.
• Bias als Limitierung: Ensembles können die Vorhersagegenauigkeit verbessern, indem sie das Rauschen reduzieren, aber sie können systematische Verzerrungen (Bias) nicht beheben. Wenn ein einzelnes Netz aufgrund begrenzter Ausdruckskraft (Expressivity) verzerrt ist, sind alle Ensemble-Mitglieder verzerrt, und der Mittelwert bleibt verzerrt.
• Kalibrierung der systematischen Unsicherheit: Die naive Mittelung der Unsicherheiten der Ensemble-Mitglieder führt zu einer Fehlkalibrierung, wenn der Bias dominiert. Die Autoren schlagen vor, eine global gelernte systematische Unsicherheit für den Ensemble-Mittelwert zu trainieren (zweiter Schritt oder kombinierte Verlustfunktion). Dies führt zu gut kalibrierten Unsicherheiten, solange der Bias klein ist. Bei großen Ensembles zeigen sich jedoch Peaks im Pull-Verlauf ($\pm 1$), was auf nicht-gaußsche Bias-Effekte hinweist, die vom Gauß-Modell nicht erfasst werden.

B. Evidential Regression

• Effizienz: ER ist rechnerisch effizienter als Ensembles, da kein Sampling über Gewichte erforderlich ist.
• Leistung: Auf sauberen Daten liefert ER Ergebnisse, die mit RE und BNN vergleichbar sind.
• Regularisierung: Die Autoren vergleichen zwei Methoden zur Aufhebung der Entartung der evidentiellen Parameter: eine zusätzliche Regularisierungsverlustfunktion vs. eine feste Beziehung zwischen den Parametern ($2\alpha = \nu$). Die feste Beziehung ($2\alpha = \nu$) liefert bessere Ergebnisse und stabilere Unsicherheiten.

C. Lokalisierte Lernherausforderungen

Die Autoren testen die Methoden in Szenarien, die numerische Instabilitäten oder Datenlücken simulieren:

1. Flache Box-Smearing (Gaußsches Rauschen in einem Invariantmassen-Bereich):

   • Sowohl RE als auch ER und BNN können den Bereich mit erhöhtem Rauschen identifizieren.
   • RE folgt der erwarteten Form der systematischen Unsicherheit am genauesten.
   • ER und BNN zeigen eine bessere Kalibrierung der Pulls.

2. Gespitzte Schwellen-Smearing (Rauschen nimmt nahe der Schwelle zu):

   • Alle Methoden können das Rauschen erkennen.
   • RE und BNN performen hier leicht besser als ER, insbesondere bei der Erfassung des steilen Anstiegs des Rauschens nahe der Schwelle.
   • Die Netzwerke zeigen starke Interpolationsfähigkeiten: Sie können auch in verrauschten Regionen präzise Vorhersagen treffen, indem sie Informationen aus den sauberen Nachbarregionen nutzen.

3. Schwellen-Lücke (Fehlende Trainingsdaten in einem Bereich):

   • Trotz des Fehlens von Trainingsdaten in einem Bereich ($|m_{\gamma\gamma g} - m_{thresh}| < 40$ GeV) liefern die Modelle akkurate Vorhersagen (da die Amplitude dort flach ist).
   • Unterschied im Unsicherheitsverhalten:
     • RE: Zeigt eine lokalisierte Erhöhung der statistischen Unsicherheit genau im Lückenbereich.
     • BNN: Zeigt eine Erhöhung der statistischen Unsicherheit, die sich über den gesamten Invariantmassenbereich erstreckt (globaler Effekt).
     • ER: Liefert flache Unsicherheitsverläufe und erkennt die Lücke weniger spezifisch.
   • Beide Methoden (RE und BNN) vermischen statistische und systematische Unsicherheiten in der Lücke, was zeigt, dass eine perfekte Trennung schwierig ist.

4. Signifikanz und Fazit

Dieser Beitrag erweitert das Werkzeugset für ML-basierte Amplitudensurrogate im Bereich der Hochenergiephysik:

• Verständnis von Bias: Es wird klar gezeigt, dass Ensembles zwar statistisches Rauschen reduzieren, aber keine systematischen Modellfehler (Bias) korrigieren. Eine separate Kalibrierung der systematischen Unsicherheit ist notwendig.
• Methodenvergleich:
  • Repulsive Ensembles sind robuster bei der Erfassung lokaler Unsicherheiten und der Unterscheidung zwischen Datenlücken und Rauschen, haben aber höhere Rechenkosten.
  • Evidential Regression ist effizienter und liefert in vielen Szenarien gut kalibrierte Unsicherheiten, hat aber Schwierigkeiten, komplexe lokale Strukturen (wie scharfe Lücken oder stark nicht-gaußsche Bias) präzise zu modellieren.
• Zukunftsausblick: Die Ergebnisse unterstreichen die Notwendigkeit von gut kalibrierten Unsicherheiten, um ML-Surrogate sicher in experimentelle Analysen zu integrieren. Für die nächste Generation von Monte-Carlo-Generatoren sind hybride Ansätze oder verbesserte Likelihood-Formulierungen (jenseits der reinen Gauß-Annahme) erforderlich, um nicht-gaußsche systematische Fehler zu erfassen.

Zusammenfassend demonstrieren die Autoren, dass ML-basierte Amplitudenregression nicht nur präzise Vorhersagen, sondern auch verlässliche Unsicherheitsquantifizierung liefern kann, wenn die richtigen Methoden (Ensembles vs. Evidential) und Kalibrierungstechniken für das spezifische Problem (Rauschen vs. Datenlücken) gewählt werden.