Physically Consistent Parameter Inference: Transparent Machine Learning Emulation in High Energy Physics and Cosmology

Technisches Resümee: Physikalisch konsistente Parameterinferenz mittels transparentes maschinelles Lernen

Problemstellung
Globale Fits in der Hochenergiephysik (HEP) und Kosmologie stehen häufig vor der Herausforderung, hochdimensionale Parameterräume zu explorieren, die durch hunderte korrelierte Messungen eingeschränkt sind. Die Likelihood-Funktionen in diesen Domänen weisen oft komplexe Topologien auf, einschließlich starker Parameterkorrelationen, Nicht-Gauß-Verhalten, multipler lokaler Minima und verlängerter „gekrümmter“ Entartungen. Darüber hinaus ist die Evaluierung der für diese Likelihoods erforderlichen theoretischen Vorhersagen rechenintensiv und beinhaltet oft Renormierungsgruppen-Evolutionen, numerische Distanzintegrale oder die Berechnung von hunderten Observablen. Traditionelle statistische Ansätze wie die Markov-Chain-Monte-Carlo-Methode (MCMC) oder das Nested Sampling beruhen auf wiederholten Likelihood-Evaluierungen, was eine exhaustive Scans der Parameterräume unpraktikabel oder prohibitiv langsam macht. Es besteht ein kritischer Bedarf an schnellen, interpretierbaren Ersatzmodellen (Surrogate Models), die diese komplexen Likelihood-Landschaften emulieren können, ohne die statistische Strenge oder die physikalische Interpretierbarkeit zu opfern.

Methodik
Die Autoren schlagen ein vereinheitlichttes Framework für maschinelles Lernen (ML) vor, das darauf ausgelegt ist, die Log-Likelihood-Funktion (oder $\chi^2$) mittels XGBoost (eXtreme Gradient Boosting), einem Ensemble aus Gradient-Boosted Regression Trees, zu emulieren. Das Framework integriert drei Kernkomponenten:

1. Konstruktion des Ersatzmodells (Surrogate Construction):

   • Generierung der Trainingsdaten: Der Trainingsdatensatz wird mittels einer hybriden Strategie erstellt. Er kombiniert ein raumfüllendes Design (unter Verwendung von Latin Hypercube Sampling oder Sobol-Sequenzen) über das gesamte Prior-Volumen mit einer dichteren Gaußschen Wolke, die um das Best-Fit-Gebiet konzentriert ist, welches aus der Hesse-Matrix des Fits abgeleitet wurde. Dies gewährleistet die Abdeckung sowohl breiter Parameterbereiche als auch enger, anisotroper Entartungen.
   • Aktives Lernen (Active Learning): In Regionen, in denen die Likelihood spärlich besiedelt ist oder scharfe Strukturen aufweist, verfeinert eine Active-Learning-Schleife den Datensatz. Ein Gauß-Prozess (GP)-Surrogat sagt die Unsicherheit voraus, und eine Akquisitionsfunktion (Expected Improvement) wählt neue Punkte für die exakte Evaluierung aus, wodurch die Stichproben progressiv dort konzentriert werden, wo sie die emulierte Likelihood am effektivsten verbessern.
   • Zieltransformation: Um die enorme Dynamik der $\chi^2$-Werte (von $\sim 10^3$ bis $10^6$) zu handhaben und sicherzustellen, dass das Modell die engen Konfidenzregionen nahe des Minimums auflöst, verwenden die Autoren spezifische Zieltransformationen. Diese beinhalten die direkte Log-Likelihood für Flavor-Fits, eine zweistufige Classifier-plus-Regressor-Strategie unter Verwendung einer Sigmoid-Transformation für axionähnliche Teilchen (ALPs) sowie eine verschobene Log10-Transformation ($y = \log_{10}(\chi^2 - \chi^2_{\min} + 1)$) für die Kosmologie. Diese Verschiebung bildet das Minimum unabhängig vom absoluten $\chi^2$-Wert auf einen konsistenten steilen Bereich der Transformation ab.

2. Interpretierbarkeit via SHAP:

   • Um sicherzustellen, dass die ML-Vorhersagen physikalisch konsistent bleiben, nutzt das Framework SHAP-Werte (Shapley Additive exPlanations). Basierend auf der kooperativen Spieltheorie quantifiziert SHAP den marginalen Beitrag jedes Features (Modellparameters) zur Vorhersage.
   • Der TreeSHAP-Algorithmus wird verwendet, um exakte SHAP-Werte in Polynomialzeit für Tree-Ensembles zu berechnen. Dies liefert ein modellunabhängiges Ranking der Parameterwichtigkeit und offenbart nicht-lineare Abhängigkeiten, wodurch sichergestellt wird, dass das Ersatzmodell die zugrunde liegende Physik erfasst und nicht lediglich numerisches Rauschen.

3. Posterior-Exploration:

   • Das emulierte $\chi^2$ wird mittels eines parallelen Random-Walk Metropolis–Hastings-Algorithmus abgetastet. Die Vorschlagskovarianz wird auf den Cholesky-Faktor der Fit-Kovarianz gesetzt, um die Mischung in korrelierten Räumen zu verbessern.
   • Abschluss-Tests (Closure Tests): Das Framework validiert das Ersatzmodell durch den Vergleich der $\Delta\chi^2$-Verteilung über die akzeptierten Punkte gegen die erwartete $\chi^2$-Verteilung (Wilks-Theorem) und im kosmologischen Fall durch den direkten Vergleich des emulierten Posteriors gegen die exakte Likelihood, die mittels mehrerer unabhängiger Back-Ends (Astropy, CPU, GPU) gesampelt wurde.

Hauptanwendungen und Ergebnisse
Das Framework wird über drei Anwendungen der globalen Fits mit zunehmender Dimensionalität und Komplexität validiert:

1. Flavor-Anomalien in semileptonischen B-Meson-Zerfällen (SMEFT19):

   • Kontext: Analyse von Abweichungen in $b \to c\tau\nu$, $b \to s\nu\bar{\nu}$ und $b \to s\ell^+\ell^-$ Übergängen unter Verwendung des SMEFT19-Frameworks (Szenario III).
   • Leistung: Das XGBoost-Surrogat erreichte einen Pearson-Korrelationskoeffizienten von $r=0.99$ mit der exakten Likelihood.
   • Beschleunigung: Die Evaluierungsgeschwindigkeit erhöhte sich um den Faktor $\sim 10^5$ (von $\sim 3$ Sekunden pro Punkt auf $\sim 34$ Mikrosekunden).
   • Physikalischer Einblick: Das Ersatzmodell reproduzierte erfolgreich das Aufbrechen der $C_1 = C_3$ Entartung und den gekrümmten Grat in der $(C_1, \beta_q)$-Ebene. Die SHAP-Analyse ordnete die Parameter korrekt ein ($C_3 > C_1 > \beta_q$), was konsistent mit der zugrunde liegenden Operatorstruktur ist. Entscheidend war, dass es zeigte, dass die starke Korrelation zwischen $R_D$ und $BR(B^+ \to K^+\nu\bar{\nu})$, die in früheren Szenarien gefunden wurde, verschwindet, wenn $C_1$ und $C_3$ unabhängig variiert werden.

2. Axion-ähnliche Teilchen (ALPs) und die Belle II Anomalie:

   • Kontext: Erklärung des $2.8\sigma$-Exzesses in $B^+ \to K^+\nu\bar{\nu}$ durch ein leichtes ALP ($m_a \approx 2$ GeV). Die Likelihood ist nicht-Gaußsch und diskontinuierlich aufgrund von kinematischen Schwellenwerten und lebensdauerabhängigen Zerfallswahrscheinlichkeiten.
   • Strategie: Ein zweistufiger Ansatz wurde verwendet: ein Klassifikator (Sigmoid-Transformation), um den relevanten Niedrig-$\chi^2$-Bereich zu isolieren, gefolgt von einem Regressor.
   • Leistung: Der Klassifikator erreichte einen AUC von 0.974, und der Regressor erreichte $r=0.929$.
   • Beschleunigung: Die Evaluierungsgeschwindigkeit erhöhte sich um $\sim 5.3 \times 10^5$ (von $\sim 1.9$ Sekunden auf $\sim 3.5$ Mikrosekunden).
   • Physikalischer Einblick: SHAP identifizierte die ALP-Masse ($m_a$) als den kritischsten Parameter, gefolgt von der PQ-Ladung der dritten Generation der linkshändigen Quarks ($X^3_{qL}$) und der Zerfallskonstante ($f_a$). Das Posterior favorisierte korrekt $m_a \approx 1.8$ GeV und $f_a \in [10^6, 10^7]$ GeV.

3. Kosmologie ($\Lambda$CDM und $w_0w_a$CDM):

   • Kontext: Fitting von Typ Ia Supernovae (Pantheon+, DES), Baryonischen Akustischen Oszillationen (DESI) und einem komprimierten CMB-Prior zur Eingrenzung von Dunkler-Energie-Parametern ($w_0, w_a$).
   • Validierung: Da die exakte kosmologische Likelihood günstig genug ist, um direkt gesampelt zu werden, führten die Autoren MCMC auf der exakten Likelihood unter Verwendung von vier verschiedenen Back-Ends (Astropy, CPU, GPU und das ML-Surrogat) durch und bestätigten, dass die Posteriors statistisch ununterscheidbar sind.
   • Beschleunigung: Das Ersatzmodell war $3.6$–$22.4\times$ schneller als die vektorisierte CPU-Implementierung und $7.2$–$12.1\times$ schneller als der GPU-Kernel.
   • Physikalischer Einblick: Das Ersatzmodell erfasste die Präferenz für dynamische Dunkle Energie ($w_0 > -1, w_a < 0$) in den Supernova+BAO-Daten und die Rückkehr zu $\Lambda$CDM bei Hinzufügen des CMB-Priors. Die SHAP-Analyse identifizierte korrekt die Hierarchie der Constraints: Ohne CMB dominierten Hintergrundparameter ($H_0, \Omega_m$); mit CMB wurden die Dunkle-Energie-Parameter ($w_0, w_a$) am stärksten eingeschränkt, was die physikalische Verschärfung der Konturen widerspiegelt.

Bedeutung und Ansprüche
Das Paper behauptet, ein generales, interpretierbares und physikalisch konsistentes Framework für die Likelihood-basierte Inferenz zu präsentieren. Seine primäre Bedeutung liegt in dem Nachweis, dass:

• Effizienz: ML-Surrogate die Exploration des Parameterraums um mehrere Größenordnungen (bis zu $10^5$) beschleunigen können, während sie eine hohe Genauigkeit beibehalten.
• Robustheit: Die Methode handhabt diverse Likelihood-Topologien, von glatten Gaußschen Oberflächen bis hin zu nicht-Gaußschen, diskontinuierlichen und hochstrukturierten Landschaften, durch adaptive Trainingsdesigns und Zieltransformationen.
• Transparenz: Durch die Integration von SHAP-Werten vermeidet das Framework die „Black Box“-Natur typischer ML-Modelle und stellt sicher, dass die abgeleiteten Parameterhierarchien und Korrelationen physikalisch interpretierbar und konsistent mit der zugrunde liegenden Theorie sind.
• Validierung: Die kosmologische Anwendung dient als kontrollierter Benchmark und beweist, dass die Beschleunigung nicht zu Lasten der statistischen Genauigkeit geht, da die emulierten Posteriors mit den aus exakten Berechnungen abgeleiteten Verteilungen ununterscheidbar sind.

Die Autoren kommen zu dem Schluss, dass dieses Framework leicht auf andere globale Fit-Probleme übertragbar ist und eine Grundlage für zukünftige Entwicklungen im Bereich des automatisierten aktiven Lernens und differentieller Emulatoren bietet.