Under-coverage in high-statistics counting experiments with finite MC samples

Diese Arbeit zeigt, dass selbst in statistisch hoch belastbaren Zähl-Experimenten endliche Monte-Carlo-Stichprobengrößen, die zur Modellierung systematischer Unsicherheiten verwendet werden, dazu führen, dass die Standard-Asymptotik-Approximationen für Profile-Likelihood-Ratio-Konfidenzintervalle versagen, was eine systematische Unterdeckung zur Folge hat.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Wie oft ist ein bestimmtes Ereignis eingetreten? (Sagen wir zum Beispiel, wie oft ein seltenes Teilchen in einem riesigen Collider erzeugt wurde).

Um dies zu lösen, haben Sie zwei Werkzeuge:

1. Echte Beweise: Ein riesiger Haufen an Daten, die tatsächlich aus dem Experiment gesammelt wurden (die „Daten“).
2. Theoretische Karte: Eine Computersimulation, die vorhersagt, wie die Daten aussehen s sollten, wenn Ihre Theorie korrekt ist (die „Monte Carlo“ oder MC).

Normalerweise gehen Wissenschaftler davon aus, dass, wenn sie sehr viele Daten und sehr viel Simulation haben, ihre Mathematik perfekt sein wird. Sie verwenden ein Standard-„Lineal“ (genannt das Profil-Likelihood-Verhältnis), um ein Konfidenzintervall zu zeichnen – einen Bereich, in dem sie sich zu 68 % sicher sind, dass der wahre Wert liegt.

Die große Entdeckung des Papers:
Die Autoren dieses Papers haben herausgefunden, dass selbst wenn Sie massive Mengen an Daten und Simulationen haben, dieses Standard-„Lineal“ tatsächlich kaputt ist. Es liefert Ihnen einen Bereich, der zu schmal ist. Es gibt Ihnen das Gefühl, vertrauensvoller zu sein, als Sie es eigentlich sein sollten. In der Statistik nennt man das Unterdeckung (Under-coverage). Es ist so, als würde ein Wetterprognostiker sagen, es gäbe eine 99-prozentige Chance auf Sonnenschein, aber es regnet trotzdem.

Hier ist die Aufschlüsselung, warum das passiert, unter Verwendung einfacher Analogien:

1. Das Problem der „unscharfen Karte“

Stellen Sie sich vor, Ihre „theoretische Karte“ (die Simulation) ist kein perfektes, hochauflösendes Foto. Da Computer keine unendlichen Simulationen durchführen können, besteht die Karte aus einer endlichen Anzahl von Pixeln. Diese Pixel haben ein wenig „Rauschen“ oder „Statik“ (statistische Fluktuationen).

• Die alte Annahme: Wissenschaftler dachten: „Wenn wir genug echte Daten haben, spielt das Rauschen in unserer Karte keine Rolle mehr.“
• Die Realität: Das Paper zeigt, dass das Rauschen in der Karte mit dem Rauschen in den echten Daten auf eine tückische Weise interagiert. Es ist, als würde man versuchen, die Länge eines Tisches mit einem Lineal zu messen, das leicht wackelig ist. Selbst wenn man den Tisch eine Million Mal misst, wenn das Lineal selbst instabil ist, wird die endgültige Messung falsch sein.

2. Die „Seiltakt“-Analogie

Das Paper verwendet ein Spielzeugmodell, um dies zu erklären. Stellen Sie sich vor, Sie versuchen, zwei Gewichte auf einem Seil zu balancieren:

• Gewicht A: Das Signal (das seltene Teilchen, das Sie finden wollen).
• Gewicht B: Der Hintergrund (gemeinsames Rauschen, das wie das Signal aussieht).

Diese beiden Gewichte sind hochgradig korreliert. Wenn man eines bewegt, muss sich auch das andere bewegen, um das Gleichgewicht zu halten. Die Mathematik wird hier sehr sensibel.

Da die „Karte“ (Simulation) Rauschen aufweist, wird die Berechnung der Wissenschaftler darüber, wie sensibel das Gleichgewicht ist, künstlich scharf. Die Mathematik denkt: „Oh, ich weiß genau, wo der Gleichgewichtspunkt liegt!“ Aber es ist eigentlich nur eine Illusion, die durch das Rauschen in der Karte verursacht wird. Dies führt dazu, dass sich das berechnete „Konfidenzintervall“ (die Sicherheitszone) zu stark zusammenzieht.

3. Warum „mehr Daten“ das Problem nicht immer lösen

Man könnte denken: „Wenn ich einfach mehr Simulationsdaten bekomme, wird die Karte perfekt und das Problem verschwindet.“

• Das Paper sagt: Ja, schließlich, wenn Sie enorme Mengen an Simulationsdaten haben (viel mehr als die echten Daten), verschwindet das Problem.
• Der Haken: In der realen Physik (wie am Large Hadron Collider) ist es oft zu teuer oder dauert zu lange, diese Menge an Simulationsdaten zu erhalten. Also sind Wissenschaftler auf „unscharfe Karten“ angewiesen.

4. Die „kaputten Lineal“-Tests

Die Autoren haben viele verschiedene Wege getestet, um die Mathematik zu korrigieren:

• Standardmethoden: Scheiterten (zu schmal).
• Komplexe „Feldman-Cousins-Methoden“: Dies sind rigorosere statistische Werkzeuge, die nicht auf der Annahme des „perfekten Lineals“ basieren. Die Autoren haben sie ausprobiert, aber sie scheiterten ebenfalls daran, die korrekte Abdeckung zu liefern, wenn die Simulation Rauschen aufwies. Das Rauschen in der Karte hat selbst diese fortgeschrittenen Werkzeuge durcheinandergebracht.

5. Die vorgeschlagene „heuristische“ Lösung

Da die perfekte mathematische Lösung für reale Probleme zu schwer zu berechnen ist, schlagen die Autoren einen praktischen Hack (eine Heuristik) vor.

Denken Sie an Folgendes:

1. Berechnen Sie die Unsicherheit mit dem Standard-„wackeligen Lineal“ (welches zu klein ist).
2. Berechnen Sie, wie groß die Unsicherheit wäre, wenn die Karte perfekt wäre (unter Verwendung einer spezifischen Formel).
3. Mischen Sie beide zusammen mithilfe eines speziellen Rezepts (Gleichung 26 im Paper).

Diese „gemischte“ Unsicherheit ist breiter und ehrlicher. Sie fungiert als Sicherheitsnetz und stellt sicher, dass, wenn Wissenschaftler sagen, sie seien zu 68 % sicher, sie dies auch tatsächlich sind, selbst mit einer verrauschten Simulation.

Zusammenfassung

• Das Problem: In hochkarätigen Physik-Experimenten führt die Verwendung endlicher Computersimulationen zur Modellierung von Daten dazu, dass Standard-Statistikmethoden überoptimistisch sind. Sie behaupten, die Antwort besser zu kennen, als sie es tatsächlich tun.
• Die Ursache: Das „Rauschen“ in der Computersimulation interagiert mit den Daten auf eine Weise, die die Mathematik austrickst, sodass sie glaubt, die Antwort sei präziser, als sie ist.
• Die Lösung: Vertrauen Sie der Standard-Mathematik nicht blind. Verwenden Sie eine neue, praktische Formel, die verschiedene Arten von Unsicherheitsschätzungen kombiniert, um die Sicherheitszone zu verbreitern und die korrekte Abdeckung zu erreichen.

Das Paper warnt Physiker im Wesentlichen: „Nur weil Sie viele Daten haben, bedeutet das nicht, dass Ihre Mathematik asymptotisch (perfekt) ist. Wenn Ihre Computersimulationen endlich sind, sind Ihre Konfidenzintervalle wahrscheinlich zu eng, und Sie müssen dies berücksichtigen.“

Technische Zusammenfassung

Technische Zusammenfassung: Unterdeckung in hochstatistischen Zähl-Experimenten mit endlichen MC-Stichproben

Problemstellung
Diese Arbeit befasst sich mit der Problematik der Bestimmung von Konfidenzintervallen (CI) für einen Parameter von Interesse (POI) in hochstatistischen, binned Zähl-Experimenten, bei denen das physikalische Modell aus endlichen Monte-Carlo-Simulations-Stichproben (MC) abgeleitet wird. Während die Standard-Statistik-Inferenz in der Teilchenphysik oft auf den asymptotischen Eigenschaften von Maximum-Likelihood-Schätzern (MLE) beruht – insbesondere dem Wilks-Theorem für das Profil-Likelihood-Verhältnis (PLR) und der Hessian-Matrix für Unsicherheiten – untersucht diese Arbeit, ob diese Approximationen gültig bleiben, wenn die MC-Stichproben endlich sind, selbst wenn sowohl die Daten- als auch die Simulationsereigniszahlen groß sind.

Das identifizierte Kernproblem ist die systematische Unterdeckung: Konfidenzintervalle, die mit Standard-Asymptotik-Methoden (z. B. Hessian-Unsicherheiten oder PLR basierend auf dem Wilks-Theorem) konstruiert wurden, enthalten den wahren Parameterwert nicht auf dem behaupteten Konfidenzniveau (z. B. 68,3 %). Dies geschieht trotz der Anwesenheit von Störparametern (Nuisance Parameters, NPs), die systematische Unsicherheiten und endliche MC-Statistiken modellieren – ein Szenario, das bei Präzisionsmessungen wie der Bestimmung der W-Boson-Masse am LHC häufig vorkommt.

Methodik
Die Autoren verwenden einen zweigleisigen Ansatz: eine detaillierte numerische Studie unter Verwendung eines „paradigmatischen Toy-Modells“ und eine allgemeine analytische Herleitung.

1. Toy-Modell:

   • Ein hypothetisches Experiment wird konstruiert, mit $n$ Histogramm-Bins, großen Ereigniszahlen pro Bin ($y_i \gg 1$) und einem Modell, das Signal- und Hintergrundprozesse beschreibt.
   • Die Modellparameter umfassen einen POI ($\mu$) und einen Störparameter ($\theta$).
   • Entscheidend ist, dass die erwarteten Ereigniszahlen nicht analytisch bekannt sind, sondern durch endliche MC-Stichproben ($t_{ji}$) vorhergesagt werden, was statistische Fluktuationen einführt.
   • Die Studie vergleicht verschiedene Methoden zur CI-Bestimmung:
     • Asymptotische Methoden: Hessian-Unsicherheit und PLR basierend auf der Barlow-Beeston (BB)-Likelihood (vollständige und „Lite“-Versionen).
     • Nicht-asymptotische Methoden: Profiled Feldman-Cousins (FC), Simplified FC, Cousins-Highlands (CH) und Bartlett-korrigiertes PLR.
   • Die Abdeckung (Coverage) wird durch Generierung von $10^4$ Pseudo-Experimenten evaluiert, wobei geprüft wird, welcher Anteil der Fälle, in denen der wahre Parameter innerhalb des berechneten Intervalls liegt.

2. Allgemeiner analytischer Rahmen:

   • Die Autoren leiten das Verhalten des Profil-Likelihood-Verhältnisses in der Gaußschen Approximation für große Ereigniszahlen her.
   • Sie behandeln die statistischen Fluktuationen der MC-Templates als Perturbationen zur Jacobi-Matrix der Modellfunktion bezüglich des POI und der Störparameter.
   • Unter Verwendung einer perturbativen Expansion analysieren sie den durch die endliche Größe der MC-Stichproben induzierten Bias in die quadratische Form $S$ (die mit der inversen Varianz des Schätzers zusammenhängt).

Wichtigste Ergebnisse

• Zusammenbruch der Asymptotik: Selbst bei großen Ereigniszahlen pro Bin ($y_i \sim 10^4$) und MC-Stichproben, die vergleichbar groß oder größer als die Daten sind, zeigen Standard-Asymptotik-Methoden (Hessian und PLR) eine signifikante Unterdeckung. Die Barlow-Beeston „Lite“-Approximation, welche die MC-Unsicherheit als einfache Reskalierung der Datenvarianz behandelt, kann die korrekte Abdeckung nicht wiederherstellen.
• Versagen nicht-asymptotischer Alternativen: Methoden, die nicht auf dem Wilks-Theorem beruhen, wie der Profiled Feldman-Cousins-Ansatz, leiden ebenfalls unter Unterdeckung. Die Autoren führen dies auf die Schwierigkeit zurück, Störparameter (speziell jene im Zusammenhang mit MC-Fluktuationen) bei der Konstruktion der Akzeptanzregion zu handhaben.
• Quelle des Bias: Die analytische Studie zeigt, dass die statistischen Fluktuationen der MC-Templates einen positiven Bias in die geschätzte inverse Varianz ($\hat{S}$) induzieren.
  • Dieser Bias entsteht durch Fluktuationen in den Komponenten der Jacobi-Matrix ($A$ und $b$).
  • Der Bias ist besonders schwerwiegend, wenn der POI stark mit Störparametern korreliert ist (hoher globaler Korrelationskoeffizient $\rho_\mu$).
  • Der Bias-Term ist nicht einfach proportional zu $1/k$ (wobei $k$ das MC-zu-Daten-Verhältnis ist), was erklärt, warum einfache Reskalierungsmethoden (wie BB-lite) unzureichend sind.
• Wiederherstellungsbedingungen: Eine korrekte Abdeckung wird nur im Grenzfall wiederhergestellt, in dem die statistische Power der MC-Stichprobe im Vergleich zu den Daten extrem groß ist (z. B. $k \approx 40$ im Toy-Modell) oder wenn die Anzahl der Bins signifikant reduziert wird.
• Heuristische Lösung: Die Autoren schlagen ein heuristisches Konfidenzintervall (Gl. 25) vor, das die Hessian-Unsicherheit aus der vollständigen Barlow-Beeston-Likelihood mit der asymptotischen Unsicherheit unendlicher MC-Statistiken kombiniert. Dieses heuristische Intervall zeigt Abdeckungseigenschaften, die dem idealen Feldman-Cousins-Konstrukt über verschiedene Modellkonfigurationen hinweg sehr viel näher kommen.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Gültigkeit asymptotischer Approximationen (Wilks-Theorem) in binned Profile-Likelihood-Analysen nicht allein aufgrund der absoluten Anzahl von Ereignissen in den Daten- oder Simulations-Bins angenommen werden kann.

• Systematische Unterdeckung: Die Autoren demonstrieren, dass endliche MC-Statistiken einen systematischen Bias induzieren, der zu einer Unterdeckung führt – ein Problem, das auch in Hochstatistik-Regimen relevant für aktuelle LHC-Analysen fortbesteht.
• Limitierungen Standard-Korrekturen: Populäre Approximationen wie die Barlow-Beeston „Lite“-Methode werden als unzureichend dargestellt, um diese Unterdeckung zu korrigieren, da der Bias-Mechanismus komplexer ist als eine einfache Varianz-Reskalierung.
• Praktische Tests: Das Papier schlägt praktische Tests für Experimentalisten vor:
  1. Skalierungstest: Schätzung der asymptotischen Unsicherheit $\bar{\sigma}_H$ durch Analyse der Skalierung der Hessian-Unsicherheit mit der Größe der MC-Stichprobe (Gl. 48). Ein signifikanter Unterschied zwischen der endlichen Stichproben-Unsicherheit und der extrapolierten unendlichen Stichproben-Unsicherheit signalisiert das Vorhandensein parasitärer Constraints.
  2. Lite vs. Full Vergleich: Vergleich der Unsicherheit aus der BB-lite Methode gegen die analytische Vorhersage für die vollständige BB-Methode (Gl. 50), um zu verifizieren, ob die Lite-Approximation angemessen ist.

Die Autoren kommen zu dem Schluss, dass die vollständige Barlow-Beeston-Methode zwar der theoretisch korrekte Ansatz für endliche MC-Stichproben ist, ihre Implementierung jedoch oft rechenintensiv ist. Daher müssen Forscher das asymptotische Regime ihrer Analysen sorgfältig verifizieren, insbesondere wenn Störparameter profiliert werden, da die „Große Statistik“-Annahme durch das Zusammenspiel zwischen Daten und endlichen MC-Fluktuationen verletzt werden kann.