Confidence intervals for the Poisson distribution

Der Artikel klärt Verwirrungen bei der Beschreibung von Poisson-Verteilungen in der Physik, indem er verschiedene Konfidenzintervall-Methoden vergleicht und die Garwood-Intervalle aufgrund ihrer robusten Eigenschaften und intuitiven p-Werte als beste Praxis empfiehlt.

Das Wesentliche

Die große Suche nach dem Unsichtbaren: Ein Leitfaden für Poisson-Intervalle

Stellen Sie sich vor, Sie sind ein Detektiv in einem riesigen, dunklen Wald. Ihr Job ist es, eine seltene Kreatur zu finden – nennen wir sie „Signal". Aber der Wald ist voller anderer Geräusche: Blätter rascheln, Vögel zwitschern, Äste brechen. Das nennen wir „Hintergrundrauschen".

Ihr Werkzeug ist ein Zähler. Jedes Mal, wenn Sie hören, zählen Sie: „1, 2, 3...".
Das Problem: Manchmal ist die Kreatur da, manchmal nicht. Und manchmal ist es nur ein Vogel, der Sie täuscht. Die Anzahl der Zählungen folgt einer mathematischen Regel, die Physiker die Poisson-Verteilung nennen. Sie ist wie ein Würfel, der nicht fair ist, sondern zufällig mal 0, mal 1, mal 10 Mal landet, je nachdem, wie laut der Wald ist.

Der Autor dieses Artikels, Frank Porter, stellt eine sehr wichtige Frage: Wie berichten wir ehrlich über das, was wir gehört haben?

Das Dilemma: Was ist die Wahrheit?

Es gibt zwei Arten, über Ihre Beobachtung zu sprechen:

1. Die Interpretation (Der Glaube): „Ich bin zu 95 % sicher, dass die Kreatur wirklich da war und nicht nur ein Vogel." Das ist wie eine Wahrsagerin, die sagt: „Ich glaube, es ist ein Drache." Das ist subjektiv.
2. Die Beschreibung (Die Tatsachen): „Ich habe 3 Geräusche gehört. Wenn es nur Vögel wären, wäre das sehr unwahrscheinlich. Hier ist die Bandbreite dessen, was passieren könnte." Das ist wie ein Polizeibericht: „Es wurden 3 Schüsse gehört."

Der Autor sagt: Hören wir auf, zu versuchen, die Wahrheit vorherzusagen, und konzentrieren wir uns darauf, die Beobachtung genau zu beschreiben. Wir wollen dem Leser die Daten geben, damit er entscheiden kann, was er glaubt.

Das Problem mit den „perfekten" Regeln

In der Statistik gibt es viele Methoden, um aus Ihren 3 Zählungen eine „Vertrauenszone" (ein Intervall) zu berechnen. Das ist wie ein Sicherheitsgürtel um Ihre Messung.

• Wenn Sie sagen: „Die Kreatur ist irgendwo zwischen 0 und 5", ist das Ihr Sicherheitsgürtel.
• Das Ziel ist es, einen Gürtel zu finden, der niemals zu klein ist (damit Sie die Kreatur nicht verpassen) und nicht unnötig riesig ist (damit Sie nicht sagen: „Sie könnte auch ein Elefant sein").

Leider gibt es viele verschiedene Methoden, diesen Gürtel zu schnüren. Einige sind sehr konservativ (der Gürtel ist riesig), andere sind sehr knapp (der Gürtel ist eng, aber manchmal zu eng).

Der Kampf der Methoden

Der Autor vergleicht verschiedene „Schneider", die diese Gürtel nähen:

• Garwood (Der Klassiker): Dieser Schneider näht Gürtel, die immer passen. Sie sind vielleicht etwas breiter als nötig, aber sie reißen nie. Sie sind kontinuierlich (keine Sprünge) und vernünftig (wenn Sie mehr zählen, wird der Gürtel logischerweise größer).
• Crow & Gardner (Der Sparsame): Dieser Schneider versucht, den Gürtel so eng wie möglich zu machen, um Stoff zu sparen. Das ist gut, aber manchmal passiert etwas Seltsames: Wenn Sie ein Geräusch mehr hören, wird der Gürtel plötzlich kleiner. Das ist verwirrend! (Wie wenn Sie mehr Beweise finden, aber der Verdächtige plötzlich unschuldiger wirkt).
• Feldman-Cousins (Der Strenge): Dieser Schneider sagt: „Die Kreatur kann nicht negativ sein!" Also schneidet er jeden Teil des Gürtels ab, der unter Null liegt. Das klingt logisch, aber wenn es im Wald sehr laut ist (Hintergrund), kann das dazu führen, dass der Gürtel plötzlich winzig wird, obwohl Sie eigentlich unsicher sein sollten. Das täuscht über die Genauigkeit Ihrer Messung hinweg.
• Bayes (Der Gläubige): Dieser Schneider fragt Sie zuerst: „Was glauben Sie schon vorher?" Wenn Sie denken, es gibt keine Kreatur, wird der Gürtel anders geschnitten. Der Autor sagt: „Nein, wir wollen keine Vorurteile. Wir wollen nur die Zahlen."

Die Lösung: Warum Garwood der Gewinner ist

Nach langem Hin und Her kommt der Autor zu einem klaren Schluss:

Der Garwood-Intervall ist der beste „Schneider" für unsere Zwecke.

Warum?

1. Keine Überraschungen: Wenn Sie die Messung wiederholen, ändert sich der Gürtel nicht sprunghaft.
2. Logik: Wenn Sie mehr Zählungen haben, wird der Bereich, in dem die Kreatur sein könnte, logischerweise größer oder bleibt gleich – er wird nicht kleiner.
3. Ehrlichkeit: Er sagt Ihnen genau, wie wahrscheinlich es ist, dass Ihre Zählung ein Zufall war.
4. Konsistenz: Er funktioniert gut, egal ob Sie nach 90 % Sicherheit oder 99 % Sicherheit fragen.

Andere Methoden mögen zwar etwas „schmaler" sein (was auf dem Papier besser aussieht), aber sie haben Tücken. Sie können bei kleinen Änderungen der Messung plötzlich riesig werden oder die Logik brechen. Das macht sie für eine ehrliche Beschreibung der Daten unbrauchbar.

Die wichtigste Lektion: Vorsicht beim Mischen

Der Autor warnt auch vor einem häufigen Fehler: Das Mitteln von Ergebnissen.
Stellen Sie sich vor, Sie haben 10 Detektive, die jeweils einen Gürtel gemessen haben. Wenn Sie nun einfach die Mitte aller Gürtel nehmen und einen neuen, kleineren Gürtel darum legen, denken Sie vielleicht: „Wow, jetzt sind wir super genau!"
Aber: Das ist oft eine Illusion. Wenn Sie die ursprünglichen Zählungen nicht kennen, sondern nur die fertigen Gürtel, können Sie die Unsicherheit falsch berechnen. Es ist wie wenn Sie 10 ungenaue Landkarten nehmen und denken, der Durchschnitt sei eine perfekte Karte.
Rat: Wenn Sie Ergebnisse kombinieren wollen, gehen Sie immer zurück zu den rohen Zählungen (den Poisson-Daten), nicht nur zu den fertigen Intervallen.

Fazit für den Alltag

Wenn Sie in der Wissenschaft (oder im Leben) mit zufälligen Ereignissen zu tun haben und unsichere Daten haben:

• Verlassen Sie sich nicht auf Methoden, die versuchen, die „wahre" Wahrheit zu erraten.
• Beschreiben Sie die Daten so, wie sie sind.
• Nutzen Sie die Garwood-Methode. Sie ist wie ein solider, alter Rucksack: Vielleicht ist er nicht der leichteste auf dem Markt, aber er hält, ist zuverlässig und verrät Sie nicht, wenn es darauf ankommt.

Der Autor sagt im Grunde: „Seien Sie konservativ, seien Sie ehrlich, und lassen Sie die Mathematik die Arbeit machen, ohne zu versuchen, die Natur zu betrügen."

Technische Zusammenfassung

Titel

Konfidenzintervalle für die Poisson-Verteilung
(Original: Confidence intervals for the Poisson distribution)

1. Problemstellung

Die Poisson-Verteilung ist in den physikalischen Wissenschaften, insbesondere bei der Suche nach neuen Phänomenen mit sehr wenigen erwarteten Ereignissen (z. B. in der Teilchenphysik), allgegenwärtig. Trotz ihrer Einfachheit herrscht unter Physikern erhebliche Verwirrung bezüglich der korrekten Beschreibung von Ergebnissen, die durch Poisson-Stichproben gewonnen wurden.

Das zentrale Problem liegt in der Unterscheidung zwischen:

• Deskriptiver Statistik: Eine objektive Beschreibung des Messergebnisses (der Stichprobe $n$), unabhängig von der wahren Parameterwerte.
• Inferenz (Schlussfolgerung): Eine Aussage über den wahren Wert des Parameters (z. B. die Signalstärke $\theta$), oft basierend auf subjektiven Überzeugungen (Bayessche Statistik).

Viele gängige Methoden vermischen diese Konzepte oder führen zu unintuitiven Ergebnissen, insbesondere wenn Hintergrundereignisse ($b$) bekannt sind und die Signalstärke $\theta$ physikalisch nicht-negativ sein muss ($\theta \ge 0$). Das Paper zielt darauf ab, diese Verwirrung zu klären und eine konsistente Methode zur deskriptiven Beschreibung von Poisson-Ergebnissen zu empfehlen.

2. Methodik und Rahmenbedingungen

Der Autor entwickelt einen Rahmen für frequentistische Konfidenzintervalle mit folgenden Grundannahmen und Zielen:

• Ziel: Beschreibung des Messergebnisses, nicht Inferenz über den wahren Parameterwert.
• Modell: Eine Poisson-Verteilung mit Mittelwert $\mu = \theta + b$, wobei $\theta$ die unbekannte Signalstärke und $b$ eine bekannte Hintergrundstärke ist.
• Deskriptiver Ansatz: Die Likelihood-Funktion darf auch in "unphysikalischen" Bereichen (z. B. $\theta < 0$) ausgewertet werden, um die Suffizienz des Schätzers zu erhalten und Verzerrungen zu vermeiden.
• Erforderliche Eigenschaften: Es werden mehrere wünschenswerte Eigenschaften für Konfidenzintervalle definiert und bewertet:
  1. Exaktheit: Das Intervall muss die Coverage-Bedingung $P(\theta \in C_\alpha) \ge 1-\alpha$ strikt erfüllen (keine Unterdeckung).
  2. Verbundenheit: Das Intervall sollte ein zusammenhängendes Intervall sein.
  3. Enthalten des Maximum-Likelihood-Schätzers (MLE): Das Intervall sollte den Punkt $\hat{\theta} = n - b$ enthalten.
  4. Optimale Abdeckung: Minimierung der Überdeckung (Overcoverage) bei Einhaltung der Exaktheit.
  5. Länge: Kurze Intervalle sind bevorzugt.
  6. Skalierung: Das Intervall sollte intuitiv mit $\sqrt{n}$ skalieren.
  7. Ordnung (Ordered): Die Intervallgrenzen sollten monoton mit der Beobachtung $n$ steigen.
  8. Verschachtelung (Nested): Intervalle für höhere Konfidenzniveaus sollten Intervalle für niedrigere Niveaus enthalten.
  9. Kontinuität: Die Intervallgrenzen sollten stetig vom Konfidenzniveau abhängen.
  10. Sinnvolle p-Werte: Die daraus abgeleiteten p-Werte sollten stetig und monoton bezüglich der Nullhypothese sein.

3. Vergleich der Methoden

Das Paper analysiert und vergleicht eine Vielzahl von Ansätzen aus der Statistik- und Teilchenphysik-Community:

• Garwood-Intervall (Fiducial/Equal-tailed): Ein klassischer Ansatz, der zwei einseitige Tests invertiert. Er ist exakt, verbunden, streng verschachtelt, stetig und liefert sinnvolle p-Werte. Sein Nachteil ist eine starke Überdeckung (Overcoverage) und längere Intervalle als bei anderen Methoden.
• Sterne- und Crow&Gardner-Intervalle: Versuchen, die Länge zu minimieren und die Überdeckung zu reduzieren, indem sie die Wahrscheinlichkeitsordnung nutzen. Sie sind oft kürzer und haben eine bessere Coverage als Garwood, verletzen aber oft die Verschachtelungseigenschaft und enthalten nicht immer den MLE.
• Likelihood-Ratio (LR) und Score-Tests: Basieren auf der Inversion von Teststatistiken. Sie bieten ähnliche Coverage wie Crow&Gardner, leiden aber unter Diskontinuitäten in den p-Werten und mangelnder Verschachtelung.
• Blaker-Intervalle: Ähnlich wie Sterne, aber mit besserer Verschachtelung. Sie zeigen jedoch diskontinuierliches Verhalten in Abhängigkeit vom Konfidenzniveau.
• Kabaila-Byrne-Intervalle: Versuchen, optimale Länge und strenge Ordnung zu kombinieren, verletzen aber die Monotonie der Intervalllänge.
• Bayessche Intervalle (Uniforme und Jeffreys-Prior): Werden als deskriptiv untersucht. Sie zeigen Unter- und Überdeckung und sind nicht exakt im frequentistischen Sinne.
• Teilchenphysik-spezifische Methoden:
  • CLs-Methode: Entwickelt, um falsche Ausschlüsse zu vermeiden. Sie führt zu sehr konservativen (langen) Intervallen und ist für deskriptive Zwecke weniger geeignet.
  • Feldman-Cousins (FC): Verhindert, dass Intervalle in den unphysikalischen Bereich ($\theta < 0$) reichen. Dies führt jedoch bei kleinen Beobachtungen und Hintergrundfluktuationen zu extrem kurzen Intervallen, die eine übertriebene Präzision suggerieren und die deskriptive Aussagekraft trüben.

4. Wichtige Ergebnisse und Erkenntnisse

1. Unvereinbarkeit der Eigenschaften: Es ist unmöglich, alle wünschenswerten Eigenschaften (Exaktheit, optimale Länge, Verschachtelung, Kontinuität, sinnvolle p-Werte) gleichzeitig zu erfüllen. Kompromisse sind unvermeidbar.
2. Das Problem der "Unphysikalischen" Regionen: Methoden, die versuchen, $\theta < 0$ zu erzwingen (wie FC), führen zu unintuitiven Ergebnissen (z. B. Null-Intervalle oder extrem kurze Intervalle bei negativen Hintergrundfluktuationen). Der Autor argumentiert, dass für eine reine Beschreibung des Messergebnisses negative Werte im Intervall erlaubt sein sollten, da sie die tatsächliche Fluktuation der Daten widerspiegeln.
3. Probleme beim Mitteln von Ergebnissen: Das einfache Mitteln von Konfidenzintervallen (z. B. durch gewichtete Mittelung basierend auf der Intervallbreite) führt oft zu einer Verletzung der Coverage-Eigenschaften, insbesondere wenn die zugrundeliegenden Poisson-Verteilungen nicht bekannt sind. Es wird empfohlen, immer auf die ursprünglichen Rohdaten (Poisson-Stichproben) zurückzugreifen, um gemittelte Ergebnisse zu berechnen.
4. p-Werte als entscheidendes Kriterium: Viele moderne Methoden (Sterne, LR, FC) liefern p-Werte, die diskontinuierlich oder nicht-monoton bezüglich der Nullhypothese sind. Dies wird als schwerwiegender Mangel für eine konsistente deskriptive Statistik angesehen.

5. Empfehlung und Signifikanz

Empfehlung:
Der Autor empfiehlt eindringlich die Verwendung des Garwood-Intervalls (auch bekannt als fiduciales oder gleichseitiges Intervall) für die deskriptive Beschreibung von Poisson-Ergebnissen.

Begründung:
Obwohl das Garwood-Intervall eine stärkere Überdeckung und längere Intervalle aufweist als einige Alternativen, ist es das einzige Verfahren unter den untersuchten exakten, zweiseitigen Intervallen, das folgende kritische Eigenschaften erfüllt:

• Es ist stetig in Bezug auf das Konfidenzniveau.
• Es ist streng verschachtelt (Nested).
• Es enthält den Maximum-Likelihood-Schätzer.
• Es liefert sinnvolle, stetige und bimonotone p-Werte.

Der Autor argumentiert, dass die Konsistenz dieser Eigenschaften (insbesondere die Stetigkeit und die korrekte Interpretation von p-Werten) wichtiger ist als die Minimierung der Intervalllänge. Die "bizarre" Länge anderer Methoden führt zu inkonsistenten Schlussfolgerungen, wenn man verschiedene Konfidenzniveaus betrachtet.

Signifikanz:
Dieses Paper klärt eine langjährige Kontroverse in der physikalischen Datenanalyse. Es stellt klar, dass der Versuch, physikalische Randbedingungen (wie $\theta \ge 0$) in die deskriptive Statistik zu integrieren, oft zu einer Verschlechterung der statistischen Eigenschaften führt. Die Empfehlung, das Garwood-Intervall als Standard zu verwenden (was bereits in MATLAB und R der Default ist), bietet einen robusten, konsistenten und intuitiv verständlichen Rahmen für die Berichterstattung von Messergebnissen in der Physik, insbesondere bei seltenen Ereignissen.