Confidence intervals for the Poisson distribution

この論文は、物理科学におけるポアソン分布の結果記述に関する混乱を解消するため、様々な手法の性質を比較検討し、Garwood が提案した信頼区間を推奨するものである。

要約

この論文は、物理学や科学の分野でよく使われる「ポアソン分布（ある事象が一定の時間内に何回起こるかという確率）」を使って、実験結果をどう表現すべきかという**「統計的な悩み」**を解決しようとするものです。

著者のフランク・ポーター氏は、科学者たちの間で「実験結果をどう報告すればいいか」について混乱が起きていると指摘し、**「Garwood（ガーウッド）法」**という特定の計算方法を使うのが最も賢明だと結論付けています。

この難しい統計の話を、**「料理とレシピ」や「天気予報」**に例えて、わかりやすく解説します。

---

1. 問題の核心：「料理の味」をどう伝えるか？

Imagine you are a chef (a scientist) who just cooked a dish (did an experiment).
You counted how many times a specific flavor appeared (the data, $n$).
But you know there's always some background noise (like a little bit of salt that was already in the pan, $b$).

The big question is: How do you tell your customers (the scientific community) how good the dish really is?

• Option A (The Simple Way): Just say, "I counted 5 flavors."
  • Problem: This doesn't tell us how sure you are. Maybe you got lucky, or maybe you missed some.
• Option B (The Bayesian Way - "My Belief"): Say, "I believe the true flavor is between 3 and 7."
  • Problem: This depends on your personal opinion (your "prior belief"). Two chefs might give different answers based on their gut feelings. Science wants something more objective.
• Option C (The Frequentist Way - "The Long Run"): Say, "If I cooked this dish 100 times, my method of reporting would be correct 95 times out of 100."
  • This is what the paper focuses on. It's about creating a rulebook for reporting that works reliably over the long run, without relying on personal feelings.

2. The Confusion: Too Many Recipes!

For decades, statisticians and physicists have argued over the best "recipe" (method) to create these Confidence Intervals (the range where the true value likely lies).

Think of it like trying to draw a safety net around a trapeze artist (the true value).

• Some nets are too loose (Overcoverage): They are huge, covering everything. Safe, but not very useful because they don't narrow down the answer.
• Some nets are too tight (Undercoverage): They might miss the artist. Dangerous!
• Some nets are weirdly shaped: They might have holes, or they might shrink when the artist jumps higher (which makes no sense).

The paper reviews many of these "nets" (Garwood, Sterne, Feldman-Cousins, CLs, etc.) and checks them against a list of Desirable Properties (what a good net should look like).

3. The Criteria: What Makes a Good Net?

The author lists several rules for a perfect confidence interval:

1. Exactness: It must never miss the target (never undercover). It's better to be a bit too big than too small.
2. Connectedness: The net should be one solid piece, not broken into pieces.
3. Contains the Best Guess: If your best guess (Maximum Likelihood Estimator) is "5", the net should definitely include "5".
4. Sensible P-values: If you change your hypothesis slightly, the result shouldn't jump wildly. It should be smooth.
5. Nested: If you want a 99% safe net, it should completely contain the 95% safe net. (Like Russian dolls).

4. The Contenders (The Competing Recipes)

The paper tests various famous methods:

• Garwood (The Classic): The original recipe. It's a bit "loose" (overcovers), meaning the net is sometimes wider than necessary. But it's very stable and follows all the rules.
• Crow & Gardner / Sterne: These try to make the net tighter (shorter) to be more precise. But in doing so, they sometimes break the rules (e.g., the net might not contain the best guess, or it might jump around weirdly when you change the confidence level).
• Feldman-Cousins (The Physicist's Favorite): This method tries to avoid "unphysical" results (like negative numbers). But the author argues this makes the description confusing. If you see a negative fluctuation in the data, the net should show it! Cutting it off hides the truth of the measurement.
• Bayes (The Belief Method): Uses "priors" (assumptions). The author says this is for "interpretation" (what we believe), not "description" (what the data says).

5. The Verdict: Why Garwood Wins

After testing all these methods, the author concludes that Garwood's method is the winner.

Why?
Imagine you are building a bridge.

• The tighter methods (like Crow & Gardner) are like trying to use the absolute minimum amount of steel. They look efficient, but if the wind blows a certain way, the bridge might wobble or behave strangely (discontinuous, non-nested).
• Garwood is like using a little extra steel. The bridge is slightly wider than the absolute minimum, but it is rock solid. It behaves predictably. If you ask for a 95% bridge, it contains the 90% bridge perfectly. If you change the wind slightly, the bridge doesn't collapse or jump.

The Analogy of the "Unphysical" Region:
Some methods try to force the result to be "positive" (because physics says signal can't be negative).

• Author's view: If your measurement shows a "negative fluctuation" (like a wave going down), you should report it! If you force it to zero, you are hiding the reality of the measurement. Garwood allows the interval to go into "negative" territory if the data says so, which is a more honest description of the experiment.

6. The "Averaging" Trap

The paper also warns about averaging results.
If you have 10 different experiments and you just take their "error bars" and average them, you might get a result that looks super precise but is actually wrong.

• Analogy: If you average 10 weather reports that all say "It might rain," you can't just say "It will definitely rain." You need to go back to the original data (the clouds and pressure) to get the right answer.
• Advice: Don't just average the final numbers. Go back to the raw data (the Poisson counts) and average those.

7. Conclusion: Stick to the Standard

The paper's final message is simple:
"Stop reinventing the wheel."

Even though Garwood's intervals are sometimes a bit "wider" (more conservative) than other fancy methods, they are the most reliable, consistent, and easy to understand. They don't have weird jumps, they always contain the best guess, and they give sensible p-values.

In everyday language:
When you report a scientific result, don't try to be too clever or too "tight" with your numbers. Use the Garwood interval. It's the "Goldilocks" method—not too fancy, not too risky, just right for telling the truth about your measurement in a way that everyone can trust.

It's like wearing a seatbelt: it might feel a little bulky compared to nothing, but it's the only thing that guarantees you'll be safe no matter what happens on the road.

技術概要

この論文「Confidence intervals for the Poisson distribution（ポアソン分布の信頼区間）」は、物理学（特に高エネルギー物理学）におけるポアソン分布に基づく測定結果の記述、特に信頼区間の構築方法に関する混乱を整理し、最適な手法を提案するものです。著者 Frank C. Porter は、頻度論的統計（Frequentist statistics）を「パラメータの真の値についての推論（inference）」ではなく、「観測された測定結果の記述（description）」として捉える立場から議論を展開しています。

以下に、論文の技術的な要約を問題提起、手法、主要な貢献、結果、および意義に分けて記述します。

1. 問題提起 (Problem)

• ポアソン分布の解釈の混乱: 物理科学、特に新現象の探索（低統計量・背景事象あり）において、ポアソン分布は頻繁に登場しますが、その結果（特に信頼区間や p 値）の記述方法について物理学者の間で大きな混乱が存在します。
• 記述（Description）と推論（Inference）の混同: 多くの議論では、測定結果の「記述」と、パラメータの「真の値」についての「推論（ベイズ的な信念の度合い）」が混同されています。著者は、頻度論的統計はあくまで「観測されたデータが、仮定された母集団分布からどの程度妥当であるか」を記述するものであり、パラメータの真の値についての確率を語るものではないと主張します。
• 不自然な制約: 物理的にパラメータが負にならないという制約（$\theta \ge 0$）を、測定結果の記述（尤度関数の評価や信頼区間の構築）に過度に適用することで、統計的な性質（十分統計量の保持や p 値の直感的な振る舞い）が損なわれる問題があります。
• 手法の多様性と欠点: 既存の手法（Garwood 区間、Feldman-Cousins 法、CLs 法など）はそれぞれ長所短所があり、特に「厳密な被覆率（Exactness）」、「区間の長さ」、「ネスト性（Nestedness）」、「連続性」などの望ましい性質をすべて満たす手法が存在しないため、どの手法を選ぶべきか合意が得られていません。

2. 手法とアプローチ (Methodology)

著者は、以下の基準に基づいて既存の主要な手法を体系的に比較・評価しました。

• 基本方針:

  • 厳密性（Exactness）: 近似（正規分布近似など）を用いず、ポアソン分布そのものを用いて、被覆率（Coverage probability）が信頼水準 $1-\alpha$ 以上となる「厳密な」区間のみを対象とします。
  • 記述的統計の定義: 測定結果の記述として、パラメータの真の値についての推論を行わず、観測値 $n$ に対するパラメータ空間の範囲を定義します。この際、物理的に「非物理的」とされる領域（例：負の信号強度）への尤度関数の評価を許容し、十分統計量（$n-b$）を保持することを重視します。

• 評価基準（Desirable Properties）:

  1. 厳密性: 被覆率が $1-\alpha$ 以上であること。
  2. 連結性（Connectedness）: 区間が連続であること。
  3. 最尤推定量の包含: 区間が最尤推定量（MLE: $\hat{\theta} = n-b$）を含んでいること。
  4. 最適な被覆率: 過剰被覆（Overcoverage）が最小限であること。
  5. 区間の長さ: 区間が短く、効率的であること。
  6. スケーリングと漸近性: 大数則に従い、$\sqrt{n}$ に比例して振る舞うこと。
  7. 順序性（Ordered）: 観測値 $n$ が増加すると、区間の上下限も単調に増加すること。
  8. 対称性（Symmetry）: 確率の観点から両側の尾部がバランスしていること。
  9. ネスト性（Nested）: 信頼水準が高まるにつれて区間が包含関係になること。
  10. 連続性と単調性: 信頼水準や仮説パラメータの変化に対して、区間や p 値が連続かつ単調に変化すること。
  11. 妥当な p 値: p 値が連続的で、仮説パラメータに対して単調に振る舞うこと（bimonotonic）。

• 比較対象:

  • Garwood 区間（等尾部・Fiducial 区間）
  • Sterne 区間、Crow & Gardner 区間（確率順序による最小サイズ）
  • Blaker 区間
  • 尤度比検定（LR）の逆転
  • スコア検定の逆転
  • Kabaila-Byrne 区間
  • Feldman-Cousins (FC) 法
  • CLs 法
  • ベイズ区間（一様事前分布、Jeffreys 事前分布）
  • $\sqrt{n}$ 近似

3. 主要な結果と評価 (Results)

各手法の評価結果は以下の通りです。

• Garwood 区間:
  • 長所: 厳密性、連結性、ネスト性、連続性、順序性、対称性（確率ベース）、そして**最も重要な点として「連続的で単調な p 値」**を提供します。また、厳密なネスト性を持つ区間の中で区間長が最短であることが証明されています。
  • 短所: 他の手法に比べて過剰被覆（Overcoverage）が大きく、区間が長くなりがちです。
• Crow & Gardner 区間:
  • 被覆率や区間長の点では Garwood より優れていますが、ネスト性を持たず、信頼水準を変化させたときに区間が不連続に変化したり、単調性を失ったりする問題があります。また、低信頼水準では MLE を含まない場合があります。
• Feldman-Cousins (FC) 法と CLs 法:
  • 物理的な制約（$\theta \ge 0$）を区間に組み込むために設計されていますが、背景事象がある場合、観測値が小さいときに区間が極端に短くなり、測定精度を過大評価する（直感的なスケーリング $\sqrt{n}$ から外れる）問題があります。また、FC 法はネスト性を満たしません。
  • CLs 法は上限値の計算には有用ですが、記述統計としては過剰に保守的で、小さな信号を排除しないように設計されているため、データの不適合を適切に記述できません。
• ベイズ区間と $\sqrt{n}$ 近似:
  • 頻度論的な被覆率の要件を満たさないため、この論文の文脈（厳密な頻度論的記述）では推奨されません。
• 観測値の平均化（Averaging）:
  • 信頼区間から分散を推定して観測値を平均化する方法は、ポアソン分布の特性上、被覆率を維持できず、誤った結論を導く危険性があることが示されました。平均化を行う場合は、元のポアソン観測値（または尤度関数）を用いるべきです。

4. 結論と推奨 (Conclusion & Recommendation)

著者は、以下の理由からGarwood 区間をポアソン分布の信頼区間として推奨します。

1. 一貫性のある記述: Garwood 区間は、ネスト性、連続性、そして何より**「直感的で妥当な p 値」**を提供する唯一の厳密な両側区間です。p 値が不連続であったり、仮説パラメータに対して非単調であったりすることは、測定結果の記述として直感的ではなく、誤解を招きます。
2. トレードオフの受容: 区間が長くなる（過剰被覆する）という欠点はありますが、これは「保守的」であることと解釈でき、偽陽性（False Discovery）を防ぐ物理学的な文脈では許容されるコストです。一方、他の手法が持つ不連続性やネスト性の欠如は、結果の解釈を困難にする致命的な欠点です。
3. 実用性: Garwood 区間は計算が容易であり、MATLAB や R などの標準統計パッケージのデフォルトとしても採用されています。

5. 意義とインパクト (Significance)

• 概念の明確化: 「測定結果の記述」と「パラメータの推論」を明確に区別し、頻度論的統計の役割を再定義しました。これにより、物理的に非現実的な領域（負の値）への尤度評価を許容する必要性を説き、統計的性質の保持を優先する立場を確立しました。
• 物理学コミュニティへの指針: 粒子物理学などで広く使われている Feldman-Cousins 法や CLs 法が、特定の条件下（特に低統計量・背景あり）で記述統計として不適切な振る舞い（極端に短い区間など）を示すことを指摘し、Garwood 区間への回帰を提案しました。
• p 値の重要性: 信頼区間と p 値が矛盾なく、連続的かつ単調に振る舞うこと（Bimonotonicity）の重要性を強調し、統計的推論の透明性と信頼性を高めるための基準を提示しました。

総じて、この論文はポアソン分布に基づく実験結果の報告において、複雑な代替手法に頼るのではなく、統計的性質（特に p 値の振る舞いと一貫性）を重視した伝統的な Garwood 区間を再評価し、その採用を強く推奨する重要な指針となっています。