On the last time and the number of times an estimator is more than epsilon from its target value

この論文は、強一致推定量が真の値から$\varepsilon$以上離れる最後の時点と回数の分布を$\varepsilon \to 0$で導出する理論を構築し、パラメトリック・ノンパラメトリック両方の推定量の比較や逐次推定手法の構築に応用可能であることを示しています。

要約

この論文は、統計学という少し堅い分野の話ですが、実は**「推測をする人が、いつになったら『もう大丈夫、正解に近づいた』と安心できるのか？」**という、とても人間らしい疑問に答えています。

タイトルにある「最後のミス」と「ミスの総数」というのは、以下のような状況を指します。

• 推測（推定量）： 未知の真実（パラメータ）を推測するもの。
• 誤差（ε）： 「許容できる誤差の範囲」。例えば、真の値から 0.01 以内なら「合格」とします。
• 最後のミス（$N_\varepsilon$）： 「許容範囲外（不合格）だった最後の瞬間」がいつか？
• ミスの総数（$Q_\varepsilon$）： 全体を通して、何回「不合格」だったか？

この論文の著者たちは、データを集め続けるにつれて推測が正解に近づいていく（強一致性）ことは皆知っていますが、**「具体的にいつ、どれくらいで、その『最後の失敗』が終わるのか？」**を数学的に突き止めました。

以下に、この研究の核心を、日常の例え話を使って解説します。

---

1. 迷路からの脱出：いつ「出口」にたどり着くのか？

想像してください。あなたが暗い迷路（未知の真実）の中にいて、手探りで出口（正解）を探している場面です。
あなたは「出口から 10 メートル以内に入ったら、もう迷子ではない（合格）」と決めました。

• 従来の考え方： 「平均的にどれくらいで出口に近づけるか？」を計算する。
• この論文の考え方： 「最後に 10 メートル圏外にいたのは、何歩目だったか？」と「合計で 何回 10 メートル圏外にいたか？」を調べます。

著者たちは、データ（歩数）を無限に増やしていくと、この「最後の失敗の瞬間」と「失敗の総数」が、ある**「決まった確率の法則」**に従うことを発見しました。

2. 偶然のダンスと「ブラウン運動」

この「最後の失敗」のタイミングは、ランダムに決まります。しかし、そのランダムさは「無秩序」ではなく、**「ブラウン運動（微粒子が水の中で不規則に揺れる動き）」**という、数学的に美しいダンスの形をとることがわかりました。

• 1 次元の場合（単純な平均）：
  推測の誤差は、ブラウン運動の「最大の高さ」に比例します。
  論文は、「$\varepsilon^2 \times N_\varepsilon$（許容誤差の 2 乗 × 最後の失敗の歩数）」という値が、ある特定の分布（ブラウン運動の最大値の 2 乗）に従うことを証明しました。
  • 意味： 「許容誤差を半分にする（$\varepsilon$ を 0.5 にする）と、最後の失敗の瞬間は、おおよそ 4 倍（$1/0.5^2$）の歩数まで伸びる」という予測が可能になります。

3. 競走：どの推測方法が「一番早く」安定するか？

統計には、同じ目的（例えば平均値を推測する）でも、複数の方法（平均を使う方法、中央値を使う方法など）があります。これらを比較する際、この論文は新しい「勝敗判定基準」を提案しています。

• 従来の勝敗判定： 「推測のバラつき（分散）が小さい方が優れている」。
• この論文の勝敗判定： 「許容範囲外に出る『最後の瞬間』が、確率的に最も早くなる方法」が最強だ！

例え話：
2 人のランナー（推測方法 A と B）が、ゴール（正解）に向かって走っています。
「ゴールから 10 メートル圏外にいる最後の瞬間」が、A の方が B よりも早く訪れるなら、A の方が「早く安定する」優れた方法です。

著者たちは、**「最尤推定量（統計学で最も標準的に使われる推測方法）」が、どんな距離の測り方を使っても、この「最後の失敗」の瞬間を、他のどんな方法よりも早く（確率的に）終わらせることを証明しました。つまり、「最尤推定量は、最も早く『もう大丈夫』と言える方法」**なのです。

4. 非パラメトリックな世界：密度推測の「最適な魔法の杖」

さらに、この論文は「パラメトリック（決まった形）」な話だけでなく、「ノンパラメトリック（形を自由にする）」な場合、例えば「データの分布そのものを推測する」場合にも適用しました。

• 核推定（Kernel Estimation）： データの形を滑らかに描くための「魔法の杖（平滑化パラメータ）」の太さを調整する必要があります。
• 従来の魔法： 理論的に「平均二乗誤差」が最小になる太さを使う。
• この論文の発見： 「ミスの総数」を最小にするためには、従来の推奨値の約 1.008 倍の太さを使うのがベストだとわかりました。
  • 意味： 統計の教科書にある「正解」を、わずかに（0.8% だけ）調整するだけで、「失敗する回数を最小化」できるという、非常に微細で実用的な発見です。

5. 信頼区間の「自動運転」

この研究のもう一つの大きな応用は、**「信頼区間」**の作り方を変えます。

通常、信頼区間（「真の値はここにあるはずだ」という範囲）の幅は固定ですが、この論文の理論を使えば、**「データを集めるたびに、自動的に幅を狭めていく」ような「縮む信頼区間」を作ることができます。
「許容誤差 $\varepsilon$ 以内に入ったら、もうデータ収集を止めても良い」という「自動停止ルール」**を、数学的に保証された形で設計できるのです。

まとめ：この論文が教えてくれること

この論文は、単に「推測が正解に近づく」という当たり前のことを再確認したのではありません。

1. 「いつ」安定するかを、確率分布という形で予測できる。
2. 「どの方法」が最も早く安定するかを、新しい基準で比較できる（最尤推定量が最強）。
3. 「失敗の総数」を最小にするための、わずかな調整（パラメータの微調整）が可能になる。

まるで、**「迷路からの脱出がいつ終わるか、そしてどのルートが最も早く安全にゴールできるかを、確率の地図で描き出した」**ような研究です。統計学者だけでなく、データに基づいて意思決定をするすべての人にとって、「いつまでデータを集めれば良いのか」という問いに対する、強力な指針を与えてくれる論文です。

技術概要

論文「推定量が目標値からε以上離れる最後の時刻と回数」の技術的サマリー

著者: Nils Lid Hjort, Grete Fenstad
発行元: オスロ大学数学部門、ノルウェー計算センター
発行日: 1991 年 4 月

1. 問題の背景と目的

本論文は、独立同一分布（i.i.d.）のデータに基づいて構築された推定量 $\hat{\theta}_n$ が、真のパラメータ $\theta_0$ に強一様収束（strongly consistent）する際の収束速度を、確率的に詳細に解析することを目的としています。

従来の統計学では、推定量の収束性は主に以下の 2 つの観点から議論されてきました。

1. 確率収束: 任意の $\epsilon > 0$ に対して、$n$ が十分大きければ $|\hat{\theta}_n - \theta_0| \le \epsilon$ となる確率が 1 に近づくこと。
2. 分布収束: $\sqrt{n}(\hat{\theta}_n - \theta_0)$ が正規分布などに収束すること。

しかし、これらは「十分大きな $n$ 以降で誤差が $\epsilon$ 以下になる」という保証を与えるだけであり、**「誤差が $\epsilon$ を超える最後の観測回数 $N_\epsilon$」や「誤差が $\epsilon$ を超える総回数 $Q_\epsilon$」**といった、収束過程全体に関するランダム変数の分布特性については、ほとんど研究されていませんでした。

本論文は、以下の 2 つの確率変数の極限分布を導出することを主たる課題としています。

• $N_\epsilon = \sup \{n \ge 1 : |\hat{\theta}_n - \theta_0| \ge \epsilon\}$ （$\epsilon$ 以上の誤差が生じる最後の $n$）
• $Q_\epsilon = \sum_{n=1}^{\infty} I(|\hat{\theta}_n - \theta_0| \ge \epsilon)$ （$\epsilon$ 以上の誤差が生じる総回数）

2. 手法と理論的枠組み

2.1 基本的なアプローチ

推定量 $\hat{\theta}_n$ が、平均 0 分散 1 の i.i.d. 変数 $Z_i$ の和を用いて以下のように表現できると仮定します。
$$\hat{\theta}_n - \theta_0 = \sigma_0 \frac{S_n}{n} + R_n$$
ここで $S_n = \sum_{i=1}^n Z_i$ であり、$R_n$ は残差項です。

このとき、$m \to \infty$ （すなわち $\epsilon \to 0$）における極限挙動を調べるために、**ドンスカーの定理（Donsker's Theorem）**とブラウン運動（Wiener process）$W(t)$ の性質を利用します。具体的には、部分和過程 $\frac{S_{[mt]}}{\sqrt{m}}$ がブラウン運動 $W(t)$ に分布収束すること、およびその逆時間変換 $W(t)/t$ の最大値の分布を解析します。

2.2 主要な条件

極限分布が得られるための条件として、残差項 $R_n$ が十分に小さいこと（$D_m = \sqrt{m} \sup_{n \ge m} |R_n| \xrightarrow{p} 0$）が要求されます。これは、推定量が漸近的に線形統計量（smooth function of averages や MLE など）として振る舞うことを意味します。

3. 主要な結果

3.1 1 次元パラメータの場合

パラメータが 1 次元の場合、$\epsilon^2 N_\epsilon$ と $\epsilon^2 Q_\epsilon$ は以下の極限分布を持ちます。

• $N_\epsilon$ の極限: $\epsilon^2 N_\epsilon \xrightarrow{d} \sigma_0^2 W_{\max}^2$
  ここで $W_{\max} = \sup_{0 \le s \le 1} |W(s)|$ であり、$W(s)$ は標準ブラウン運動です。
• $Q_\epsilon$ の極限: $\epsilon^2 Q_\epsilon \xrightarrow{d} \sigma_0^2 Q(0)$
  ここで $Q(0) = \mu\{t \ge 0 : |W(t)/t| \ge 1\}$ （$\mu$ はルベーグ測度）です。

これらの結果は、推定量の漸近分散 $\sigma_0^2$ に比例してスケーリングされることを示しています。

3.2 多次元パラメータの場合

$p$ 次元のパラメータ $\theta \in \mathbb{R}^p$ に対して、距離関数 $\|\cdot\|$ （例えばマハラノビス距離）を用いた場合も同様の結果が得られます。

• $\epsilon^2 N_\epsilon \xrightarrow{d} \sup_{0 \le s \le 1} \|\Sigma_0^{1/2} W(s)\|^2$
  ここで $\Sigma_0$ は漸近共分散行列、$W(s)$ は $p$ 次元の独立なブラウン運動ベクトルです。
• 特別に、マハラノビス距離 $\|\hat{\theta}_n - \theta_0\| = \{(\hat{\theta}_n - \theta_0)' \Sigma_0^{-1} (\hat{\theta}_n - \theta_0)\}^{1/2}$ を用いる場合、極限分布は $\chi^2_{p, \max} = \max_{0 \le s \le 1} \sum_{i=1}^p W_i(s)^2$ となります。これはパラメータの次元 $p$ だけで決まり、モデルの詳細には依存しません。

3.3 非パラメトリック推定への拡張

• 経験分布関数（Glivenko-Cantelli の定理）: 経験分布関数 $F_n$ と真の分布 $F$ の supremum 距離 $\|F_n - F\|$ について、$\epsilon^2 N_\epsilon$ はケイファー過程（Kiefer process）の最大値の二乗に収束します。
• 非パラメトリック密度推定: カーネル密度推定量 $f_n(x)$ の場合、$\epsilon^2 N_\epsilon$ は発散しますが、適切なスケーリング $\epsilon^{5/2} N_\epsilon$ を取れば極限分布が存在します。また、最適平滑化パラメータは従来の推奨値の約 1.008 倍であることが示されました。

4. 統計的意義と貢献

4.1 推定量の比較と漸近相対効率（ARE）

従来の漸近相対効率（ARE）は、分散の逆数の比（$\sigma_1^2 / \sigma_2^2$）として定義されますが、本論文はこれを「$\epsilon$ 誤差の発生回数や最後の発生時刻」という観点から再解釈し、正当化しました。

• 2 つの推定量 $\hat{\theta}_{n,1}, \hat{\theta}_{n,2}$ について、$\epsilon \to 0$ の極限において、
  $$\lim_{\epsilon \to 0} \frac{E[N_{\epsilon,1}]}{E[N_{\epsilon,2}]} = \frac{\sigma_1^2}{\sigma_2^2}$$
  が成り立ちます。
• これにより、最尤推定量（MLE）の列は、任意の距離尺度において、$\epsilon$ 誤差の発生を確率的に最も早く終え、かつ総発生回数も最小にするという新たな最適性（asymptotic optimality）が証明されました。

4.2 逐次推論への応用

得られた極限分布は、以下の実用的な手法の構築に直接応用可能です。

• 逐次固定幅信頼区間: 所定の信頼度（例：95%）で誤差を $\epsilon$ 以下に抑えるために必要なサンプルサイズ $m$ を決定する（$m \approx c \sigma^2 / \epsilon^2$）。
• 逐次信頼領域（縮小する体積）: 観測を続けながら、パラメータが収束する領域を逐次的に狭めていく手法。
• 検出力 1 の逐次検定: 帰無仮説が偽である場合、有限のサンプルで検出できることを保証する検定。

4.3 第二の次数の結果（Second Order Results）

第一の次数（分散）が同じである推定量を区別するため、第二の次数の解析（漸近相対欠損）についても言及されています。例えば、二項分布における推定量の比較において、従来の推定量よりもわずかに修正された推定量の方が、$\epsilon$ 誤差の回数が少ないことが示されています。

5. 結論

本論文は、推定量の収束過程における「最後の逸脱時刻」と「逸脱総回数」という、従来は研究されていなかった確率変数の極限分布を、ブラウン運動の関数として厳密に導出しました。

その結果、最尤推定量が持つ「確率的な収束の速さ」という新たな最適性を明らかにし、漸近相対効率の概念をより直感的かつ強力な形で再定義しました。また、この理論はパラメトリック・非パラメトリック、多次元・無限次元の広範な状況に適用可能であり、逐次推論や信頼区間の構築における実用的な指針を提供しています。