技術的サマリー：点推定を超えて：機械学習のパフォーマンス評価における分布的不確実性

問題定義

機械学習（ML）モデルは、従来、パフォーマンス指標（例：精度、F1 スコア、RMSE）の点推定を用いて評価されてきた。このアプローチはパフォーマンスを固定値として扱い、データ分割、重み初期化、ハイパーパラメータ最適化など、トレーニングプロセスの確率的要素によって引き起こされる本質的な変動を捉え損なっている。これらの要因はしばしば「交絡因子」として認識されているが、通常は体系的に分析されず、単一の最良の指標値の達成に主眼が置かれている。

本論文は、ML トレーニングを、交絡因子に条件付けられた確率変数である関心対象指標（TMoI）を有する科学的実験として捉えるべきであると主張する。しかし、計算コストの制約により、実用的には反復トレーニングの実行回数（サンプルサイズ $n$）が小～中程度（例：$n \approx 10\text{--}25$）に制限されることが多い。その結果、これらの限られたサンプルサイズ、特に医学や銀行などリスク指向のアプリケーションにおいて重要な尾部分位数に対して、基礎となるパフォーマンス分布に対して意味のある統計的推論をどのように行うかという点において、理解のギャップが存在する。

手法

本研究は、パフォーマンス指標を確率的な量として扱う分布論的視点を採用している。手法の焦点は、頻度論的統計を用いて分位数およびそれに対応する信頼区間（CI）を推定することにある。

統計的枠組み

本研究は、シード制御されたトレーニング実行から導出された TMoI 値の独立同分布（i.i.d.）サンプルを仮定する。2 つの主要な統計タスクを評価する：

1. 分位数の点推定：論文は 2 つの推定量を比較する：
   • 標本分位数（$\hat{Q}$）：順序統計量（階段関数）に基づく。
   • 線形補間分位数（$\hat{Q}_L$）：順序統計量の線形補間を用いた滑らかな推定量。
2. 区間推定（信頼区間）：基準として平均に対する標準的な $t$ 区間を併せて、分位数に対する CI 構築のために 3 つのノンパラメトリックなアプローチを検証する：
   • 正確なノンパラメトリック CI：順序統計量と二項分布に基づく。これらは分布フリーであるが、特定の信頼水準に対して存在するためには特定の最小サンプルサイズを必要とする。
   • 漸近ノンパラメトリック CI：標本分位数の漸近正規性に基づく。これらも、特に極端な分位数に対しては最小サンプルサイズの要件を持つ。
   • セミパラメトリック・ブートストラップ CI：分位数関数を用いて尾部へ外挿するセミパラメトリック分位数推定量（Hut02）を使用する。このアプローチは、尾部近傍の分位数における標準的なブートストラップの不安定性に対処しつつ、厳密なパラメトリック仮定を回避する。

実験デザイン

手法は以下の 2 つの主要な経路を通じて検証される：

1. 実データ使用事例：3 つの ML タスクが分析された：
   • シンプソンズキャラクター：画像分類（20 クラス）。
   • CIFAR10：画像分類（10 クラス）。
   • 超伝導体：回帰（臨界温度の予測）。
     各タスクにおいて、約 500～1,000 回のシード制御された反復実行が行われ、「真の値」となる経験的分布を生成した。これらから、現実的な制約をシミュレートし、推定量のパフォーマンスをテストするために、より小さな部分サンプル（$n=10, 15, 25, 50$）が抽出された。
2. シミュレーション研究：（精度などの指標に関連する）有界サポートを持つ分布および様々な形状（左に歪んだベータ分布、正規分布、正規混合分布）を用いた制御シミュレーションが実施され、既知の理論的条件下での手法の頑健性が検証された。

主要な結果

点推定

• バイアスと RMSE：標本分位数と線形補間推定量の両方は、低い相対バイアス（最大 $\approx 1\%$）を示し、比較可能な二乗平均平方根誤差（RMSE）を持つ。
• 分布の形状：推定は中央付近の分位数（0.5 周辺）ではより信頼性が高く、尾部分位数（例：0.05、0.95）ではより困難になる。
• 推定量の選択：テストされたサンプルサイズと分布において、標本分位数と線形補間推定量の間には実質的な実用上の差は見られなかった。

区間推定

• カバレッジとサンプルサイズ：
  • サンプルサイズが $n=25$ までの場合、信頼水準 0.90 が推奨される。より高い信頼水準（例：0.95 または 0.99）は、特に小規模な $n$ において精度を低下させる過度に長い区間をもたらす。
  • 正確および漸近 CI：これらの手法は、サンプルサイズの要件が満たされている場合に良好に機能する。しかし、小規模な $n$（例：$n=10$）における極端な分位数に対しては、有効な区間を生成できないことが多い。
  • ブートストラップ CI：セミパラメトリック・ブートストラップは、他の手法がサンプルサイズの制約により無効な場合の現実的な代替手段を提供する。これらはわずかに低い経験的カバレッジ（$n=10$ の場合 $\approx 0.85$ まで低下）と長い区間を示す可能性があるが、正確/漸近手法が計算不可能な場面で適用可能である。
• 非対称性：推定不確実性は非対称である。一般的に、同じ信頼水準において、下部分位数は上部分位数よりも大きなサンプルサイズを必要とする。これは、指標を変換する（例：精度に対して $-X$ を使用する）ことで関心対象の分位数を尾部へシフトさせることにより緩和できる。
• 平均との比較：平均に対する $t$ 区間は、一貫して短く安定した区間を生成する。しかし、論文は、平均は安定しているものの、尾部の挙動やリスクを捉え損なうと指摘している。提案された分位数 CI はより広くなるが、変動性や最悪ケースシナリオに関する必要な情報を提供する。
• 分布の影響：基礎となる分布の歪度や多峰性は、区間の長さに大きく影響する。例えば、歪んだ分布では、長い尾部にある分位数はより高い不確実性とより長い CI を示す。

意義と主張

本論文は、現実的な計算制約下で実行可能な分布論的評価の枠組みを提供することで、統計理論と ML 実践の間のギャップを埋めると主張する。

• リスク指向の解釈：主な貢献は、モデルパフォーマンスのリスク指向の視点を可能にすることである。平均に依存するのではなく、実務家は信頼区間によって支えられた確率的な主張（例：「精度が 90% 未満になるのは、最大 10% のケースに限られる」）を行うことができる。
• 小サンプルでの実現可能性：本研究は、反復トレーニングの高コストにより ML で一般的である小サンプルサイズ（$n \approx 10\text{--}25$）であっても、意味のある統計的推論が可能であることを実証している。
• 実用的適用性：提案された手法（特にノンパラメトリック漸近 CI とセミパラメトリック・ブートストラップ）は分布フリーであり、実装が容易で、分類および回帰の両方の指標に適用可能である。
• 差別化されたモデル比較：このアプローチは、モデルのよりニュアンスのある比較を可能にする。2 つのモデルが類似した平均パフォーマンスを持つ場合でも、その信頼区間は点推定では見逃される安定性や変動性における差異を明らかにしうる。

著者らは結論として、標準的な点推定は高リスクのアプリケーションには不十分であるが、提案された分布論的評価は、パラメトリック仮定を必要とせずに不確実性のより詳細な特徴付けを提供する標準的な ML ワークフローへの実用的な拡張であると述べている。