Sequential model confidence sets

技術要約：逐次的モデル信頼集合（Sequential Model Confidence Sets）

問題提起
統計的な予測および推定において、実務家は、ユーザーが指定した損失関数に基づいて、候補集合（$M_0 = \{1, \dots, m\}$）から最適なモデル（またはモデル群）を選択するという課題に直面することがよくあります。Hansenら（2011年）によって提案された標準的な手法であるモデル信頼集合（MCS）は、与えられた信頼水準で最良のモデルを含む部分集合へと候補集合を縮小します。しかし、古典的なMCSには、現実世界の予測シナリオとは相反する2つの制約的な仮定があります。

1. 固定されたサンプルサイズ： 事前に指定された固定の評価期間を想定していますが、モデル選択や予測評価は本質的に逐次的なタスクであり、データは時間の経過とともに到着し、研究の継続または停止に関する決定は中間的な結果に依存します。
2. 定常性： 観測された損失差のシーケンスが定常であることを想定していますが、モデルが進化したり、誤りを修正したり、時間の経過とともに系統的なバイアスに適応したりする場合、この仮定はしばしば破られます。

さらに、古典的なMCSはブートストラップ近似と漸近的な中心極限定理（CLT）の性質に依存しており、漸近的な被覆保証しか提供できず、高い計算コストを要します。したがって、時間一様（time-uniform）かつ非漸近的な被覆保証を備えた、モデル性能の継続的なモニタリングを可能にする手法が求められています。

手法
著者らは、e-プロセスと信頼シーケンスを用いて、MCSの枠組みを逐次的設定へと一般化した**逐次的モデル信頼集合（SMCS）**を提案しています。この手法は、「安全な随時有効な推論（safe anytime-valid inference）」に基づいて構築されており、分析をいつ停止したとしても妥当性が保証されます。

核となるアプローチは、モデルの性能に関する異なる仮説に対応する、3つの異なる「優越」の定義に基づいています。

1. 強固に優越している（$M_{s,\star}$）： 条件付き期待損失差（$\mu_{ij,t} \le 0$）に関して、あらゆる時点において他のすべてのモデルよりも優れているモデル。
2. 一様に弱く優越している（$M_{uw,\star}$）： すべての時点を通じて平均的に（$\Delta_{ij,t} \le 0$）他のすべてのモデルよりも優れているモデル。
3. 弱く優越している（$M_{w,\star,t}$）： そこまでの平均損失に基づき、特定の時点 $t$ において他のすべてのモデルよりも優れているモデル。

SMCSの構築：

• 強固および一様に弱い仮説に対して： 著者らは、条件付き有界または一様に有界な損失差を仮定の下で、e-プロセス（具体的には Howard et al., 2020 および Choe and Ramdas, 2023 によるもの）を利用します。複数のペア比較におけるファミリーワイズ誤差率を制御するために、算術平均を用いた e-マージング関数による**閉包原理（closure principle）**を採用しています。対応する e-プロセスが閾値（$1/\alpha$）を超えた場合、そのモデルは SMCS から除外されます。
• 弱い仮説に対して： この構築は、時間一様信頼シーケンスに依存しています。著者らは、平均損失差のベクトルに対する信頼領域を定義します。信頼領域が、そのモデルが優越している半空間と交差しない場合、そのモデルは除外されます。
• 非有界な損失の扱い： 有界でない損失関数（例：非有界なサポートを持つ CRPS）に対しては、条件付き有界な差への変換を提案し、それらを一様に有界なものにスケーリングすることで、導出された e-プロセスの適用を可能にします。

主な貢献

1. 逐次的拡張： 本論文は、MCS の概念を逐次的フレームワークへと拡張し、固定されたサンプルサイズを必要とせずに、モデル性能の継続的なモニタリングを可能にします。
2. 時間一様な保証： 提案された SMCS は、時間一様かつ非漸近的な被覆保証を提供します。これは、真に優れたモデルが含まれる確率が、すべての時点において同時に少なくとも $1-\alpha$ であることを意味し、点ごとの漸近的被覆よりも強力な保証です。
3. 最小限の仮定： これらの手法は、最小限の分布仮定（劣ガウス的または劣指数的な損失差）に依拠しており、計算コストの高いブートストラップ近似を必要としません。
4. 優越性の定義の柔軟性： 本フレームワークは、3つの異なる優越の概念を受け入れ、研究者がアプリケーションの文脈（入れ子状の情報セットか、進化するモデル性能かなど）に最も適した仮説を選択できるようにします。

結果
著者らは、シミュレーション研究と2つの実世界のケーススタディを通じて、本手法の妥当性を検証しています。

• シミュレーション：
  • シミュレーション 1 (強固な仮説): 49 個の予測器を用い、SMCS は真の最良モデルに対して 100% の被覆率を達成し、保守的ではあるが妥当な性能を示しました。SMCS の平均的なサイズは時間の経過とともに減少しました。
  • シミュレーション 2 (一様に弱い仮説): 最良のモデルが（各時点ではなく）平均的にのみ優れていたシナリオにおいて、SMCS は一様に弱く優越しているモデルを正しく特定しましたが、強固な仮説では空集合が得られました。
  • シミュレーション 3 (弱い仮説): 最良のモデルが時間の経過とともに変化する（悪化 $\to$ バイアス $\to$ 改善）設定において、弱い仮説に基づく SMCS は、相対的な性能の変化に応じてモデルを含めたり除外したりしながら、変化する優越モデルを正常に追跡しました。
• ケーススタディ 1 (Covid-19 予測): Covid-19 Forecast Hub の 69 モデルに適用しました。SMCS（強固な仮説の下）は、アンサンブルモデルが継続的に優れていることを特定し、特定の疫学モデル（例：PSI-draft）を比較的早期に却下しました。これは、政策決定における逐次的モニタリングの有用性を示しており、固定されたサンプルサイズを待つことなく、パフォーマンスの低いモデルを早期に却下することを可能にします。
• ケーススタディ 2 (風速予測): 9 つの風速後処理手法に適用しました。弱い仮説の下で、SMCS は、一部のモデルが当初は劣っていたものの、基礎となる数値予報モデル（NWP）の更新後に再び競争力を持つようになったことを明らかにしました。この動的な挙動（モデルが信頼集合に再参入すること）は、固定サンプルまたは強固な仮説のアプローチでは見逃されていたはずです。

意義と主張
本論文は、逐次的モデル信頼集合が、特に動的な環境において、従来のモデル選択に代わる統計的に厳密な選択肢を提供すると主張しています。

• 随時妥当性（Anytime-Validity）： 主要な意義は、タイプ I 誤差を膨張させることなく「いつでも停止できる」ことであり、これは疫学や気象学における継続的なモニタリングにおいて極めて重要な機能です。
• 非定常性の処理： 強固、一様に弱い、および弱い優越性を区別することで、本手法はモデルが進化する可能性を認めています。これにより、あらゆる瞬間に支配的であることを要求するのではなく、平均的または一時的に優越しているモデルを検出することを可能にします。
• 実用的な有用性： 著者らは、本手法が、緊急事態（パンデミックなど）における定期的なモデル評価という一般的な慣行に対して、理論的な正当性を与えるものであると主張しています。これは、選択の不確実性を尊重しつつ、現在の知識の状態に基づいて意思決定を行うために、証拠を逐次的に収集することを可能にします。

著者らは、焦点は有界な損失差に置いているものの、理論は厳密にはこれらに限定されないことを述べ、さらなる研究が必要であるとして、控えめな姿勢を保っています。また、手法はファミリーワイズ誤差率を制御するものの、将来の研究では、より高い検出力を得るための偽発見率（FDR）制御を探索できる可能性があることも認めています。