テクニカル・サマリー：選択すべきか、否か：モデル選択に代わる予測的一貫性を持つ事前分布

問題提起

ベイズモデリングのワークフローにおいて、実務家はモデルの複雑さと汎化性能の間のトレードオフに直面することがよくあります。統計学的な伝承では、有限のデータレジームにおいて過学習を避けるためには、より単純なモデルを選択すること（簡潔性）が必要であると示唆されています。しかし、モデル選択自体が不安定性の原因となり、使用する基準に応じて過学習や学習不足を助長する「選択によるバイアス」を導入する可能性があります。

本稿で扱う核心的な問題は、いつモデル選択が必要であり、いつ不要、あるいは有害であるのかを判断することです。著者らは、より単純なモデルを選択する必要性を感じさせる要因が、モデル構造そのものに起因するのか、それともモデルの複雑さが増すにつれて妥当性を維持できなくなる不適切な事前分布の指定に起因するのかを調査しています。具体的には、共変量を追加したり非線形性を高めたりした際に、事前分布の選択が予測性能の安定性にどのように影響するかを検証しています。

手法

理論的枠組み

本論文は、**予測的一貫性を持つ事前分布（predictively consistent priors）**という概念を定式化しています。著者らは、複雑さ $d$（例：予測因子の数や基底関数の数）が増加する一連の入れ子状のモデル $\{M_d\}$ を定義しています。そして、この系列における事前分布に対して以下の2つの重要な特性を導入しています。

1. 二次的な予測的一貫性（Second-Order Predictive Consistency）： 事前分布の系列が予測的に一貫しているとは、誘導された信号分布（体系的成分 $\eta_d$）の分散が、グローバルに有界であり、$d \to \infty$ のときに有限の極限に収束することを指します。形式的には、$\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ かつ $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$ です。これにより、モデル成分を追加しても事前予測分布が爆発したり、無意味なものになったりしないことが保証されます。
2. 予測的簡潔性（Predictive Parsimony）： 連続する誘導された信号分布間のカルバック・ライブラー（KL）ダイバージェンスが総和可能であることを要求する、より弱い条件です。著者らは、予測的簡潔性だけでは分散の爆発を防ぐには不十分であることを示しています（例：独立な正規事前分布は簡潔性を満たしますが、一貫性は満たしません）。

これらを、標準的な独立正規事前分布（例：$\beta_j \sim \mathcal{N}(0, \tau^2)$）と対比させています。独立正規事前分布は、予測的一貫性を逸脱することが多いことを著者らは示しています。なぜなら、全信号の分散が予測因子の数（$d\tau^2$）に応じて線形に増加し、非現実的な事前予測分布を招くためです。

実験設計

著者らは、シミュレーションデータを用いた4つの実験設定を通じて、これらの概念を評価しています。

1. ロジスティック回帰における共変量の追加： すべての共変量が含まれる高密度なレジーム。独立正規事前分布と、R2D2事前分布（ベイズ $R^2$ に対して事前分布を置くもの）を比較します。
2. 前方ステップワイズ選択： 一部の共変量のみが関連する疎なレジーム。独立正規事前分布を用いた前方選択と、R2D2事前分布、および投影予測推論（projpred）を比較します。
3. 非線形複雑さの増大： 単一予測因子を設定し、多項式の次数を増やしていく設定（生の多項式、直交多項式、薄板スプライン、およびヒルベルト空間近似ガウス過程）。
4. ランダム化比較試験（RCT）： 高次元の共変量を条件付けつつ、処置効果を推定する因果推論の設定。結合事前分布（すべての係数に対するR2D2）と、分割事前分布（共変量にはR2D2、処置には独立正規分布）を比較します。

性能は、テストデータが利用できない場合にPSIS-LOO-CVを用いて推定される、独立したテストデータに対する期待対数予測密度（elpd）によって測定されます。

主な貢献

1. 予測的一貫性を持つ事前分布の定式化： 本論文は、モデルの複雑さが増しても安定した予測的含意を維持する事前分布の厳密な数学的定義を提供しています。これは、「簡潔性」（複雑さにペナルティを課すこと）と「予測的一貫性」（事前予測分布のスケールを制御すること）を区別しています。
2. 有害な選択のデモンストレーション： 予測的一貫性を持つ事前分布を使用する場合、より単純なモデルを選択することはしばしば不要であることを著者らは示しています。多くの実験において、一貫した事前分布を持つフルモデル（完全なモデル）は、選択された単純なモデルと同等、あるいはそれを上回る性能を示します。逆に、モデル選択が「助けになる」（つまり、単純なモデルの方が性能が良い）ように見える場合、それはモデル構造自体に欠陥があるのではなく、複雑なモデルに対する事前分布の指定が不適切であった（例：非現実的な値に過剰な質量を置いていた）ことを示していることが多いのです。
3. R2D2および関数空間事前分布による解決策： 著者らは、予測的一貫性を以下のように具体化しています。
   • R2D2事前分布： 分散の割合（$R^2$）に対して事前分布を置くことで、誘導された係数の事前分布が自動的にスケール調整され、予測因子の追加に伴う分散の爆発を防ぎます。
   • 関数空間事前分布： ガウス過程やペナルティ付きスプラインは、関数の周辺分散を制限することで、自然に予測的一貫性を満たすことが示されています。
4. 因果推論への示唆： RCTの設定において、結合R2D2事前分布は、共変数の数（$p$）が増えるにつれて処置係数の推定に深刻なバイアスを導入することが明らかになりました。これは、処置係数の過度な縮小を引き起こすためです。このことは、予測には予測的一貫性が不可欠である一方で、因果推論においては、特定のパラメータに対する意図しない縮小を避けるために事前分布を分割する必要があることを浮き彫りにしています。

結果

• 線形およびロジスティック回帰： 共変数を追加する実験において、独立正規事前分布を用いたモデルは、予測因子の数が増えるにつれて（爆発する事前分散により）アウトオブサンプル予測性能（elpd）が急激に低下しました。対照的に、R2D2事前分布を用いたモデルは、真のモデルサイズまで安定した性能を維持しました。
• 前方選択： 独立正規事前分布を使用する場合、過学習を避けるために前方選択は早期に停止することが多いですが、その結果得られたモデルは、R2D2事前分布を用いたフルモデルよりも依然として性能が劣っていました。R2D2事前分布を用いることで、性能を低下させることなくすべての共変量を使用することが可能となりました。
• 非線形モデリング： 独立事前分布を用いた生の多項式回帰は、次数が高くなるにつれて事前予測分散が爆発し、テスト性能が悪化しました。ペナルティ付き薄板スプラインおよびHSGP（これらは予測的一貫性を持つ）は、安定していました。
• 因果推論： RCTの実験において、結合R2D2事前分布は、共変数の数（$p$）が増加するにつれて、処置効果の推定に深刻な下方バイアスをもたらし、良好な被覆率が得られませんでした。「分割」事前分布（共変量にはR2D2、処置には固定正規分布）が、共変量からの分散減少を提供しつつ、バイアスを導入しないという、最良のバランスを実現しました。

意義と主張

本論文は、複雑さを管理するためにモデル選択に頼る伝統的な手法は、多くの場合、不適切な事前分布の指定に対する回避策に過ぎないと主張しています。著者らは、予測的一貫性を持つ事前分布を使用すれば、事前分布が理にかなった事前予測分布を維持するように指定されている限り、過学習を恐れることなく、利用可能なすべての情報をモデルに組み込むことが可能であると述べています。

実務家にとっての主要な教訓は以下の通りです。

• 結合事前分布の指定： モデル構成要素間の独立性の仮定は、安全なデフォルトではありません。それらは、非常に情報量が多く非現実的な結合事前分布を暗示する可能性があります。
• 事前予測チェック： 事前分布が非現実的な値に過剰な質量を置いているかどうかを検出するために、結合量（例：事前 $R^2$）をチェックすることは不可欠です。
• 選択の再評価： もしモデル選択がより単純なモデルを支持する場合、それは簡潔性の真の必要性を示すのではなく、複雑なモデルに対する不適切な事前分布の兆候である可能性があります。
• 文脈による違い： 予測的一一貫性は予測において極めて重要ですが、因果推論においては、どのパラメータを縮小すべきかを慎重に検討する必要があります。予測的一貫性を持つ結合事前分布であっても、特定の因果パラメータに対してはバイアスを生じさせる可能性があります。

著者らは、目標とすべきは、選択を通じてコンポーネントレベルでスパース性を強制することではなく、モデルが複雑になるにつれて予測空間において理にかなった状態を維持する事前分布を指定することであると結論付けています。このアプローチは、より安全で反復的なモデル拡張のワークフローをサポートします。