A Bayesian-Geometric Reading of Classical Model-Based Optimal Design

技術的要約：古典的なモデルベース最適設計に関するベイズ・幾何学的解釈

問題提起
古典的なモデルベース最適実験計画（OED）の基準（具体的にはD-, T-, L-, C-, およびA-最適性）は、伝統的にクラメール・ラオの下限を通じて動機付けられている。この古典的な枠組みにおいて、これらの基準は、フィッシャー情報行列（FIM）のスカラ関数として定義され、最大尤度推定量の漸近共分散を縮小させることを目的としている。この視点は効果的ではあるものの、これらの基準をFIMに対する個別の代数的操作として扱っている。本論文は、これらに対し、補完的かつ統一的な「ベイズ・幾何学的」な読み解きを提供することを目的とする。中心となる問題は、これら5つの古典的な基準（および第6のE-最適性）が、事前分布 $p(\theta)$ と事後分布 $p(\theta | D, \delta)$ の間の期待不相似度の、ベルンシュタイン＝フォン・ミーゼス（BvM）極限を通じた主要項（$N \to \infty$）として現れることを示すことである。

手法
本論文は、モデル構造は真であると仮定するが、パラメータ $\theta$ は未知であるという漸近的ベイズ枠組みを採用している。手法は以下のステップに従って進行する：

1. 漸近的セットアップ： 本論文は、最大尤度推定量（MLE）が漸近的にガウス分布に従う標準的な正則条件を仮定している。BvM定理により、事後分布 $p(\theta | D, \delta)$ は、共分散 $N^{-1}F(\theta_0, \delta)^{-1}$ を持つMLEを中心とするガウス分布に収束する。
2. 期待不相似度目的関数： 設計の目的は、事前分布と事後分布の間の期待不相似度 $U(\delta)$ として定義される。ここで、期待値は真のデータ生成分布 $p(D | \theta_0, \delta)$ に関して取られる：
   $$U(\delta) = \mathbb{E}_{D|\theta_0, \delta} [d(p(\theta), p(\theta | D, \delta))]$$
   ここで、$d$ は不相似性の尺度（距離またはダイバージェンス）を表す。
3. 特定の不相似性による導出： 本論文では、特定の不相似性関数と事前分布のパラメータ化を選択し、その後、大きな $N$ に対して期待不相似度を展開することで、古典的な基準を導出する：
   • KLダイバージェンス（順方向）： $d = \text{KL}(p(\theta|D) \parallel p(\theta))$。
   • KLダイバージェンス（逆方向）： $d = \text{KL}(p(\theta) \parallel p(\theta|D))$。
   • ワッサースタイン距離： $d = W_2^2(p(\theta), p(\theta|D))$。具体的には、行列平方根を含む2次ワッサースタイン距離の一次近似を用いる。
4. 事前分布のパラメータ化： 重み付き基準の場合、ガウス事前分布の共分散 $\Sigma_0$ は、特定の最適性基準に関連する重み行列（Lまたはcなど）を符号化するように明示的に選択される。
5. ロバスト化： E-最適性は、単一の不相似性の直接的な極限としてではなく、関心の対象となるパラメータの方向に関する不確実性に対するC-最適性のミニマックス・ロバスト化として導出される。
6. 設計者の事前分布 vs モデルラーの事前分布： 本フレームワークは、「設計者の事前分布」（設計時に起こりうる真のパラメータ $\theta_0$ を平均化するために使用されるもの）と「モデルラーの事前分布」（推論のために使用されるもの）を区別するように拡張されている。

主な貢献および結果

• 統一テンプレート： 本論文は、D-, T-, L-, C-, およびA-最適性が、不相似性の尺度、事前分布のパラメータ化、および近似スキームという3つの選択肢によって区別される、単一のベイズ・幾何学的テンプレートの特殊なケースであることを確立した。
• D-最適性： 期待順方向KLダイバージェンス $\mathbb{E}[\text{KL}(p(\theta|D) \parallel p(\theta))]$ の主要項として回収される。これは、情報利得の最大化が $\log \det F(\theta_0, \delta)$ の最大化に対応するという古典的な結果（Stone, 1959; Chaloner and Verdinelli, 1995）を再現している。
• T-最適性（トレース）： 期待逆方向KLダイバージェンス $\mathbb{E}[\text{KL}(p(\theta) \parallel p(\theta|D))]$ の主要項として、新規に導出された。本論文は、FIMのトレース $\text{tr}(F(\theta_0, \delta))$ を最大化することが、逆方向KLダイバージェンスを最小化することに対応することを示しており、その際、事前分布の共分散が重み行列として機能する。
• L-, C-, およびA-最適性： 期待2次ワッサースタイン距離の主要項として、新規に導出された。
  • L-最適性は、事前分布の共分散における一般的な半正定値重み行列 $B$（ここで $B=LL^T$）から生じる。
  • A-最適性は、重み行列が単位行列のスカラ倍である場合に回収される。
  • C-最適性は、重み行列がランク1（$B = \alpha^2 cc^T$）であり、特定の線形関数の関心に対応する場合に回収される。
• E-最適性： 単独の不相似性の極限としてではなく、C-最適性のミニマックス・ロバスト化として回収される。FIMの最小固有値を最大化することにより、設計者がモデルラーの特定の線形関数の関心について不確実である場合でも、パラメータベクトル $c$ のワーストケースの方向に対して設計を保護する。
• 事前分布の区別： 本論文は、設計者の事前分布（$\theta_0$ に関するもの）とモデルラーの事前分布（$\theta$ に関するもの）の区別を明確にしている。これらが一致し、かつ不相似性が順方向KLダイバージェンスである場合、このフレームワークが古典的な期待情報利得（EIG）の目的関数を回収することを示している。

意義および主張
本論文の主要な貢献は、これら5つの古典的な基準を、この統一されたベイズ・幾何学的テンプレートの下に提示することである。特に著者は、T-, L-, C-, およびA-最適性の導出は新規であると述べている。D-最適性がKLダイバージェンスを通じて回収されることは既知の結果であるが、本論文は、異なる不相似性の尺度（順方向 vs 逆方向KL、ワッサースタイン）がどのように自然に異なる古典的基準へと導かれるかを示すことで、新たな視点を提供している。

このフレームワークは、これらの基準を、単なる恣意的な代数的選択としてではなく、事前分布と事後分布の間の幾何学的な分離として位置づけている。著者は、BvM極限の下での漸近的導出は厳密であるものの、このアプローチは大規模なサンプルサイズ（$N \to \infty$）および正しいモデル指定に依存していることを謙虚に認めている。また、中程度の $N$ においては、非ガウス的な事後分布（例えば非線形モデルにおいて）がこれらの近似の精度を低下させる可能性があることも認めている。本論文は、新しい計算アルゴリズムや特定の実験的応用を提案するものではなく、既存の設計基準の理論的な統一を提供するものである。