技術要約：スコアマッチングによるベイズ実験計画法

問題設定

ベイズ実験計画法（Bayesian Experimental Design: BED）は、ターゲットとなるパラメータ $\theta$ に関する期待情報量（Expected Information Gain: EIG）を最大化する実験デザイン $\xi$ を選択することを目的とする。逐次的な設定においては、**方策ベースのBED（Policy-based BED）が、履歴データに基づいてリアルタイムでデザインを提案する適応的な方策ネットワーク $\pi_\phi$ を学習することで、スケーラブルな解決策を提供する。しかし、このような方策の学習は、EIG目的関数に付随する二重の難解性（double intractability）**によって阻害される。EIGは、起こりうるデータに関する外側の期待値と、パラメータ（または周辺尤度）に関する内側の期待値の両方を含んでおり、これらは一般に計算困難である。

これを克服するための既存のアプローチ（例えば、Prior Contrastive Estimation: PCEなどの入れ子状モンテカルロ法や、変分近似など）は、しばしば膨大な計算コストを要する。具体的には、標準的な手法は入れ子状のサンプリング、あるいはEIG推定のための変分分布との共同学習を必要とする。これは**乗法的なコスト（multiplicative cost）**を生み出す。すなわち、計算量は方策の学習ステップ数と、EIG推定に必要な内側サンプルの数の積に比例して増大する。その結果、ハイパーパラメータチューニング、アーキテクチャ探索、あるいは局所最適解を避けるための複数回の学習再試行といった不可欠なタスクを行うことが、極めて困難になる。

手法：SCOREBED

著者らは、EIGの二重の難解さを方策学習プロセスから切り離す、二段階のアプローチであるSCOREBEDを提案する。核心となる洞察は、情報利得自体はデータ $(y_{1:T}, \xi_{1:T})$ に依存するが、そのデータを生成した方策パラメータ $\phi$ には独立しているという点である。

1. 理論的基礎

著者らは、EIG勾配の再パラメータ化された表現を導出している（定理1）。データ生成過程に再パラメータ化トリックを適用することで、方策パラメータ $\phi$ に関するEIGの勾配が以下のように表せることを示している：
$$\nabla_\phi I_T(\phi) = \mathbb{E}_{p(\theta)q(\epsilon)} \left[ \frac{d}{d\phi} \log p(y_{1:T} | \xi_{1:T}, \theta) - \frac{\partial}{\partial y_{1:T}} \log p(y_{1:T} | \xi_{1:T}) \frac{\partial y_{1:T}}{\partial \phi} - \frac{\partial}{\partial \xi_{1:T}} \log p(y_{1:T} | \xi_{1:T}) \frac{\partial \xi_{1:T}}{\partial \phi} \right]$$
決定的なのは、難解な項が周辺尤度のシュタイン・スコア（Stein score）（$\nabla_{y_{1:T}} \log p(y_{1:T} | \xi_{1:T})$）およびフィッシャー・スコア（Fisher score）（$\nabla_{\xi_{1:T}} \log p(y_{1:T} | \xi_{1:T})$）である点である。これらの項はデザインと観測量には依存するが、データが与えられた条件下では方策パラメータ $\phi$ とは条件付き独立である。

2. 二段階学習手順

SCOREBEDは、この独立性を利用して、最適化を二つの連続する「一重の難解な（singly intractable）」問題へと分割する。

• ステージ1：方策に依存しないスコアマッチング
  深層ニューラルネットワーク $s_\psi$ を用いて、難解な周辺スコアを近似学習する。著者らは、パラメータを条件とした尤度のスコアとネットワークの出力との間の平均二乗誤差を最小化する、教師あり回帰目的関数である**周辺スコアマッチング（Marginal Score Matching: MSM）**を導入している：
  $$J_{MSM}(\psi) = \mathbb{E}_{\xi, y, \theta} \left[ \| s_\psi(y, \xi) - \nabla_{y, \xi} \log p(y | \xi, \theta) \|^2 \right]$$
  このステージでは、結合分布 $q(\xi)p(\theta)p(y|\xi, \theta)$ からのサンプリングが必要となるが、これは実行可能である。得られるスコアネットワーク $s_\psi$ は、特定の個別の方策には依存しない固定された近似となる。

• ステージ2：方策の学習
  学習されたスコアネットワーク $s_\psi$ を、再パラメータ化されたEIG勾配の式に代入する。その後、この一重に難解な推定量を用いて、確率的勾配降下法により方策 $\pi_\phi$ を学習する。スコア近似が固定されているため、方策の学習において入れ子状のサンプリングや変分共同最適化を必要としなくなる。

3. 計算上の利点

このアプローチは、計算コストを乗法的（方策ステップごとの入れ子状サンプリング）から**加法的（スコアネットワークの学習コスト ＋ 方策の学習コスト）**へと変換する。スコアネットワークの学習にかかる先行コストは、複数の方策学習プロセスにわたって償却される。これにより、アーキテクチャ探索、ハイパーパラメータチューニング、あるいは局所最適解を回避するための複数の学習再試行を行う際、すべての方策イテレーションに対して難解な周辺尤度を再評価することなく、安価に複数の方策を訓練することが可能となる。

主な貢献

1. 難解さの分離： EIGの二重の難解さが、周辺尤度のスコアが方策に依存しないことを認識することで、方策学習から隔離できることを実証した。
2. SCOREBEDアルゴリズム： 難解な周辺スコアを事前にスコアマッチングによって学習し、効率的な一重の難解な方策学習を可能にする新しい手法を提案した。
3. 周辺スコアマッチング（MSM）： デザイン、観測、パラメータの結合分布を用いて、直接的に周辺尤度のスコアを学習するための特定の損失関数を導出した。
4. 理論的誤差境界： EIG勾配推定量の $\ell_2$ 誤差が、再パラメータ化写像のリプシッツ定数によってスケールされた、近似の平均スコア誤差によって抑えられることを示す証明（定理3）を提供した。

実験結果

著者らは、ソース位置特定（静的デザイン）、確率的振り子、カートポール、ダブルリンク（動的システム）、および付録の重力測定タスクの計4つのベンチマークタスクでSCOREBEDを評価した。

• 性能： 高次元の設定（例：$d=3, K=10$ のソース位置特定）において、SCOREBEDはPCEや共同学習された変分アプローチ（JointVarPost）を含む既存のベースラインを上回った。他のタスクにおいても、最先端の手法と同等の競争力のある性能を示した。
• 複数の方策学習： SCOREBEDの重要な知見は、同一の計算予算内で複数の方策の再試行（$P > 1$）を訓練できる点である。PCEのような手法は、$P$ が増加すると方策あたりの予算が比例して減少するが、SCOREBEDは高価なスコアマッチングのステップを共有しているため、複数の方策にわたって高い性能を維持できる。
• バイアス分析： 著者らは勾配推定量のバイアス・分散分解を分析した。SCOREBEDは、静的デザインタスクにおいて一般にPCEよりも低い勾配バイアスを示すことが分かり、これがより優れた方策性能と相関している。一方で、一部の動的システムでは、SCOREBEDの方が高いバイアスを示すことがあり、これは非マルコフ設定におけるヤコビアンの条件付けの感度に起因すると著者らは指摘している。

意義と主張

本論文は、SCOREBEDが既存の方策ベースBED手法に対する計算効率の高い代替案であることを主張している。二重に難解な問題を二つの一重に難解な問題に変換することで、方策学習の計算負荷を大幅に軽減している。

著者らは、この効率性が以下の、従来はコストが高すぎた実験デザインのワークフローにおける実用的な改善を可能にすることを強調している：

• アーキテクチャおよびハイパーパラメータ探索： 方策を安価に複数訓練できる能力により、より優れたネットワーク構成の探索が可能になる。
• 局所最適解の回避： 複数の学習再試行を実行することで、堅牢な方策の発見を確実にする。
• スケーラビリティ： スコアネットワークはパラメータ空間ではなく観測空間とデザイン空間で動作するため、入れ子状のサンプリング手法と比較して、パラメータの次元数に対してより良くスケールする。

結論として、著者らは、本手法が明示的な尤度と微分可能な再パラメータ化（この分野の典型的な仮定）に依存しているものの、広範なクラスのBED問題、特に尤度の評価が高コストである場合や、広範な方策チューニングが必要な場合に、実用的かつスケーラブルなアプローチを提供すると述べている。