A Bayesian-Geometric Reading of Classical Model-Based Optimal Design

技术摘要：经典基于模型的优化设计的贝叶斯-几何解读

问题陈述
经典的基于模型的实验设计（OED）准则——具体包括 D-、T-、L-、C- 和 A-最优性——传统上是通过克拉美-罗界（Cramér–Rao bound）来阐释的。在这一经典框架下，这些准则被定义为费舍尔信息矩阵（FIM）的标量函数 $F(\theta_0, \delta)$，旨在收缩极大似然估计量的渐近协方差。尽管这种方法行之有效，但它将这些准则视为对 FIM 进行的不同代数运算。本文试图提供一个互补且统一的“贝叶斯-几何”解读。核心问题在于证明这五种经典准则（以及第六种 E-最优性）是先验分布 $p(\theta)$ 与后验分布 $p(\theta | D, \delta)$ 之间预期差异性的前导阶渐近项（$N \to \infty$），其中 FIM 通过 Bernstein–von Mises (BvM) 极限进入该过程。

方法论
本文采用了一个渐近贝叶斯框架，假设模型结构是真实的，但参数 $\theta$ 是未知的。该方法论通过以下步骤进行：

1. 渐近设定： 本文假设满足标准正则条件，使得极大似然估计量（MLE）具有渐近高斯性。根据 BvM 定理，后验分布 $p(\theta | D, \delta)$ 收敛于以 MLE 为中心、协方差为 $N^{-1}F(\theta_0, \delta)^{-1}$ 的高斯分布。
2. 预期差异性目标： 设计目标被定义为先验与后验之间的预期差异性 $U(\delta)$，其中期望是针对真实数据生成分布 $p(D | \theta_0, \delta)$ 取的：
   $$U(\delta) = \mathbb{E}_{D|\theta_0, \delta} [d(p(\theta), p(\theta | D, \delta))]$$
   此处 $d$ 代表一种差异性度量（距离或散度）。
3. 通过特定差异性的推导： 本文通过选择特定的差异性函数和先验参数化方案，并对大样本 $N$ 下的预期差异性进行展开，从而推导出经典准则：
   • KL 散度（前向）： $d = \text{KL}(p(\theta|D) \parallel p(\theta))$。
   • KL 散度（反向）： $d = \text{KL}(p(\theta) \parallel p(\theta|D))$。
   • Wasserstein 距离： $d = W_2^2(p(\theta), p(\theta|D))$，具体使用了涉及矩阵平方根的二阶 Wasserstein 距离的一阶近似。
4. 先验参数化： 对于加权准则，高斯先验协方差 $\Sigma_0$ 被显式地选择以编码与特定最优性准则相关的权重矩阵（例如 L 或 c）。
5. 稳健化： E-最优性并非作为单一差异性极限的直接推导，而是作为 C-最优性针对感兴趣参数方向的不确定性的极大极小（min-max）稳健化结果。
6. 设计者先验 vs. 模型者先验： 该框架通过区分“设计者先验”（用于在设计时对可能的真实参数 $\theta_0$ 进行平均）和“模型者先验”（用于推理）进行了扩展。

核心贡献与结果

• 统一模板： 本文确立了 D-、T-、L-、C- 和 A-最优性是同一个贝叶斯-几何模板下的特例，其区别在于三个选择：差异性度量、先验参数化以及近似方案。
• D-最优性： 被恢复为前向 KL 散度 $\mathbb{E}[\text{KL}(p(\theta|D) \parallel p(\theta))]$ 的前导阶项。这重现了 Stone (1959) 以及 Chaloner 和 Verdinelli (1995) 的经典结果，即最大化信息增益等价于最大化 $\log \det F(\theta_0, \delta)$。
• T-最优性（迹）： 被新颖地推导为预期反向 KL 散度 $\mathbb{E}[\text{KL}(p(\theta) \parallel p(\theta|D))]$ 的前导阶项。本文表明，最大化 FIM 的迹 $\text{tr}(F(\theta_0, \delta))$ 对应于最小化反向 KL 散度，其中先验协方差充当权重矩阵。
• L-、C- 和 A-最优性： 被新颖地推导为预期平方 2-Wasserstein 距离的前导阶项。
  • L-最优性 源于先验协方差中一个通用的正定半定权重矩阵 $B$（其中 $B=LL^T$）。
  • A-最优性 在权重矩阵为单位矩阵的标量倍数时被恢复。
  • C-最优性 在权重矩阵为秩-1 矩阵（$B = \alpha^2 cc^T$）时被恢复，这对应于特定的线性感兴趣泛函。
• E-最优性： 被恢复为并非作为独立差异性极限，而是作为 C-最优性针对感兴趣参数向量 $c$ 方向的不确定性的极大极小稳健化。通过最大化 FIM 的最小特征值，该设计在设计者对模型者特定的线性感兴趣泛函存在不确定性时，能够防御最坏情况下的方向。
• 先验的区别： 本文澄清了“设计者先验”（针对 $\theta_0$）与“模型者先验”（针对 $\theta$）之间的区别。研究表明，当两者一致且差异性为前向 KL 散度时，该框架恢复了经典的预期信息增益（EIG）目标。

意义与主张
本文声称其主要贡献在于将所有五种经典准则置于这一统一的贝叶斯-几何模板之下。具体而言，作者指出，T-、L-、C- 和 A-最优性 的推导过程在各自的预期差异性下的表现呈现出新颖性。虽然通过 KL 散度恢复 D-最优性是一个已知结果，但本文通过展示不同的差异性度量（前向 KL vs. 反向 KL，以及 Wasserstein 距离）如何自然地导致不同的经典准则，提供了一个全新的视角。

该框架将这些准则定位为不是任意的代数选择，而是先验分布与后验分布之间的几何分离。本文谦虚地指出，虽然在 BvM 极限下的渐近推导在数学上是严谨的，但该方法依赖于大样本量（$N \to \infty$）和正确的模型设定。对于中等样本量 $N$，非高斯后验（例如在非线性模型中）可能会降低这些近似的准确性。本文并不旨在提出新的计算算法或具体的实验应用，而是提供了一种对现有设计准则的理论统一。