Optimal Inference with Black-box Predictions

技术摘要：基于黑盒预测的最优推断

问题陈述
本研究旨在解决在存在辅助黑盒预测（关于数据分布的预测）的高维设定下，如何进行有效且高效的统计假设检验的问题。具体而言，作者研究了高斯序列模型，其中观测到 $n$ 个样本 $X_1, \dots, X_n \sim N(\theta, I_d/n)$ 以及 $m$ 个关于未知均值 $\theta \in \mathbb{R}^d$ 的固定黑盒预测 $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$。目标是检验零假设 $H_0: \theta = 0$ 与备择假设 $H_1: \|\theta\|_2 \geq \epsilon$。

这里存在一个核心矛盾：虽然有信息量的预测可以将统计功效集中在特定方向上，但糟糕的预测可能会误导检验。至关重要的是，在实践中，这些预测的准确度（误差半径）是未知的。本文旨在刻画在这种设定下进行推断的信息论极限，并开发能够适应未知预测准确度且不牺牲有效性的检验方法。

方法论与框架
作者采用极小极大（minimax）框架来分析区分 $H_0$ 与 $H_1$ 的难度。他们定义了“预知型”（oracle）设定，即预测准确度 $r = (r_1, \dots, r_m)$ 已知，以及“自适应型”（adaptive）设定，即准确度未知。

1. 预知型推断（Oracle Inference）： 当准确度已知时，备择假设被局限于球体的交集 $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$。作者根据交集 $S_\epsilon \cap B_r$（其中 $S_\epsilon$ 为半径为 $\epsilon$ 的球面）的几何性质刻画了最优分离速率 $\epsilon^*(r)$。

   • 他们引入了 $\gamma_*(\epsilon, r)$，即预测值张成的空间上，备择均值最小投影长度。
   • 他们定义了“最坏情况余弦相似度” $CS(\epsilon, r)$，用以衡量数据均值与预测空间之间的对齐程度。
   • 最优的预知型检验会在标准卡方检验（当预测无信息量时）与似然比检验或基于投影的检验（当预测有信息量时）之间进行切换。

2. 自适应推断（正交预测）： 当预测是正交且准确度未知时，作者提出了一种自适应检验，该检验通过在预测方向的张成空间上使用卡方统计量来聚合投影。他们分析了“自适应差距”（adaptivity gap）——即由于无法根据未知的准确度对方向进行加权，而导致在样本量上的代价。

3. 自适应推断（任意预测）： 对于非正交预测（例如来自同一模型通过重采样得到），标准的投影检验是次优的，因为它们平等地对待张成空间中的所有方向。作者提出了一种内禀投影检验（intrinsic projection test）。该方法根据预测矩阵 $\hat{U}$ 的奇异值对投影进行加权，特别利用了平方余弦相似度矩阵 $\Sigma = \hat{U}^T \hat{U}$。该检验统计量取决于 $\Sigma^2$ 的内禀维度，定义为 $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$，而非预测空间的环境维度。

主要贡献与结果

• 预知型极限（定理 1 & 2）： 作者刻画了预知型检验的最优样本复杂度。该速率取决于真值均值与预测空间之间的最坏情况余弦相似度。

  • 如果相似度较低（$CS \lesssim d^{-1/4}$），则预测不提供任何收益，速率保持为无预测时的速率 $n \gtrsim \sqrt{d}/\epsilon^2$。
  • 如果相似度较高，预知型检验可实现与维度无关的速率 $n \gtrsim 1/\gamma_*^2$，有效地将问题简化为一维检验。
  • 如果预测极其精确（球体不相交），则可实现参数化速率 $n \gtrsim 1/\|\theta^*\|^2$。

• 正交预测的自适应代价（定理 3 & 4）： 对于正交预测，作者证明自适应检验所需的样本量比预知型检验高出一个 $\sqrt{m}$ 倍的因子。

  • 自适应速率为 $n \gtrsim \sqrt{m}/\gamma_*^2$。
  • 这种差距源于自适应检验必须在所有 $m$ 个正交方向中搜索偏差，而预知型检验可以将它们聚合为一个最优方向。
  • 作者证明，在满足自然不变性属性（属性 1）的分离曲线中，这种 $\sqrt{m}$ 的依赖关系是极小极大的，这表明对于正交预测，“免费午餐”是不存在的。

• 任意预测的自适应（定理 5）： 对于非正交预测，作者表明自适应的代价取决于内禀维度（$Int(\Sigma^2)$），而非预测的数量 $m$ 或其张成的秩。

  • 使用内禀投影的自适应检验实现的速率为 $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$。
  • 由于 $Int(\Sigma^2) \leq \text{rank}(\hat{U})$，非正交预测（通常具有聚集性）可以显著降低自适应代价。
  • 论文表明，当预测之间共享大量信息（低内禀维度）时，自适应方法可以优于忽略这种结构的竞争方法。

意义与主张
本文声称为将黑盒预测集成到假设检验中提供了一个统一的原则。其主要贡献包括：

1. 刻画极限： 它确定了带有黑盒预测的推断的信息论极限，并根据几何对齐情况区分了预测有益与无益的机制。
2. 量化自适应代价： 它严谨地量化了“自适应代价”（即因不知道预测准确度而导致的样本量惩罚）。它揭示了对于正交预测，该代价随 $\sqrt{m}$ 缩放；而对于相关预测，它随内禀维度缩放。
3. 实用算法： 它提出了实用的自适应检验（基于投影和基于内禀投影的检验），这些检验可以自动调整权重分配。这些检验是有效的（保持第一类错误控制），并且在预测具有信息量时能实现最优功效。

作者将这项工作置于结构无关推断（structure-agnostic inference）和预测驱动推断（prediction-powered inference）的更广泛背景下，并将这些概念扩展到了假设检验领域。他们强调，虽然预测可以提高效率，但最优策略关键取决于预测与未知真值之间的几何关系，且对未知质量的自适应会带来特定的、可量化的代价。