Active Hypothesis Testing under Computational Budgets with Applications to GWAS and LLM

1. 研究背景与问题定义

核心问题：
在大规模假设检验（如全基因组关联分析 GWAS、大规模 A/B 测试）中，计算精确的 $p$ 值或 $e$ 值往往需要巨大的计算资源或昂贵的实验成本。然而，现有的统计推断方法通常假设所有假设都能获得精确统计量，忽略了**计算预算（Computational Budget）**的限制。

具体挑战：

• 资源受限： 研究者通常只能计算有限数量（$n_b \ll N$）的精确统计量。
• 辅助信息利用： 存在大量廉价但可能不可靠的“辅助统计量”（如预测模型的输出、低精度传感器数据、粗略的基因表达数据等），它们能提供关于假设重要性的线索，但本身不足以进行正式推断。
• 现有方法局限： 传统的加权多重检验或两阶段筛选方法通常假设精确 $p$ 值已知，或者在筛选后直接丢弃未通过检验的假设（导致无法进行正式推断），且无法严格保证总计算成本不超过预设预算。

目标：
构建一个通用的框架，利用廉价的辅助统计量，在严格满足全局计算预算约束的前提下，为每一个假设生成有效的统计量（$p$ 值或 $e$ 值），从而最大化统计功效（Statistical Power）。

---

2. 方法论：主动假设检验框架

该论文提出了一种**数据自适应（Data-adaptive）**的主动推断框架，核心思想是通过控制函数动态决定是计算昂贵的“金标准”统计量，还是使用变换后的辅助统计量。

2.1 基本设定

• 设有 $N$ 个假设，每个假设 $i$ 对应：
  • 昂贵统计量 ($X_i$)： 精确的 $e$ 值 ($E_i$) 或 $p$ 值 ($P_i$)，计算成本高。
  • 廉价辅助统计量 ($X^a_i$)： 易获取，可能包含噪声或偏差，但能提供信号。
• 预算约束： 总计算次数 $\sum_{i=1}^N C_i \le n_b$，其中 $C_i \in \{0, 1\}$ 是是否计算 $X_i$ 的指示变量。

2.2 主动统计量构建 (Active Statistics)

框架的核心是构造一个主动统计量，它根据辅助统计量 $X^a_i$ 和随机变量 $U \sim \text{Uniform}(0,1)$ 决定输出形式。

• 控制函数 $h(\cdot)$： 将辅助统计量映射为计算昂贵统计量的概率。
• 构造逻辑：
  • 若 $U < h(X^a_i)$：计算昂贵统计量 $X_i$，输出为缩放后的 $X_i$。
  • 若 $U \ge h(X^a_i)$：不计算 $X_i$，输出为基于 $X^a_i$ 的变换值。

具体形式：

1. 主动 $e$ 值 (Active e-value)：
   $$E_{\text{active}} = \begin{cases} \frac{\beta}{1-h(E^a)} & \text{if } U \ge h(E^a) \\ \frac{1-\beta}{h(E^a)} \cdot E & \text{if } U < h(E^a) \end{cases}$$
   其中 $\beta \in [0,1]$ 是超参数。该构造保证了 $E[E_{\text{active}}] \le 1$。

2. 主动 $p$ 值 (Active p-value)：

   • 独立情形： 若 $P$ 与 $P^a$ 独立，构造更激进，功效更高。
   • 一般依赖情形： 若存在任意依赖，需采用更保守的缩放因子（基于 $h(\cdot)$ 的上确界），以保证有效性。
     $$P_{\text{active}} = \begin{cases} \frac{1-h(P^a)}{\beta} & \text{if } U \ge h(P^a) \\ \frac{\sup h}{1-\beta} \cdot P & \text{if } U < h(P^a) \end{cases}$$

2.3 预算分配策略 (Budget Allocation)

为了严格满足 $\sum C_i = n_b$，论文提出了一种归一化分配方案：

1. 效用函数 $u_i(\cdot)$： 根据辅助统计量定义每个假设的优先级（如 $u_i(x) = x$ 用于直接信号，$u_i(x) = 1/(x+\epsilon)$ 用于逆信号）。
2. 控制概率计算：
   $$h_i(X^a) = n_b \cdot \frac{u_i(X^a_i)}{\sum_{j=1}^N u_j(X^a_j)}$$
   通过自适应压缩（如对数变换）确保 $h_i \in [0,1]$。
3. 依赖采样 (Dependent Sampling)： 使用 Proposition 3 中的算法（基于累积和与均匀随机数），生成满足边缘概率为 $h_i$ 且总和严格等于 $n_b$ 的指示变量序列 $C_1, \dots, C_N$。这解决了独立采样导致预算随机波动的问题。

---

3. 主要贡献

1. 严格的预算约束框架：
   提出了首个能在每一次运行中都严格满足预设全局预算 $n_b$ 的主动检验框架，区别于以往随机预算消耗的方法。

2. 理论最优性与可行性：

   • $e$ 值： 证明了在给定控制函数下，提出的构造是点态最优的（Point-wise optimal）。
   • $p$ 值： 在独立假设下证明了最优性；在一般依赖下证明了容许性（Admissibility），即不存在其他有效构造能严格优于该构造。
   • 证明了不存在 universally optimal 的控制函数或超参数 $\beta$，不同选择在不同数据生成机制下各有优劣，但框架本身是稳健的。

3. 模型无关性 (Model-free)：
   对辅助统计量的分布不做任何假设，使其能够无缝集成来自黑盒系统（如大型语言模型 LLM）的复杂信息。

4. 与现有工作的对比：
   证明了 Xu et al. (2025b) 的代理计算框架是该框架的特例，且本文框架在统计功效上具有优势（特别是在 $e$ 值构造上）。

---

4. 实验结果

论文通过模拟实验和两个真实世界应用验证了方法的有效性。

4.1 模拟实验

• 设置： 比较了本文方法（Active-Default）、随机采样（Random）、Xu et al. (2025b) 方法（Xu）及其混合变体（Active-Xu）。
• 指标： 假阳性率（FDR）、真阳性率（Power）、查询次数（Queries）、效率（Efficiency = 真阳性数/查询次数）。
• 发现：
  • 预算控制： Active-Default 和 Active-Xu 严格遵循预算，而 Xu 方法在信号密度高时查询次数远超预算。
  • 效率： 在固定预算下，Active-Default 的效率最高，随着真实信号比例增加，其优势更加明显。
  • 鲁棒性： 即使在辅助统计量噪声较大或相关性复杂的情况下，该方法仍能保持高效。

4.2 真实应用案例

1. 心肌梗死 GWAS (Myocardial Infarction GWAS)：

   • 场景： 利用高血压（HTN）的公开汇总统计数据（廉价辅助）来指导心肌梗死（MI）的 SNP 筛选（昂贵目标）。
   • 结果： 在有限预算下，该方法比随机采样和 Xu 方法发现了更多与 MI 相关的已知风险位点（如 9p21.3 位点），显著提高了资源回报率。

2. 心肌梗死并发症预测 (LLM 辅助)：

   • 场景： 预测住院死亡率。某些关键特征（如慢性心力衰竭诊断）获取成本极高。利用 Gemini 3.1 Pro (LLM) 根据其他临床数据推断缺失特征，生成辅助 $p$ 值。
   • 结果： 在严格限制昂贵特征查询次数（$n_b=100$）的情况下，Active-Default 在控制 FDR 的同时，实现了最高的真阳性发现效率，证明了 LLM 生成的辅助信息在统计推断中的巨大潜力。

---

5. 意义与影响

• 理论意义： 填补了统计推断中“计算预算”与“统计有效性”结合的理论空白，建立了主动统计量的最优性与容许性理论。
• 实践价值：
  • 资源优化： 为基因组学、药物研发等昂贵实验领域提供了在有限资源下最大化发现能力的标准化工具。
  • AI 融合： 展示了如何将大语言模型（LLM）等生成式 AI 的预测能力转化为统计推断中的有效辅助信息，而无需牺牲推断的严谨性。
  • 通用性： 框架适用于各种依赖结构（独立或任意相关），可灵活对接现有的多重检验校正方法（如 BH, BY, e-BH 等）。

总结：
该论文提出了一种理论严谨、计算高效且灵活的主动假设检验框架。它通过巧妙利用廉价辅助信息来指导昂贵计算资源的分配，在严格保证统计有效性和预算约束的前提下，显著提升了大规模科学发现（如 GWAS）和 AI 辅助诊断的效率。