技术摘要：利用可靠的人工智能信息先验强化贝叶斯推断

问题陈述

现代预测系统，特别是机器学习（ML）和基础模型，能够生成关于科学感兴趣量的信息性输出。在数据受限的场景中，利用这些输出进行贝叶斯先验 elicitation（elicitation 指先验的确定或 elicitation 过程），为显著统计效率提供了一条途径。然而，存在一个根本性的张力：虽然从机器学习系统导出的信息性先验可以集中后验质量并减少方差，但它也存在将机器学习模型的系统性误差（校准偏差）传播到后验分布中的风险。如果机器学习系统的信念存在偏差，强先验会将后验推向远离真实参数的方向，从而使推断不可靠。核心挑战在于如何纳入人工智能生成的信息以提高效率，同时不牺牲推断的有效性或不引入不受控制的偏差。

方法论

作者提出了一个人工智能信息先验 elicitation框架，通过在将人工智能诱导的规律用于构建先验之前对其进行“校正”，以缓解这种张力。该方法论围绕三个关键组件展开：

1. 校正基础测度构建：
   作者引入了一个校正器（$T_\eta$），而不是直接使用人工智能插补数据的原始分布（$P_{AI}$）作为狄利克雷过程（DP）先验的基础测度。这是一个数据依赖的映射，将 $P_{AI}$ 转换为校正后的基础测度 $P_{\hat{\eta}_m} = T_{\hat{\eta}_m}(P_{AI})$。

   • 校正器是使用一个小规模的标记校准样本（$m$）学习得到的。
   • 目标是使由校正测度诱导的估计方程与真实数据生成过程（$P_0$）的估计方程保持一致。具体而言，该方法旨在最小化得分差异 $\|(P_0 - P_{\hat{\eta}_m})g_{\theta_0}\|$，其中 $g_\theta$ 是损失函数的梯度。
   • 讨论了两种主要的校正策略：
     • 分位数映射： 对于单变量结果，这将人工智能插补结果的边缘分布传输以匹配校准数据，同时保持秩顺序。
     • 目标校正： 这将与损失函数相关的具体矩（例如，平方误差损失的均值匹配）对齐，以确保在真实分布下得分方程匹配。

2. 校正人工智能先验与后验：
   校正后的测度 $P_{\hat{\eta}_m}$ 作为狄利克雷过程先验的基础测度：$P_0 \sim \text{DP}(\alpha, P_{\hat{\eta}_m})$。

   • 集中参数 $\alpha$（缩放为 $\gamma = \alpha/n$）控制先验相对于标记数据的强度。
   • 后验采样通过后验自举（posterior bootstrap）执行，该过程利用了 DP 先验的共轭性。这允许通过最小化标记数据和从校正基础测度生成的合成数据上的加权和损失，实现令人尴尬的并行采样。

3. 理论框架：
   作者建立了校正人工智能后验的渐近性质。

   • 高斯渐近性： 在先验强度不消失的情况下，后验分布收敛到以混合 Oracle 目标为中心的高斯分布。
   • 偏差表征： 主导阶的中心化偏差被明确推导为得分差异 $(P_0 - P_{\hat{\eta}_m})g_{\theta_0}$ 的函数。理论表明，如果校正器将这种差异减少到 $O_p(m^{-1/2})$，只要校准样本量 $m$ 足够，产生的偏差就是可控的，并且与标准后验波动相当。

主要贡献

• 校正框架： 本文引入了一种通用程序，利用标记校准数据校正人工智能诱导的规律，将其转化为构建先验的可靠基础测度。
• 理论保证： 作者推导了校正人工智能后验的渐近分布，并提供了其中心化偏差的一阶表达式。这阐明了即使先验强度不消失，人工智能信息先验仍保持可靠的条件。
• 实用校正器： 本文提供了具体、可实施的校正策略，包括分位数映射和矩匹配，针对不同的问题结构（例如，单变量结果与回归）进行了定制。
• 实证验证： 该方法在三个不同的领域进行了验证：
  1. 基因表达： 利用 Transformer 插补数据对基因表达水平的分位数进行推断。
  2. 人口回归： 利用人口普查数据和梯度提升树预测估计年龄 - 收入回归系数。
  3. 皮肤病分类： 一项下游分类任务，使用大型语言模型（GPT-5.5）来插补红斑鳞屑性皮肤病的类别概率。

结果

实证结果表明，校正人工智能先验在性能上显著优于标准方法（仅使用标记数据）和未校正的人工智能先验（使用原始人工智能基础测度）：

• 推断有效性： 在基因表达和年龄 - 收入回归实验中，原始人工智能先验遭受了严重的偏差，导致可信区间的覆盖率接近零（例如，基因表达中 0.25 分位数的覆盖率为 0%）和较高的区间得分。相比之下，校正人工智能先验将覆盖率恢复至接近名义水平（约 90%），并实现了与预测驱动推断（PPI++）和经典方法具有竞争力的区间得分。
• 预测性能： 在皮肤病分类任务中，校正人工智能先验使贝叶斯深度学习器在广泛的先验强度范围内（$\gamma \in [0.01, 64]$）实现了测试准确率的显著提升。原始人工智能先验仅在 $\gamma$ 的狭窄窗口内显示出边际改进，并且对校准高度敏感，而校正先验提供了稳健的、累加的性能提升（相对于仅标记基线，准确率提升约 4.9%）。
• 对先验强度的鲁棒性： 校正方法将信息性先验的方差减少益处与系统性偏差的风险解耦，允许从业者使用更强的先验而无需担心使推断失效。

意义与主张

本文声称其主要贡献是使现代预测系统能够作为可靠先验知识的来源。通过将重点从校准先验强度参数转移到校正基础测度，作者认为可以实现“两全其美”：既获得信息性先验的方差减少，又避免校准偏差模型的系统性偏差。

作者将这项工作定位为人工智能增强统计学中效率与可靠性之间“张力”的解决方案。他们强调，他们的方法允许以一种在哲学上与贝叶斯更新（数据修正信念）一致的方式纳入外部信息（如大型语言模型输出或复杂机器学习模型），同时在实践中对模型误设具有鲁棒性。这项工作表明，通过适当的校正，人工智能系统可以值得信赖地指导数据稀缺环境下的推断，从而可能加速基因组学和临床诊断等黄金标准标签稀缺领域的发现。

本文在局限性方面保持适度，指出校正器的选择取决于具体问题，且分位数映射方法特定于单变量结果。他们建议未来的工作包括校正器模型选择以及完全贝叶斯方法，以传播来自校正器估计的不确定性。