📊 statistics

Debiased Inference for AI-Generated Data without Gold-Standard Labels: Identification via Multiple Imperfect Measurements

本文提出了多重不完美测量去偏推断（DMM）框架，该框架通过在条件独立性假设下结合多个存在误差的 AI 测量结果，实现了在没有金标准标签的情况下对 AI 生成数据进行有效的统计推断。

原作者： Naoki Egami, Sooahn Shin

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Naoki Egami, Sooahn Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在社会科学领域，研究人员经常需要测量那些无法直接观察到的事物，例如政治广告的基调、社交媒体帖子的情感倾向，或者一篇新闻文章是否指控官员腐败。几十年来，实现这一目标的标准方法是聘请人类专家来阅读并标注数以千计的文档。如今，人工智能提供了一种更快速的替代方案，大型语言模型能够在几秒钟内完成文本的阅读与分类。然而，一个关键问题出现了：这些人工智能工具并不完美。即使它们看起来高度准确，其错误也并非随机产生的。它们的错误往往以特定的、可预测的方式出现，并且与它们正在处理的内容相关联。如果研究人员将这些有缺陷的 AI 标签当作完美的客观事实用于统计研究，最终的结论可能会产生误导，导致人们对实际上是错误的结果产生虚假的信心。

核心挑战在于，虽然我们知道人工智能会犯错，但我们往往缺乏“金标准”真相——即针对每一个文档经过验证的人类标签——来修正这些错误。收集此类经过验证的数据既昂贵又耗时，这使得在研究人员现在想要分析的海量数据集中收集此类数据往往变得不可能。由于缺乏这种真相，标准的统计方法会失效，导致产生可能无法被信任的有偏结果。这让科学家们陷入了困境：他们拥有强大的新工具来生成数据，却缺乏一种可靠的方法来纠正这些工具不可避免会犯下的错误。

由 Naoki Egami 和 Sooahn Shin 提出的一种新框架提供了一个解决方案，该方案不需要任何单一的经过验证的人类标签。他们的方法被称为“基于多个不完美测量的去偏推断”（debiased inference with multiple imperfect measurements），其依赖于一个简单而强大的理念：如果你要求三个或更多不同的 AI 模型对同一段文本进行标注，它们各自的错误很可能会有所不同。通过比较这些不同的模型如何达成一致或产生分歧，并考虑到所分析文本的具体特征，研究人员可以从数学上重建真实的底层现实。这种方法使他们能够剥离由 AI 错误引入的偏差，并产生有效的统计结果，即便从未有人检查过这些数据。

研究人员构建该方法的基础是这样一种理解：虽然 AI 模型可能会在困难文本上犯下类似的错误，但除非它们观察到了相同的线索，否则不太可能在同一段文本上犯下完全相同的错误。例如，如果一段文本非常长或者风格复杂，不同的 AI 模型可能都会在处理它时遇到困难，但它们失败的方式可能各不相同。新框架假设，如果研究人员能够考虑到这些共同的难点（例如文本的长度或询问 AI 时使用的特定提示词），那么每个模型产生的剩余误差将是相互独立的。通过将这些 AI 模型视为真相的多个不同“证人”，该方法利用它们之间一致性的模式来识别真实标签，而无需看到正确答案。

为了测试这一想法，作者进行了广泛的模拟实验，在这些实验中，他们预先知道了真实答案。他们创建了一些场景，在这些场景中，某个 AI 模型对政治广告的标注具有很高的准确性，但仍会产生系统性错误。当他们应用忽略这些错误的标准方法时，结果呈现出严重的偏差，置信区间几乎在所有情况下都未能捕捉到真实值。相比之下，他们的新方法通过结合来自多个不完美 AI 模型的标签，产生了几乎无偏的结果。其估计值是准确的，且置信区间大约有 95% 的概率能捕捉到真实值，其表现与一个已知每个文档真实标签的假设性“先知”（oracle）相匹配。

当研究人员在分析中加入更多 AI 模型时，这种方法的威力变得更加清晰。他们发现，仅仅对多个模型的标签进行平均并不能解决问题；偏差依然存在。然而，他们特定的数学组合方式却可以解决问题。随着他们向分析中加入更多不同的模型，结果的精确度随之提高，使得估计值越来越接近真实值。这表明，研究人员并不需要仅仅选择一个“最佳”的 AI 模型。相反，他们可以使用多样化的模型集合，并通过仔细地组合它们的输出，从而达到足以媲美由人类专家验证每一个数据点的准确度。

为了证明这在现实世界中行之有效，团队将该方法应用于一项关于中国在线投诉的研究，利用大语言模型来识别帖子是否指控地方官员进行不当行为。在这一现实场景中，他们无法获得整个数据集的真实标签，因此无法确定其假设是否成立。他们将新方法与传统方法进行了对比，传统方法使用一小部分经人工验证的标签来修正 AI 数据。结果令人瞩目：使用零人工标签的新方法所产生的估计值和置信区间，与人类专家建立的基准非常接近。依赖人工标签进行修正的传统方法同样表现良好，但新方法在无需收集这些标签成本的情况下，实现了类似的可靠性。

研究人员还开发了检查其方法是否运行正确的方法。他们展示了，如果“独立误差”的假设被违反，来自不同 AI 模型子集的结果将会产生分歧。通过测试这种分歧，研究人员可以判断其方法是否可能有效。他们还发现，当不同的 AI 模型具有多样性时，该方法效果最好——使用不同家族的模型或使用不同的提示词有助于确保它们的误差是不相关的。这为研究人员提供了实用的指导建议：与其依赖单一工具，不如收集多种不完美的测量结果，并利用它们之间的一致性数学逻辑来揭示真相。

这项工作代表了社会科学家使用人工智能方式的重要转变。它超越了单纯讨论 AI 是否足够准确以供使用的简单问题，而是提供了一种负责任地使用不完美 AI 数据的方法。通过承认错误的存在并利用多个来源来抵消误差，研究人员现在可以对海量数据集进行严谨的统计分析，而不必承担高昂的人工验证成本。该方法并非声称 AI 是完美的，也并非暗示在所有情况下都不需要人类标签。相反，它为这个由机器生成数据的世界提供了一条稳健的路径，确保从这些数据中得出的结论依然值得信赖。

技术摘要：无金标准标签下的 AI 生成数据去偏推断

1. 问题陈述

学者们越来越多地利用人工智能（AI），特别是大语言模型（LLMs），来测量变量以进行下游统计分析（例如情感、语气、政治暴力）。一个关键问题在于，当这些 AI 生成的测量值在下游推断中被视为无误差时，会产生严重后果。近期的理论和实证研究表明，即使 AI 的准确率很高（例如 >90%），忽略测量误差也会导致显著的偏差和无效的置信区间。这是因为测量误差通常是非随机的、非经典的，并且与下游分析相关的变量相关联。

现有的解决方案，如设计型监督学习（DSL）和预测驱动推断（PPI），通过将存在误差的 AI 测量值与一小组“金标准”标签（人工验证的真相）相结合来解决这一问题。然而，在许多应用领域，获取金标准标签往往成本高昂或难以实现。本文旨在解决在没有金标准标签可用的情况下，如何利用 AI 生成的数据进行有效下游推断的挑战。

2. 方法论：基于多重不完美测量的去偏推断 (DMM)

作者提出了一个名为**基于多重不完美测量的去偏推断（Debiased Inference with Multiple Imperfect Measurements, DMM）**的框架。该方法通过结合三个或更多个不完美的测量值（代理变量），在不需要金标准验证数据的情况下实现有效推断。

2.1 核心假设与识别

该方法依赖于一个放宽的条件独立假设。不同于传统的潜在变量模型（如 Dawid-Skene 模型，其假设代理变量仅在给定潜在真实标签时相互独立），DMM 假设代理变量在以下条件下是独立的：

潜在真实标签 ( $X^*$ )。
观测到的协变量 ( $W$ ) 以及辅助的标注级信息 ( $D$ )，例如文本嵌入、任务难度或提示词变化。

形式化地，对于 $J \geq 3$ 个代理变量 $X^{(1)}, \dots, X^{(J)}$ ：
$X^{(1)} \perp \dots \perp X^{(J)} \mid X^*, \tilde{D}$
其中 $\tilde{D} = (D, W, Y)$ 。这种放宽允许存在共同的误差来源（例如，某段特定的文本对所有标注者来说都很困难），只要这些来源被包含在条件变量中即可。

在此假设下，本文利用 CP（Candecomp/Parafac）分解（Kruskal, 1977; Allman, Matias and Rhodes, 2009）的结果，非参数化地识别每个代理变量的条件分类率（真阳性率和假阳性率）。

2.2 估计策略

估计过程分为两个阶段，并使用**交叉拟合（cross-fitting）**以确保 Neyman 正交性：

第一阶段（扰动项估计）： 使用期望最大化（EM）算法或筛分法（sieve methods）在数据的互斥折叠（disjoint folds）上估计条件分类率 $\eta^*_{j,a}(d) = \Pr(X^{(j)}=1 \mid X^*=a, \tilde{D}=d)$ 。
第二阶段（桥接构建）： 构建一个鲁棒桥函数 $H_R$ $H_{R}$ 来无偏地估计潜在真实标签 $X^*$ $X^{*}$ 。
- 单代理桥函数定义为 $M_j = \frac{X^{(j)} - \eta^*_{j,0}}{\eta^*_{j,1} - \eta^*_{j,0}}$ 。
- 使用这些单代理变量的二阶和三阶乘积构建一个对称的、鲁棒的桥函数：
  $H_R = 3H_2 - 2H_3$
  其中 $H_2$ 和 $H_3$ 分别是单代理变量的两两乘积和三者乘积的平均值。
- 这种特定的权重分配（$3 $和$ -2 $）确保了桥函数是无偏的（即$ E[H_R \mid X^, \tilde{D}] = X^$），并实现了 Neyman 正交性，这意味着该估计量对扰动函数估计的一阶误差具有鲁棒性。

2.3 下游推断

估计出的桥函数 $H_R$ 取代了未观测到的真实标签，用于下游矩函数 $\psi_F$ 。DMM 估计量 $\hat{\beta}_{DMM}$ 求解：
$\frac{1}{n} \sum_{i=1}^n \left[ (1 - \hat{H}_{R,i})\psi_F(Y_i, 0, W_i; \beta) + \hat{H}_{R,i}\psi_F(Y_i, 1, W_i; \beta) \right] = 0$
作者证明，在温和的正规性条件下，该估计量是一致且渐近正态的，即使扰动函数以较慢的非参数速率（ $n^{-1/4}$ ）收敛，也能实现有效的置信区间。

2.4 扩展

该框架被推广至：

潜在因变量： 即结果变量本身带有测量误差的情况。
多类别标签： 将识别和桥接构建扩展到 $K > 2$ 个类别，这需要测量矩阵满足足够的秩条件。

3. 主要贡献

无需金标准标签的识别： 本文开发了一种通过利用多个不完美的测量值来进行有效下游推断的方法，消除了对昂贵的金标准验证数据的需求。
广泛的适用性： 其理论结果不仅适用于简单的因果效应，还扩展到一类广泛的下游分析（线性/逻辑回归、极大似然估计），并能处理误差变量作为自变量或因变量的情况。
鲁棒性与效率： 通过构建 Neyman 正交桥函数，该方法允许扰动参数以较慢的速度收敛。作者还证明，增加信息丰富的代理变量可以提高效率，尽管质量较低的代理变量可能会降低性能。
实际诊断工具： 本文提供了使条件独立假设更具合理性的策略（例如，使用多样化的 LLM 系列、改变提示词以及引入文本嵌入作为条件变量），并提供了诊断工具（过识别检验、子集稳定性检查）来评估该假设的有效性。

4. 结果

4.1 模拟研究

使用经过校准的合成数据生成过程（基于 Fowler 等人，2021 的政治广告数据）：

偏差与覆盖率： 标准估计器（多数投票法）表现出显著偏差（例如 0.186）和严重的覆盖不足（1.8%），即使代理变量具有很高的 F1 分数。相比之下，DMM 实现了接近零的偏差（0.002）和名义覆盖率（94.8%）。
效率： 随着代理变量数量的增加，DMM 的均方根误差（RMSE）逐渐下降，趋近于不可行的 Oracle 基准（使用真实标签）。增加更多代理变量提高了精确度，但随着标签质量变弱，收益递减。

4.2 实证验证

使用关于针对中国官员指控的真实世界数据（Pan 和 Chen, 2018）：

比较： 研究对比了 DMM（无金标准标签）、DSL（500 个金标准标签）以及标准回归相对于 Oracle 基准的表现。
性能： 标准估计量具有高度偏差且未能覆盖基准。DSL 和 DMM 均产生了接近基准的估计值，并具有有效的覆盖率（DSL: 98.1%, DMM: 86.2%）。
显著性： DMM 在未使用任何金标准标签的情况下成功恢复了 Oracle 估计值，证明了其在无法保证条件独立假设的现实环境中的可行性。

5. 意义与主张

本文将 DMM 定位为现有基于验证的方法（如 DSL 和 PPI）的补充策略。

何时使用 DMM： 当无法获得或获取金标准标签的成本过高时，特别适合使用 DMM。此时，研究人员可以构建满足条件独立假设的多个不完美测量值（例如，通过使用多样化的 LLM 和丰富的条件变量）。
局限性： 作者承认 DMM 依赖于条件独立性的结构性假设。虽然他们通过引入丰富的协变量使该假设更具合理性，但该假设并不能通过高预测准确率来保证。
混合方法： 本文建议，当存在少量金标准数据时，可以将其与 DMM 结合（通过 DMM 辅助的 DSL 估计器）以进一步提高精度并验证条件独立假设的有效性。

总之，本文提供了一个严谨的统计框架，用于减轻由 AI 生成测量值引入的偏差，使得研究人员在缺乏地面真相的情况下，能够通过利用多个不完美代理变量的结构来实现有效的推断。