💬 NLP

Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

该论文针对主观任务中 LLM 标注存在群体视角偏差的问题，提出了一种名为“视角驱动推断”的新方法，通过自适应采样策略将有限的人力标注资源集中分配给 LLM 代理最不准的群体，从而在保持覆盖度的同时显著提升了对难建模群体的标注准确性。

原作者： Navya Mehrotra, Adam Visokay, Kristina Gligorić

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Navya Mehrotra, Adam Visokay, Kristina Gligorić

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章提出了一种聪明的新方法，用来解决大语言模型（LLM）在“主观任务”中犯的一个大毛病：它往往只懂一部分人的看法，却假装代表了所有人。

为了让你轻松理解，我们可以把这篇论文的核心思想想象成**“如何用最少的钱，最公平地调查一群人的真实想法”**。

1. 核心问题：大模型是个“偏心眼”的翻译官

想象一下，你是一家大公司的老板，想调查员工对“公司新政策”的看法。

大语言模型（LLM） 就像一个超级快但有点偏心的翻译官。它能瞬间把几千份员工意见翻译成报告。
问题在于：这个翻译官可能只习惯听“年轻、受过高等教育”的人说话。如果让他去翻译“老年人”或“少数族裔”的意见，他可能会误读，甚至把老年人的“委婉”当成“冷漠”，把年轻人的“直接”当成“粗鲁”。
现状：以前的方法假设世界上只有一个“标准答案”（比如大家都觉得这政策好）。但在现实生活中，“礼貌”和“冒犯”是主观的。年轻人觉得幽默的话，老年人可能觉得被冒犯。这种“分歧”不是错误，而是真实的声音。如果强行把所有人的意见压成一个平均分，就抹杀了这种多样性。

2. 传统方法的失败：让模型“扮演”不同角色

以前，人们试图让翻译官（LLM）戴上假发、穿上不同衣服（即Persona Prompting，角色提示），假装自己是“老年人”或“女性”，以此来模拟不同群体的看法。

结果：这就像让一个从未去过非洲的人，穿上非洲传统服饰，假装自己懂非洲文化。结果往往是刻板印象，甚至完全演砸了。论文发现，这种方法经常不仅没帮助，反而让结果更离谱。

3. 新方案：PDI（视角驱动推断）——“好钢用在刀刃上”

作者提出了一种叫 PDI (Perspective-Driven Inference) 的新方法。它的核心逻辑是：承认模型会犯错，并且知道它在哪里最容易犯错，然后把有限的人力（钱）花在最需要的地方。

我们可以把这个过程比作**“侦探破案”**：

背景：你只有很少的预算（比如只能雇 200 个真人去调查），但你有 10,000 份文件需要分析。
步骤一：模型先扫一遍（零成本）
让那个“偏心的翻译官”（LLM）先快速把所有 10,000 份文件都看一遍，给出一个初步评分。
步骤二：找出“盲区”（自适应采样）
这时候，你不需要随机找 200 个人去核对。PDI 会分析：“嘿，翻译官在‘老年人’这一组里经常翻车，而在‘年轻人’组里很准。”
于是，PDI 决定：把 200 个真人的名额，大部分都分配给“老年人”群体，去专门核对那些模型可能搞错的文本。
步骤三：修正与统计（加权计算）
收集完这 200 个真人的意见后，利用统计学方法（逆概率加权），把真人的意见和模型的初步意见结合起来。
- 对于模型很准的群体（年轻人），真人意见权重低一点。
- 对于模型很烂的群体（老年人），真人意见权重高一点，用来“矫正”模型的偏见。

4. 为什么要这样做？（比喻：修补漏水的桶）

想象你要测量一个漏水的桶里的水位：

均匀采样（旧方法）：你随机在桶的四周插 10 根管子去测水位。如果桶底有个大洞（模型对某个群体完全不懂），你随机插管可能刚好插不到那个洞，测出来的水位就是错的。
PDI 方法（新方法）：你先让机器人（LLM）扫一眼，发现桶底有个大洞。于是你特意把 8 根管子都插在那个洞附近，只留 2 根插在其他地方。这样，你虽然管子总数没变，但精准地修补了那个最大的漏洞，算出的水位（群体观点分布）才准确。

5. 实验结果：谁受益最大？

作者在“礼貌度”和“冒犯度”两个任务上做了测试：

发现：大模型在处理老年人（50 岁以上） 的观点时，最容易出错。
效果：使用 PDI 方法后，虽然总预算没变，但老年人这一组的准确率大幅提升，甚至超过了那些只靠模型瞎猜的方法。同时，它保证了所有群体的观点都被“看见”了，没有因为模型偏见而消失。

6. 总结与启示

这篇论文告诉我们：

不要迷信 AI 的“全能”：AI 在主观判断上（如礼貌、冒犯）往往带有特定的文化或年龄偏见。
不要试图让 AI“扮演”人类：让 AI 假装成老年人，不如直接找几个真实的老年人来帮忙。
资源要“精准投放”：在预算有限时，不要平均用力。要利用 AI 快速筛选出它最不懂的群体，把宝贵的人力（真人标注）集中投在那里，用最小的成本换取最公平、最准确的结果。

一句话总结：
这就好比你想了解全社会的口味，与其让一个只会做川菜的大厨（LLM）去猜所有人的喜好，不如让他先快速列个菜单，然后你专门花钱请几个不吃辣的人（目标群体）来试吃并纠正他的猜测，这样你才能知道大家真正喜欢吃什么。

1. 研究背景与问题定义 (Problem)

核心问题：
大型语言模型（LLM）常被用作文本标注的代理（Proxy）以减轻人类标注负担，特别是在计算社会科学（CSS）领域。然而，现有的标注修正方法（如 Prediction-Powered Inference, PPI）通常假设存在一个单一的“地面真值”（Ground Truth）。
在主观任务（如判断文本是否礼貌、是否冒犯）中，这种假设是失效的。不同人口统计学群体（如年龄、种族、性别）对同一文本的看法存在显著且有意义的分歧。

现有方法的缺陷： 将标注分歧强行合并为单一多数标签（Majority Vote）会丢失关键的视角差异；而简单的“角色提示”（Persona Prompting，即让 LLM 扮演特定人群）往往无法准确模拟特定群体的观点，甚至可能加剧偏见或产生系统性错误。
目标： 如何在有限的人类标注预算下，利用 LLM 的标注作为代理，同时保留并准确估计不同人口统计学群体的观点分布（即估计一个向量，而非单一标量），并保证统计推断的有效性（Valid Inference）。

2. 方法论：视角驱动推断 (Perspective-Driven Inference, PDI)

作者提出了一种名为 PDI 的框架，旨在通过自适应采样策略，将有限的人类标注资源集中在 LLM 表现最差的群体上。

2.1 问题设定

输入： 包含 $n$ 个文本的语料库，每个文本 $T_i$ 关联一个人文标注 $H_i$ （来自特定人口特征 $d_i$ 的标注者）和 LLM 标注 $\hat{H}_i$ 。
目标： 估计一个向量 $\theta^* = (\theta^*_{g_1}, ..., \theta^*_{g_K})$ ，其中每个 $\theta^*_{g_k}$ 代表第 $k$ 个人口群体（如"50 岁以上人群”）的平均标注值。
挑战： 均匀采样会导致少数群体标注不足；LLM 在某些群体上存在系统性偏差。

2.2 核心算法流程

PDI 采用**自适应采样（Adaptive Sampling）**策略，流程如下：

LLM 预标注： 对所有 $n$ 个文本进行 LLM 标注（零样本、少样本或角色提示）。
Burn-in 阶段（预热）： 随机均匀采样一小部分文本进行人类标注，用于初始化误差预测模型。
自适应循环（Adaptive Loop）：
- 误差预测： 利用已收集的人类标注 $H_i$ 和 LLM 标注 $\hat{H}_i$ ，训练一个黑盒分类器（如 XGBoost），预测 LLM 的平方误差 $(\hat{H}_i - H_i)^2$ 。输入特征为标注者的人口统计学属性（ $d_i$ ）。
- 概率分配： 根据预测的误差大小，计算每个样本被选中进行人类标注的概率 $\pi_i$ 。公式为 $\pi_i \propto \widehat{err}_i(d_i)$ 。即：LLM 预测误差越大的群体，分配更多的人类标注预算。
- 平滑处理： 防止概率为零，结合均匀分布进行平滑。
统计推断：
- 收集完所有人类标注后，使用**逆概率加权（Inverse Probability Weighting, IPW）**估计器来计算每个群体的均值 $\hat{\theta}_{g_k}$ 。
- 通过 Bootstrap 方法构建置信区间，确保推断在统计上是有效的（Valid）。

2.3 与基线方法的对比

LLM Only： 直接使用 LLM 输出，无修正。
PPI (Uniform)： 使用 PPI 修正，但人类标注是均匀采样的。
Persona Prompting： 尝试通过提示词让 LLM 模拟特定视角（论文证明此方法不可靠）。

3. 关键贡献 (Key Contributions)

理论框架创新： 将多视角语料推断形式化为向量估计问题（而非单一标量），证明了标准 PPI 修正方法可以扩展到此设定，以保留群体间的分歧。
自适应采样策略： 提出了一种基于 LLM 误差预测的采样方法。该方法不旨在训练更好的 LLM，而是智能分配人类标注预算，优先覆盖 LLM 难以建模的群体（如老年人、少数族裔）。
实证验证： 在礼貌度（Politeness）和冒犯性（Offensiveness）两个真实世界数据集及合成数据上进行了广泛评估，证明了该方法在保持统计覆盖率（Coverage）的同时，显著降低了特定困难群体的估计误差。

4. 实验结果 (Results)

实验使用了 8 种不同的 LLM（包括 GPT-5.2, Claude, Gemini 等）和两个真实数据集（POPQUORN 中的礼貌度和冒犯性评分）。

4.1 主要发现

LLM 的局限性： 纯 LLM 方法（包括角色提示）在特定群体（特别是50 岁以上人群）上的覆盖率（Coverage）极低，甚至接近 0%，且偏差（Delta）巨大。例如，在冒犯性任务中，LLM-only 方法对 50+ 群体的平均绝对误差超过 24%。
PDI 的优势：
- 覆盖率： PDI 在所有群体（包括困难群体）上均保持了 >90% 的覆盖率，证明了统计推断的有效性。
- 准确性提升： 针对最难建模的群体（如 50+ 岁），PDI 显著降低了估计误差。
  - 礼貌度任务： 50+ 群体的误差从 LLM-only 的 16.31% 降至 PDI 的 11.23%。
  - 冒犯性任务： 50+ 群体的误差从 LLM-only 的 28.40% 降至 PDI 的 5.24%（优于均匀采样的 PPI 的 5.64%）。
采样效率： PDI 成功地将更多的人类标注分配给了高误差群体。例如，在冒犯性任务中，PDI 分配给 50+ 群体的标注数量比均匀采样（PPI）高出 19%。

4.2 角色提示（Persona Prompting）的失败

实验表明，让 LLM 扮演特定人口角色（如“你是一个 50 岁的人”）并不是可靠的方法。它经常导致预测系统性偏移，甚至在某些模型上完全失效（覆盖率为 0）。这证实了不能仅靠提示词来替代真实的人类标注。

4.3 合成数据鲁棒性

在合成数据实验中，PDI 在以下情况表现最佳：

人类标注预算较小（但至少需要 20% 的预算来学习采样规则）。
群体分布极度不平衡（少数群体占比 <10%）。
LLM 在不同群体间的性能差异较大（误差差异 >20%）。

5. 意义与影响 (Significance)

重新定义主观任务分析： 论文挑战了“存在单一真理”的假设，主张在社会科学分析中，分歧本身就是信号。PDI 提供了一种在不丢失视角多样性的前提下进行统计推断的方法。
资源优化： 对于预算有限的研究，PDI 提供了一种策略，即不要均匀撒网，而是将昂贵的人类标注资源精准投放在 LLM 表现最差的“盲区”群体上。
应用广泛性： 该框架不仅适用于文本标注，还可推广至：
- RLHF（基于人类反馈的强化学习）： 避免将特定群体的偏好误认为是通用偏好。
- LLM-as-Judge： 评估模型时考虑不同人口群体的视角差异。
- 调查模拟： 更准确地模拟不同人群的舆论分布。
伦理警示： 论文强调，不能简单地用 LLM 模拟少数群体来替代真实的人类输入。虽然 PDI 会增加对边缘群体的标注需求（这可能带来伦理负担），但它通过承认 LLM 的不足并引入真实人类反馈，比虚假的“模拟”更诚实、更准确。

总结

这篇论文提出了一种视角驱动推断（PDI）框架，解决了在主观任务中利用 LLM 进行标注时面临的“单一真值假设失效”和“群体视角丢失”问题。通过自适应采样策略，PDI 能够动态识别并优先标注 LLM 表现最差的群体，从而在有限的预算下，实现对多视角分布的无偏、有效且高精度的统计推断。这为计算社会科学中处理主观性和多样性提供了新的方法论工具。