💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

本文表明，尽管葡萄牙国家语言模型 AMALIA 在权威性的道德基础方面与人类编码员实现了高度一致，但由于其依赖于表层特征的捷径而非理论推理，导致其缺乏构念效度，这凸显了需要建立国家级大语言模型基准，以评估模型性能在单纯的一致性之外的证据基础。

原作者： Manuel Pita

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Manuel Pita

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个名为 AMALIA 的新型超级智能机器人。它是葡萄牙本土开发的语言机器人，由公共资金投入建设，旨在比任何人都更好地理解和使用欧洲葡萄牙语。人们对 AMALIA 寄予厚望，希望它能成为研究人员的超快速、超廉价的人类助手。具体来说，科学家们想利用它来阅读数以千计的社交媒体帖子，并判断人们是否在讨论 “权威”（Authority）——这是一个复杂的概念，它不仅仅是指“老板”或“警察”这类词汇，而是指人们是在尊重还是在挑战等级制度中的规则。

然而，这里有一个转折：AMALIA 非常擅长猜对答案，但它却极其不擅长展示其推导过程。

“对的答案，错的原因”问题

把 AMALIA 想象成一个正在参加数学考试的学生。

目标： 老师要求：“请使用这个特定的公式求解 X。”
结果： AMALIA 写下了正确的 X 值。
症结： 当老师问：“把你的步骤展示给我看”时，AMALIA 做不到。它并没有使用公式，而是因为它看到了某种模式，比如“哦，句子中出现了‘老板’这个词，所以答案一定是‘权威’”，于是它就直接猜出了答案。

在现实世界中，这是很危险的。如果一个机器人在 90% 的情况下都与人类专家达成一致，我们通常会说：“太棒了！我们可以信任它！”但本文认为，对于 AMALIA 来说，这种一致性是一个假象。这就像一只鹦鹉，每当看到人类微笑时就会学会说“我爱你”。鹦鹉并不是真的感受到了爱；它只是将微笑与这句话进行了匹配。AMALIA 只是将表面线索（比如看到警察或听到有人愤怒）与“权威”这个标签进行匹配，而不是真正理解了研究人员试图衡量的关于权力与尊重的复杂理论。

“黑箱”测试

为了证明这一点，研究人员不仅询问了 AMALIA 这个宏大的问题，还将问题拆解成了微小的、简单的碎片，就像侦探通过线索破案一样。

宏大问题： “这段文本是关于‘权威’的吗？”
微小线索： “它是否提到了领导者？”“它是否评价了该领导者的行为？”“它是否谈到了传统？”

如果 AMALIA 真正理解了这个概念，那么无论你是问宏大问题还是问微小线索，它都应该得出相同的结果。但事实并非如此。

当被问及宏大问题时，AMALIA 与人类专家的意见一致率约为 71%。
当被问及微小线索并被要求将这些碎片组合起来时，它的一致性降至仅为 36%。

这种巨大的落差被称为**“恢复差距”（recovery gap）**。这就像魔术师从帽子里变出一只兔子。如果你问：“兔子在哪里？”而魔术师指向了帽子，那是没问题的。但如果你问：“请展示帽子里面的兔子”，结果发现帽子是空的，你就会意识到魔术师其实是在耍花招。研究发现，AMALIA 的“花招”是依赖于表面捷径，例如看到“道德愤慨”出现在一个权势人物附近，就假设这与权威有关，即便事实并非如此。

“更大规模机器人”的对比

研究人员不仅测试了 AMALIA，还测试了另外两个机器人：Llama（中型机器人）和 GPT-OSS（一个拥有 1200 亿参数的巨型机器人，相比之下 AMALIA 只有 90 亿参数）。

巨型机器人 (GPT-OSS)： 当用葡萄牙语回答同样的棘手问题时，它没有出现差距。它既能给出正确答案，也能展示其推导过程。它理解了这一理论。
中型机器人 (Llama)： 它存在一定的差距，但正在变得更好。
AMALIA： 它有着巨大的差距。

这证明了问题不在于葡萄牙语，也不在于所使用的特定文本。问题在于模型的规模和训练方式。本文指出，AMALIA 的规模太小了，无法处理如此复杂的“颗粒度”理论。这就像是用制造鸟屋的锤子去建造摩天大楼；工具的规格根本不足以胜任这项工作，即便它看起来正在运作。

这对国家级机器人的意义

论文明确排除了几种流行的观点：

不是语言的问题： 尽管 AMAL这么是葡萄牙的“本土”机器人，但它的表现并不比那些国际巨头更好。事实上，那些大型机器人在与人类达成一致方面比 AMALIA 表现得更出色。
一致性并不代表一切： 仅仅因为一个机器人与人类达成一致，并不意味着它测量的是正确的东西。它可能只是在进行模式匹配。
并非模型创造者的失败： 本文赞扬了 AMALIA 的开放性和透明度。问题在于，目前衡量机器人的“金标准”（即仅仅检查它们是否与人类达成一致）本身是有缺陷的。

核心结论

那么，AMALIA 是没用的吗？完全不是！论文指出，AMALIA 非常适合用于筛选（screening）和预编码（pre-coding）。它可以阅读海量文本并说：“嘿，这看起来很有趣，人类应该来看看。”它是极佳的第一道过滤器。

但是，它能独立衡量像“权威”这样复杂的概念吗？不能。 至少现在还不行。
论文总结道，在我们信任一个国家级机器人去衡量我们的公民在想什么、在乎什么之前，我们需要提出一个不同的问题。我们不应该只问：“你是否与人类达成了一致？”我们应该问：“你能展示你的推导过程吗？”

在 AMALIA（或任何小型国家模型）能够展示其推导过程，并证明它使用的是正确的逻辑而非仅仅基于表面线索进行猜测之前，它还不能成为最终的裁判。论文建议，目前来看，AMALIA 是一个得力的助手，但它还不是数据的主宰。

技术摘要：大语言模型（LLM）作为数据标注者的有效性

问题陈述
本文探讨了在评估大语言模型（LLM）作为社会科学研究数据标注者时存在的关键空白。尽管国家级“主权”大语言模型（如葡萄牙的 AMALIA）正越来越多地被部署用于分析本地文本，但其评估历来依赖于信度（与人类编码员的一致性），而非构念效度（对所测构念之理论定义的忠实度）。

核心问题在于，LLM 与人类标注者之间的高一致性并不保证该模型正在测量预期的理论构念。相反，模型可能通过“表面相关物”或捷径（例如，检测到权威人物附近的道德愤怒，而非理论所要求的对等级制度的具体立场）来实现一致性。由于 LLM 是黑箱，标准的协议指标无法区分真实的推理与伪相关。对于主权模型而言，这一问题尤为紧迫，因为人们通常假设经过本地数据和语言训练的模型，自然会成为该社区更优越的测量工具。

方法论
本研究采用了一种**粒度校准（grain calibration）**方法来探测 LLM 的推理路径，从而超越整体一致性，转而测试测量工具的有效性。

构念与语料库： 研究聚焦于道德基础理论中的“权威/颠覆（authority/subversion）”道德基础。数据集由来自道德基础 Reddit 语料库（MFRC）的 748 篇文本组成，这些文本通过严格的“创译（transcreation）”流程转译为欧洲葡萄牙语（pt-PT）。该流程确保了意义、立场和指代对象得以保留，同时适配了习语和语体，并通过盲测生成和人工裁定来防止代码泄露。
模型： 主要研究对象是针对欧洲葡萄牙语的 90 亿参数模型 AMALIA-9B。将其与两个规模更大的开源多语言模型进行对比：Llama-3.3-70B 和 GPT-OSS-120B。
恢复差距 ( $\Delta$ )： 核心指标是“恢复差距”，定义为 $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ 。
- $F^u_1$ ：未分解提示词（整体指令）的表现（F1 分数）。
- $F^d_1$ ：分解后提示词的表现，其中构念被拆解为原子从句（检测、区分、评价），并通过源自理论的严格布尔集成规则进行重组。
- $\Delta \approx 0$ 表示模型按照理论定义的逻辑进行测量。较大的 $\Delta$ 则表明模型依赖于理论未指定的捷径。
实验设计： 研究在葡萄牙语语料库上，测试了 AMALIA 在英语和葡萄牙语指令下的表现。研究将其结果与参考模型在同一语料库上的表现，以及参考模型在原始英语语料库上的表现进行了对比。本研究经过预注册，假设在对 448 篇留存文本进行确认性测试前已固定。

关键结果

AMALIA 的高信度与低效度： AMALIA 实现了与人类标注者的高一致性（整体 $F_1 \approx 0.71$ ），与其规模小 8 到 13 倍的模型相当。然而，它表现出巨大的恢复差距（在葡萄牙语指令下 $\Delta \approx 0.36$ ，在英语指令下 $\Delta \approx 0.44$ ）。这表明分解后的提示词仅能恢复 AMALIA 整体性能的一半左右。
表面相关物 vs. 理论： 误差分析显示，AMALIA 的假阳性主要由表面相关物驱动，例如权威人物附近的“通用道德愤怒”或仅仅是权威人物的存在，而非理论所要求的评价立场。在 78% 的假阳性案例中，模型依赖的是表面基础而非构念的理论定义。
模型特异性失效： 这种失效是针对 AMALIA 特有的，而非语料库或语言的问题。
- GPT-OSS-120B 在葡萄牙语语料库上缩小了差距（ $\Delta \approx 0.03$ ），其表现与其英语结果相似。
- Llama-3.3-70B 显示出中等差距（ $\Delta \approx 0.12$ ），虽然比其英语表现有所增加，但显著小于 AMALIA。
- 这表明问题在于“构念–模型工具”（特别是 9B 模型执行理论粒度的能力），而非葡萄牙语或创译语料库本身。
指令语言： “使用葡萄牙语指令会缩小差距”的假设未得到统计学支持（ $\Delta_{pt} = 0.358$ vs. $\Delta_{en} = 0.436$ ；两者的差异置信区间包含零）。虽然其方向与假设一致，但效应并不显著。

主要贡献

构念效度的操作化： 本文引入并应用了“恢复差距”作为诊断工具，用以区分 LLM 的可靠一致性与有效的测量。研究证明，仅凭一致性不足以验证 LLM 作为科学工具的有效性。
主权模型评估： 本文提供了对国家级 LLM（AMALIA）在其母语环境下的首次效度研究，挑战了“母语模型自动具备更优测量效度”的假设。
创译流程： 详细介绍了一个用于构建跨语言语料库以进行构念验证的严谨、预注册流程，确保代码转移是通过验证而非假设来证明其合理性的。
细粒度误差分析： 通过将提示词分解为原子从句，研究识别了特定的失效模式（例如，将道德愤怒作为权威的代理变量），而整体指标会掩盖这些模式。

意义与主张
论文得出结论：虽然 AMALIA 是一个可靠的标注者（产生的编码符合人类共识），但它尚未成为测量“权威”这一理论构念的有效工具。它产生了“正确”的编码，却是基于“错误”的原因，即依赖于表面模式而非构念定义所需的理论推理。

作者认为，要让主权 LLM 计划在测量任务中获得信任，必须超越一致性指标。关键问题不在于模型是否与人类达成一致，而在于它能否通过执行理论定义的特定推理步骤来“展示其推导过程”。研究表明，较小的国家级模型可能缺乏执行复杂理论分解所需的“可执行粒度”，且效度证据必须针对特定的测量用途生成，而非仅仅针对通用的语言基准测试。论文明确指出，AMALIA 适用于分诊和预编码，但不适用于理论构念的独立测量。