💬 NLP

Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

本文提出了“粒度校准”（grain calibration）方法，该方法通过将理论构念分解为从句层级的组件，并应用显式的、基于理论的规则，来验证大语言模型作为测量仪器的有效性，从而确保模型测量的是预期的构念，而非仅仅与人类标注相关联。

原作者： Manuel Pita

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Manuel Pita

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心问题：由于错误的原因而得到了正确的答案

想象一下你正在参加一场考试。你答对了每一道题，老师给了你 A。但后来你意识到，你其实并不理解数学，你只是记住了某种模式。例如，你注意到每当题目中出现“苹果”这个词时，答案总是“红色”。你并不知晓为什么苹果是红色的，你只是知道了这个规律。

这篇论文认为，大语言模型（LLMs）——即我们用来分析文本的 AI 工具——经常就在做这种事。当 AI 在如何对一段文本进行编码（例如将一条推文标记为“愤怒”或“支持”）方面与人类专家达成一致时，我们会假设 AI 理解了这个概念。但论文指出：仅仅达成一致是不够的。 AI 可能是通过识别捷径（即“表面特征”）而非真正理解该概念背后的深层理论来获得正确标签的。

“洞穴中的机器人”故事

为了解释这一点，作者讲述了一个关于机器人 B9 和一个进入洞穴的男孩的故事。他们发现了一处墙上的铭文：

“三人行于深径。石门在水语之处闭合。最后的呼吸仍带着余温。”

机器人 (B9)： 它扫描这些词汇。它看到了“死亡”、“水”、“石头”和“呼吸”。它立即得出结论：“这是一个警告！危险！” 它是在对这些可怕的词汇（表面特征）做出反应。
男孩： 他了解古代仪式的规则。他意识到，虽然这些词汇涉及死亡，但其意图却不同。这段铭文并不是让你回头，而是让你跟随死者前往其源头。这是一个“奉献”（神圣的行为），而不是一个警告。

机器人失败了，因为它只看了词汇，而没有看到词汇之间的关系。它无法区分这是一个警告还是一个祝福，因为它不理解仪式背后的理论。

三个“盲点”（不透明性）

论文指出，目前的 AI 编码工具存在三个隐藏其决策方式的“盲点”：

盲目的定义： AI 被赋予了一个名称（如“关怀”），但并没有被告知判定什么是“关怀”的具体规则。它只是根据它认为“关怀”通常看起来像什么来进行猜测。
隐形的证据： AI 给出了一个答案，但它没有展示出是哪部分文本让它做出了决定。这就像一名法官在没有展示证据的情况下就宣布判决。
秘密配方： AI 使用一种我们看不见的秘密公式，将不同的线索组合成最终答案。我们不知道它是忽略了一个关键线索，还是过度强调了一个微小的线索。

解决方案：“粒度校准” (Grain Calibration)

作者提出了一种名为**“粒度校准”**的新方法。可以把它想象成将一个复杂的食谱分解成细小的、可测试的步骤，这样你就能看清蛋糕是如何烘焙出来的。

与其问 AI，“这段文本是否属于‘关怀’？”，该方法强制要求 AI 根据理论回答一系列特定的、二元的（是非题）问题（即子句）：

检测： “文本是否提到了受苦的生命？”（是/否）
辨析： “这种痛苦是被视为一个道德问题，还是仅仅是一个悲惨的事实？”（是/否）
立场： “作者是否对这种痛苦采取了道德立场？”（是/否）

运作方式：

人类参与： 人类研究人员根据理论设定这些问题。
证据： AI 必须指出文本中回答每个问题为“是”或“否”的准确句子。
规则： 一个清晰、简单的数学规则（如加权得分）会将这些答案组合起来。例如：如果（受苦 = 是）且（道德问题 = 是）且（立场 = 是），那么它就是“关怀”。

它是如何工作的：

人类在环： 人类研究人员根据理论设定这些问题。
证据： AI 必须指出文本中回答“是”或“否”的准确句子。
规则： 一个清晰、简单的数学规则（如加权得分）会将这些答案组合起来。例如：如果（受苦 = 是）且（道德问题 = 是）且（立场 = 是），那么它就是“关怀”。

为什么这会改变一切：

如果 AI 使用这种方法得到了正确答案，我们就知道它为什么能得到正确答案。

如果 AI 对“受苦”回答“是”，但对“道德问题”回答“否”，且最终编码为“非关怀”，那么我们知道 AI 实际上是在遵循理论。
如果 AI 得到了正确的最终编码，但对“道德问题”这一问题的回答是错误的，那么我们就知道 AI 在作弊（使用捷径）。

论文称之为**“粒度校准”**，因为该方法调整了分析的“粒度”（即碎片的尺寸），直到迫使 AI 使用理论规则，而非仅仅使用词汇模式。

总结

论文的结论是，我们不能仅仅因为 AI 与人类达成一致就信任它。我们需要建立一个系统，让 AI 能够展示其工作过程，并分步进行。

之前： “AI 说这是‘关怀’，因为它与人类一致。”（我们不知道 AI 是真的聪明还是仅仅运气好）。
之后（粒度校准）： “AI 说这是‘关怀’，因为它发现了一个受苦的人，将其识别为一个道德问题，并采取了立场。”（我们知道 AI 确实在测量我们所关注的概念）。

目标不是让 AI 变得更聪明，而是让 AI 的过程透明化，以便我们可以确定它测量的是正确的东西。

技术摘要：因错误的理由而得到正确的代码？验证作为理论构念测量工具的大语言模型（LLMs）

问题陈述
本文探讨了在社会与行为科学中使用大语言模型（LLMs）作为编码工具时存在的一个关键差距。虽然 LLMs 在文本编码任务中经常能与人类标注者实现高度的一致性（信度），但这种一致性并不保证构念效度（construct validity）。核心问题在于，LLMs 可能会因为“错误的理由”而产生正确的代码。与其基于理论定义（即名义网络/nomological network）来推断一个构念，一个缺乏理论意识的工具可能会依赖于表面特征（例如：特定的词汇模式、情感价态或间接线索），而这些特征仅仅是与该构念相关联而已。

本文识别了三种阻碍研究人员验证 LLM 是否在真正测量某一理论构念的累积不透明性（opacities）：

定义不透明性（Definitional Opacity）： 构念的理论组成部分并未被外显化；LLM 仅接收到构念的名称，并依赖其内部关联进行处理。
推理不透明性（Inferential Opacity）： 工具无法报告支持每个构念组成部分的具体文本证据。
组合不透明性（Compositional Opacity）： 将各组成部分得分组合成最终代码的规则隐藏在模型的生成过程中，使得研究者无法审计最终决策是如何达成的。

因此，目前依赖于与人类基准真相（ground truth）进行一致性度量（如 F1、Cohen's $\kappa$ ）的验证方法，无法区分真正的测量与对伪相关性的利用。

方法论：粒度校准（Grain Calibration）
本文提出了粒度校准，这是一种迭代程序，旨在弥合分布能力（LLMs 能从词汇关联中推断出什么）与理论结构（一个构念要求什么）之间的差距。该方法运作的基础是：在生成最终代码之前，必须将构念分解为可独立测试的单元。

该程序包含三个架构步骤：

分解为子句（Decomposition into Clauses）： 根据其名义网络，将理论构念分解为其构成的组成部分。每个组成部分进一步拆分为子句——即关于文本必须展示什么的二元问题（例如：“文本是否提到了痛苦？”对比“痛苦是否被视为具有道德相关性？”）。
抽取式锚定（Extractive Grounding）： 每个子句都针对输入文本进行测试，生成一个得分，并附带一个抽取式片段（extractive span）（即具体的文本段落）作为得分的依据。这通过提供可审计的证据，消除了推理不透明性。
显式集成规则（Explicit Integration Rule）： 子句的得分通过一个明确说明的规则（例如正则化逻辑回归或线性规则）组合成最终代码，而非通过不透明的生成过程。该规则根据人类代码进行拟合以作为基准真相，但其权重是根据理论进行解释，而非仅仅为了最大化一致性。

核心贡献

诊断理论缺失症（Diagnosis of Theory-Naivete）： 本文指出，一致性是衡量信度的指标，而非效度。它证明了 LLMs 可以通过遵循捷径（表面相关特征）来匹配人类代码，而这些捷径未能触及定义该构念的理论关系。
操作化实质效度（Operationalization of Substantive Validity）： 借鉴 Messick 的框架，本文将“实质性方面（substantive aspect）”的构念效度进行了操作化。它认为，效度并非由输出得分获得，而是通过证明该工具的流程遍历了构念的理论网络来获得的。
粒度校准框架： 本文引入了一种特定的、可重复的架构（分解 $\rightarrow$ 子句级测试 $\rightarrow$ 显式集成），将黑箱编码任务转化为透明、可审计的过程。
区分构建与验证： 本文主张，在该框架下，构建与验证是同时进行的行为。正是这种分解过程，使得构建的工具本身具备了可检验的效度。

结果与主张
本文并未呈现新的经验数据或具有新颖结果的具体案例研究；相反，它综合了现有文献，以展示当前 LLM 编码实践的失效模式（例如：“洞穴中的机器人”思想实验、道德基础编码错误以及立场检测错误）。

其主要主张是，粒度校准是区分有效测量与伪相关性的必要程序。本文认为：

一个消除了所有三种不透明性的工具，会暴露其组成部分、证据以及集成规则。
集成规则的“权重”是一个诊断工具。如果分配给理论上核心子句的权重接近于零，或者某个表面特征子句主导了决策，则说明该工具缺乏理论意识。
该方法允许研究人员进行迭代：如果权重或残差（即不透明提示词与显式分解之间的差距）表明与理论不匹配，研究人员可以修改子句或分解过程，直到工具的行为符合构念的理论需求。

意义
本文声称其具有适度且基础性的意义。它并非提出一种新的意义理论，也未声称 LLMs 拥有或缺乏理解力。相反，它解决了一个方法论上的盲点：领域内一直接受将一致性（可靠性）作为效度的代理指标，是因为此前缺乏测试编码过程的程序。

通过提供一种审计推理路径的机制，粒度校准使研究人员不仅能追问“LLM 是否与人类达成一致？”，还能追问“LLM 是否基于构念所指定的理由与人类达成一致？”本文总结道，该程序定义了可解编码问题的边界，即区分哪些构念可以通过此方法进行有效的操作化，而哪些构念不能（例如，那些纯粹从数据中生成而缺乏先验理论网络的构念）。它将效度的“实质性方面”定位为当前 LLM 评估领域中所缺失的关键环节。

核心问题：由于错误的原因而得到了正确的答案

“洞穴中的机器人”故事

三个“盲点”（不透明性）

解决方案：“粒度校准” (Grain Calibration)

总结

技术摘要：因错误的理由而得到正确的代码？验证作为理论构念测量工具的大语言模型（LLMs）

类似论文