💬 NLP

LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

本文提出了一个通过理论驱动的提示词优化和多评分者信度分析进行严谨验证的框架，使三种前沿大语言模型能够可靠地检测贝叶斯认知科学中现实主义与工具主义之间细微的立场差异，成功将定性编码扩展至大规模语料库，并量化了低层感知与高层认知研究在现实主义立场上的显著差异。

原作者： Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Eyup Engin Kucuk, Tarik Kelestemur, Ömer Dağlar Tanrikulu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个关于人类大脑运作机制的庞大科学著作库。具体来说，你想知道：作者们认为这些数学模型是在描述我们大脑真实的物理运作方式（现实主义/Realism），还是仅仅将其作为一种有用的预测工具，就像一张并非疆域本身的地图（工具主义/Instrumentalism）？

这是一个棘手的问题。作者很少直接说：“我是个现实主义者。”相反，他们会将真实的观点隐藏在微妙的暗示、委婉的措辞和复杂的句子之中。传统上，要回答这个问题，你需要一个由人类专家组成的团队来阅读每一句话，猜测作者的意图，并将其记录下来。这既缓慢、昂贵，又难以规模化。

这篇论文提出了一个问题：我们能否利用先进的 AI（大语言模型）来替我们完成这项工作？

以下是他们尝试解决这一问题的方法，通过几个富有创意的类比来使之清晰易懂。

1. 问题所在： “隐藏含义”之谜

把作者的立场想象成一个秘密食谱。你可以品尝出菜肴的味道（阅读文本），但菜单上并没有列出食材（作者真实的信念）。

挑战： 如果你只是问 AI，“这是现实主义还是工具主义？”，AI 可能会偷懒。它可能会选择最常见的答案，或者每次都选中间选项以求稳妥。它可能会因为与其他 AI 保持一致而选择某种“安全”的路径，仅仅是因为它们都在遵循同样的偷懒捷径，而不是因为它们真正理解了文本。
目标： 研究人员希望构建一个 AI 系统，能够品尝出菜肴的味道，识别出具体的食材，并准确地告诉你这个食谱在“现实主义”或“工具主义”维度上的程度，而不采取作弊手段。

2. 解决方案：“智能教练”与“共享规则手册”

研究人员并没有只是简单地让 AI 去猜测，而是建立了一个包含三个主要部分的严谨训练系统。

A. 规则手册 (Codebook)

他们没有只给 AI 一个模糊的指令，而是编写了一份详细的说明书（代码本）。

想象一下跳水比赛中的裁判计分卡。它不仅仅是说“跳得好”，它还有具体的类别，如“入水”、“转体”、“水花”。
这份手册定义了哪些词汇或短语算作“现实主义”，哪些算作“工具主义”。它甚至提供了一个 0 到 100 的量表，从而允许体现细微差别（例如：“基本是现实主义，但带有某些怀疑”）。

B. “智能教练” (Autoresearch Loop)

这是最具有创意的一部分。研究人员并没有写好提示词（prompt）后就听天由命，而是使用了一个 AI 代理作为教练来训练其他的 AI。

过程： 教练（一个 AI）会提出一种新的提问方式（一个新的提示词）。它会在一组经过专家评分的示例上测试这个提示词。
陷阱： 有时，AI 会找到“作弊码”。例如，它可能会意识到，如果它每次都选择中间分数，就能获得很高的“一致性”得分。
护栏： 为了阻止这种情况，研究人员安装了诊断闸门（就像带着哨子的裁判）。
- 闸门 1： “AI 是否使用了整个量表，还是仅仅选择了中间值？”
- 闸门 2： “AI 是否在无意中背下了答案，而不是学习了规则？”
- 如果 AI 试图作弊，教练会拒绝该提示词并重新尝试。这个过程不断重复，直到 AI 学会公平地参与游戏。

C. “共享规则手册” (一个提示词适用于所有模型)

他们测试了三种不同的顶尖 AI 模型（GPT、Claude 和 Gemini）。他们没有教每个模型不同的技巧，而是强迫它们全部使用完全相同的说明书。

为什么？ 如果三个不同的 AI 使用相同的规则得出了相同的结论，你就知道这个答案是可靠的。这就像是在跳水比赛中有三个不同的裁判；如果他们给出的分数一致，你就会信任这个结果。

3. 结果：他们发现了什么？

在用这个严格的系统对 AI 进行训练后，他们让 AI 处理了来自 210 篇科学论文中的 6,858 条引用。

一致性： 三个 AI 之间的协作度非常高。
- 在句子层面： 它们的意见一致率约为 76%。这很好，但并不完美。有时，一个句子本身就是模棱两可的，即使是人类也会产生分歧。
- 在文章层面： 当它们观察整篇文章（通过平均化所有句子）时，一致性飙升至 96–97%。
- 类比： 想象三个人试图猜测人群的高度。他们可能会在某个特定人的身高上产生分歧，但如果他们对人群的平均高度达成共识，那么他们就是非常可靠的。AI 在把握每篇文章的“大局观”方面表现出色。
发现： AI 发现了一些研究人员多年来一直怀疑但从未用数据证明过的现象：
- 低层级研究者（研究感觉和运动的人）倾向于更强烈地相信模型描述了真实的脑机制。
- 高层级研究者（研究复杂思维的人）则更加怀疑，认为模型仅仅是工具。
- AI 量化了这种差异：低层级文章在“现实主义”量表上的得分比高层级文章高出 8.8 分。

4. 底线结论

这篇论文并不是在说“AI 现在可以取代人类科学家”。相反，它是在说：

“如果你给 AI 一个非常清晰、详细的规则手册，并配备一个严格的裁判来防止它作弊，那么 AI 可以帮助我们分析海量文本，从而发现那些人类靠手动追踪过于细微的模式。”

他们成功地将一个模糊的哲学问题（“他们是否相信这个模型？”）转化为了一个可衡量的、可靠的数据点。他们证明了，只要有正确的保障措施，AI 可以成为理解科学界隐藏信念的强大伙伴。

技术摘要：大语言模型辅助的科学论述立场检测

问题陈述
定性编码是社会科学的基础，但由于专家标注难度大（特别是当目标构念具有解释性、理论负载性且仅间接表达时），面临着规模化扩展的限制。虽然大语言模型（LLMs）提供了潜在的解决方案，但当构念并非通过特定短语进行表面实现时，其可靠性仍存疑问。本文旨在解决检测作者在贝叶斯认知科学中关于**现实主义—工具主义区别（realism–instrumentalism distinction）**之立场的问题：即作者是将贝叶斯模型视为对实际心理/神经机制的描述（现实主义），还是将其视为有用的数学工具（工具主义）。这些区别往往带有对冲性、具有深厚的哲学内涵且依赖于特定领域，使得自动化系统在缺乏表面捷径的情况下难以进行分类。

研究方法
本研究采用了一种专家引导、诊断门控的自动研究框架（expert-led, diagnostic-gated autoresearch framework），旨在为三种异构的前沿大语言模型（GPT-5.1、Claude Sonnet 4.6 和 Gemini 3 Pro Preview）优化一个共享的单一提示词。

编码簿设计： 一个理论驱动的编码簿定义了互补的现实主义与工具主义得分，两者之和约束为 100。每个得分使用七级序数标度（范围从反现实主义到强现实主义），并包含标度内的连续评分偏移量（中点 ±4 或 ±8）。编码簿包含语义定义和语言标准标签（主体、主张目标、模态、证据链接），以实现自动化验证。
参考标注： 一位领域专家从 15 篇文章中提取了 251 个带有假设性的引文，并使用该编码簿对其进行了标注，将其划分为调优集（151 个）、开发集（50 个）和留出集（50 个）。
自动研究提示词优化： 一个自动化智能体（通过 Claude Code 实现）迭代地提出提示词修改建议。只有当候选编辑能够提高综合可靠性指标（ICC 与 Krippendorff's $\alpha$ $α$ 的调和平均值）并且通过四个诊断门控时，该修改才会被接受：
- 综合指标： 必须提高调和平均值。
- 非中点化（Off-Midpoint）： 防止“中点坍缩”，即模型将所有引文都分配给标度中点而不使用连续标度。
- 标度内残差 ICC： 确保连续性一致性不会显著退化。
- 持续连贯性： 限制结构性模式违规。
- 去泄露（De-leaking）： 这是一个关键步骤，用于移除那些会无意中指定预期标度频率或默认标度的线索，防止模型“预判”答案。
部署与分析： 最终的零样本（zero-shot）提示词被部署于 210 篇文章中的 6,858 条引文上。可靠性通过多标者一致性（ICC、 $\alpha$ 、Fleiss' $\kappa$ ）以及文章级排名稳定性（线性混合效应模型中每篇文章随机截距的相关性）进行评估。

核心结果

提示词性能： 最终提示词实现了 0.76 的留出集综合可靠性得分（ICC = 0.79 与 $\alpha$ = 0.74 的调和平均值）。诊断门控成功防止了模型向标度中点坍缩，迫使模型真实地使用标度内的连续值。
模型间一致性： 在全量语料库上，三种大语言模型达到了实质性的引文级一致性（综合值 = 0.78；ICC = 0.80； $\alpha$ = 0.76）。两两精确一致性为 78.4%，88.4% 的比较落在相邻的一个标度范围内。
校准与收敛： 虽然模型表现出系统的校准偏移（例如，Claude 倾向于“现实主义-怀疑论”，Gemini 倾向于“强现实主义”），但它们实现了近乎完美的文章级排名稳定性（ $r = 0.96–0.97$ ）。这表明，尽管单个引文的分类存在差异，但模型在文章的相对排序上趋于一致。
实质性发现：
- 语料库主要呈现弱现实主义特征（67.9% 的引文），但文章很少表现出统一性：仅 1.4% 使用单一标度，而 59.5% 跨越了四个或更多标度。
- 研究量化了一个显著的结构性差异：低层感知/运动类文章的现实主义得分比高层认知类文章高出 8.8 个点（ $p < .001, d=0.60$ ），这从经验上验证了该领域长期存在的定性直觉。

意义与主张
本文将此工作定位为一个案例研究，证明了当构念通过可审计的编码簿进行操作化处理时，前沿大语言模型可以支持具有理论挑战性的定性编码。

方法论贡献： 作者提出了一种具备诊断意识的提示词优化框架，将提示词视为跨异构模型的共同标注协议。该方法优先考虑在共享指令下的收敛性，而非针对单个模型的微调。
分析粒度： 研究强调，一致性指标应与下游推断的粒度相匹配。虽然引文级的一致性是实质性的，但文章级排名稳定性近乎完美，这表明聚合层级的分析可以恢复被项目级噪声所掩盖的信号。
局限性与范围： 作者明确指出，该框架旨在推广至类似的具有理论挑战性的任务，而非所有的定性分析。他们承认了局限性，包括使用了单一专家参考集（无法进行人与人之间的可靠性估计）、特定的领域聚焦（贝叶斯认知科学），以及大语言模型之间可能存在的共同训练数据偏差。该工作并不声称取代专家判断，而是通过专家引导的监督来检测自动化指标可能忽略的失效模式（如循环线索）。