🤖 AI

Evidence of conceptual mastery in the application of rules by Large Language Models

本文采用心理学方法和对比实验，证明了大语言模型在应用规则方面展现出了概念掌握能力，这体现在它们能够复制多样化的人类决策模式，以及对时间压力下情境依赖性反应的能力。

原作者： José Luiz Nunes, Guilherme FCF Almeida, Brian Flanagan

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： José Luiz Nunes, Guilherme FCF Almeida, Brian Flanagan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

几十年来，机器是否能够真正理解，一直是人工智能领域背景中一个低声回响的问题。当一台计算机写下一首诗或解决一道数学题时，人们往往难以分辨它究竟是领悟了文字背后的含义，还是仅仅在重复它曾经见过的模式——就像一个只靠死记硬背练习题答案而并不理解学科内容的优等生一样。这种真正的理解与机械记忆之间的区别，是研究大型语言模型（即那些能够进行对话、推理和创作的强大计算机系统）的研究人员面临的核心谜题。为了探究这些机器是否拥有对概念的真实掌握，科学家们寻找的证据是：它们能否在新的情境中灵活地应用规则，而不仅仅是重复被告知的内容。如果一台机器能够通过理解意图来驾驭复杂的规则，即使措辞发生了变化或情境变得陌生，这也表明它具备了一种更深层次的能力。这不仅仅是一个学术上的好奇心；随着这些工具开始出现在法律环境和其他高风险领域，了解它们是在真正推理还是仅仅在模仿，已成为一个具有实际意义的问题。

一个研究小组致力于通过让人工智能接受一系列严苛的测试，来验证这一问题，旨在将记忆与真正的理解区分开来。他们专注于人类和机器如何应用规则，特别关注了规则的字面文本与其潜在目的发生冲突的情况。想象一下，一家餐厅里挂着一块牌子写着“禁止携带狗”，其目的是为了保持地面清洁并防止噪音。如果一个人带着一只吵闹且不听话的狗走进来，那么从规则的文本和目的来看，他都违反了规则。但如果一位盲人带着一只训练有素的导盲犬走进来呢？文本上说禁止带狗，但规则的目的并未被破坏。研究人员想要观察机器是否能像人类一样，在规则的文本与目的之间进行权衡，并且即便在面对完全陌生的场景时也能做到这一点。

在研究的第一阶段，科学家们创建了一套全新的场景，这些场景在机器接受训练之前从未在互联网上发布过。这是至关重要的一步，以确保模型不仅仅是在背诵其训练数据中记忆的答案。他们要求人类参与者和几种不同的大型语言模型判断故事中的角色是否违反了规则。结果令人震惊。机器并非在瞎猜；它们的判断与人类的判断高度一致。当新的故事使得规则的文本重要性低于其目的时，人类和机器都以同样的方式转变了思维，即减少对严格措辞的权重，而更多地关注规则背后的原因。这表明这些模型不仅是在回忆旧例，而且实际上是在应用一种对规则运作方式的通用理解。

为了确保这并非由提问方式特定所导致的偶然现象，研究人员随后更改了给予机器的指令，甚至反转了答案量表的数值。他们要求模型在不同的系统提示词和不同的选项标签下做出反应。尽管进行了这些改变，核心模式依然保持稳定。机器继续以模仿人类直觉的方式，在规则的文本与目的之间进行平衡。这种稳健性表明，它们的理解并非脆弱的，也不依赖于问题的某种特定技巧，而是一种即使在任务表面细节发生变化时依然成立的既定能力。

随后，研究人员引入了一个人类会经历但机器不会经历的变量：时间压力。在人类研究中，当人们被迫快速回答时，他们往往会更多地依赖规则的字面文本，而较少考虑规则的目的。当给予更多思考时间时，他们则能更好地考虑规则的精神。科学家试图通过告诉机器它们只有几秒钟的时间来回答来复制这一过程，尽管无论指令如何，机器处理信息的速度都是一样的。这里的实验结果各异，取决于具体的模型。一些较新的小型模型似乎模仿了人类对时间压力的反应，表现得像是正在匆忙应答。然而，其他模型则完全忽略了时间限制，无论被告知要赶快还是等待，它们应用规则的方式都保持一致。这种分歧具有启发性：那些忽略无关时间压力的模型展现出了一种更稳定的能力，这种能力不会因为一个对其思考能力并无实际影响的信号而动摇。

最后，团队测试了通过允许机器生成更长的推理链来增加“思考”时间，是否会改变它们的答案。对于大多数模型而言，增加推理投入并不会改变它们的判断。无论是在被要求快速思考还是深入审视，它们应用规则的流畅度都是一样的。这反映了人类应用熟悉概念的方式：我们不需要每次遇到规则时都重新推导其逻辑。研究结果表明，对于这些模型来说，规则的概念已经掌握并随时待用，而不是每次遇到都需要从头开始重建。

该研究得出结论，虽然这些机器并非人类思维的完美复制品，但它们确实展示了真正的概念掌握迹象。它们可以将其理解泛化到新情境中，在任务变化时保持稳定，并且无需过度思考细节即可应用规则。证据指向这样一个观点：它们并非仅仅在记忆模式，而是可能已经发展出了一种灵活的语义能力。这并不意味着它们是人类，也不意味着它们是无懈可击的，但这确实表明它们对规则进行推理的能力不仅仅是一种高级的模仿形式。随着这些工具与社会的融合程度不断加深，理解这种能力的本质对于了解如何信任并使用它们至关重要。

技术摘要：大型语言模型中概念掌握能力的证据

问题陈述

本研究解决的核心挑战是区分大型语言模型（LLM）的概念掌握（conceptual mastery）与机械记忆（rote memorization）。尽管 LLM 在多个领域表现出匹配甚至超过人类的性能，但批评者认为这可能源于对预训练数据中记忆模式的复制，而非真正的理解。以往比较人类与 LLM 在规则违反判断上的研究，通常使用在模型训练截止日期前已在公开网络上存在的刺激物，这留下了模型可能仅仅是在回忆人类反应的可能性。此外，LLM 表现出“思维多样性降低”（响应方差低于人类）以及对偶然任务特征（如提示词措辞、量表锚点）的敏感性，批评者将其视为缺乏真正概念能力的证据。本文旨在确定 LLM 是否拥有一种可泛化的、常态性的语义能力，能够在规则文本与其目的发生背离的情况下应用规则。

研究方法

作者通过一个涉及规则违反判断的**实验法学（Experimental Jurisprudence）**框架，对 13 种不同的 LLM 进行了五项实验。该方法侧重于四个关键操纵，以测试鲁棒性和泛化性：

刺激物的原创性（研究 1A & 1B）：
- 研究 1A： 将 LLM 的判断与新收集的人类数据（ $n=115$ ）进行对比，使用了既有的“旧”剧本，也使用了新创建的剧本（这些剧本在模型训练截止日期后才出现在网上）。这测试了模型能否泛化到未见数据。
- 研究 1B： 在更小、更高效的模型（Qwen 3, Claude 4.5 Haiku, Gpt-5 Mini, Gemini 3 Flash）中复制了发现，同时操纵了系统提示词（短指令 vs 长指令）和数值量表锚点（标准 Likert 量表 vs 反转 Likert 量表），以测试对偶然特征的鲁棒性。
时间压力操纵（研究 2A & 2B）：
- 利用了已知的人类认知现象，即时间压力会使判断从关注规则目的转向关注规则文本。
- 机制： 人类受限于认知资源；而 LLM 则不受限。研究指示模型模拟“加速”（4 秒）或“延迟”（15 秒）条件。由于 LLM 的实际 Token 生成时间不受这些指令影响，如果一个模型仅根据这些线索就表现出人类式的转变，则表明其是在模仿人类模式而非具备概念理解。
- 研究 2A： 使用了原始模型组（Llama 3.2 90b, Gemini Pro, Claude 3 Opus, GPT-4o）。
- 研究 2B： 将相同的操纵应用于较新的小型模型组，并结合了提示词和量表的变化。
推理努力程度（研究 3）：
- 调查增加“推理努力”（推理模型中用于扩展思维链深度的参数）是否会改变规则应用。
- 假设： 如果规则应用依赖于扩展的审议过程，更高的努力程度应该会改变结果。如果依赖于常态性的语义能力（流畅性），则努力程度应几乎没有影响。
- 模型： 测试了 GPT-5.4 Mini, GPT-5.5, Gemini 3.5 Flash, Claude Sonnet 5, 和 GPT-OSS 120B。

校准： 为了应对“多样性降低”的批评，作者针对每个模型校准了温度（temperature）（以及特定模型的推理努力程度），以匹配“旧剧本”条件下人类样本的响应方差。

关键结果

对原创刺激物的泛化（研究 1A）： LLM 在处理旧剧本和新剧本时都紧密追踪人类的判断。至关重要的是，人类和 LLM 在评估新剧本时，相对于旧剧本都表现出了对规则文本依赖程度的降低。这种出人意料的平行转变表明，LLM 对刺激物中难以言说的细微且系统性的差异具有敏感性，从而支持了泛化而非记忆的观点。
对偶然特征的鲁棒性（研究 1B）： 尽管与系统提示词和量表锚点存在显著交互，但规则文本和规则目的的核心效应在所有模型和条件下依然保持稳健且显著。无论提示词如何变化，LLM 与人类判断之间的相关性始终保持在高水平（ $r \approx 0.77 - 0.93$ ）。
时间压力敏感性（研究 2A & 2B）： 结果呈现混合性且具有模型特异性：
- GPT-4o 和 Llama 3.2 90b 在很大程度上忽略了时间压力指令，无论是在“加速”还是“延迟”的线索下，都能保持对文本和目的的一致依赖。这表明它们并非仅仅在模仿人类的时间压力反应。
- Gemini Pro 和 Claude 3（研究 2A）以及 Claude 4.5 Haiku 和 Gemini 3 Flash（研究 2B）表现出了对时间压力操纵的敏感性，在某些情况下模仿了人类模式（例如，在延迟条件下增加了文本主义）。然而，它们在其他情况下也与人类不同（例如，Claude 对仅基于目的的违规行为的反应）。
- 参数量： 复制人类式时间压力敏感性的现象在参数量较少的模型中更为明显，这表明模型规模、记忆与对人类启发式方法的对齐之间可能存在潜在联系。
推理努力程度（研究 3）： 增加推理努力对于大多数模型而言，并未产生可检测到的规则应用变化。对文本和目的的敏感性保持稳定。仅在 GPT-OSS 和 Claude Sonnet 5 的高努力设置下观察到了显著的“目的论”趋势（增加了对目的的关注），但总体而言，该概念似乎是流畅应用的，并不依赖于扩展的审议过程。
响应方差： 尽管进行了温度校准，LLM 始终表现出比人类更低的响应方差，尤其是在 Claude 3 和 GPT-4o 中。

核心贡献

泛化的证据： 证明了 LLM 在处理原创的（训练后）刺激物时，能够以平行于人类直觉的方式应用规则，包括在文本与目的的依赖关系上发生的细微转变，这挑战了“机械记忆”的假设。
区分能力与对齐： 表明“概念能力”（对规则的稳健应用）并不总是等同于“人类对齐”（模仿人类的启发式反应，如时间压力反应）。某些模型（如 GPT-4o）通过忽略无关的时间约束展现了其能力，而另一些模型则模仿了人类的偏差。
规则应用的流畅性： 提供了证据表明，LLM（及人类）的规则应用依赖于常态性的语义能力，而非扩展的审议处理过程，因为增加推理努力并未显著改变大多数模型的输出结果。
方法论严谨性： 建立了一套将 LLM 温度校准至人类方差，并使用原创刺激物来控制预训练数据污染的协议。

意义与主张

本文得出结论，研究结果与单纯的机械记忆或特定提示词响应是不一致的。相反，结果表明 LLM 的规则应用反映了一种可泛化的、常态性的语义能力，这种能力通常并不依赖于扩展的审议过程。

作者认为，虽然 LLM 在某些操纵下（特别是关于时间压力方面）可能无法完美对齐人类反应，但它们能够追踪人类在原创案例中的直觉，并对偶然的任务特征保持稳健，这表明其具备真正的概念能力。这对 LLM 在法律推理中的部署具有重要意义，表明“人类特质的缺失”并不一定会降低规则违反判断的质量，因为模型可以流畅且稳健地应用概念。

论文也谦逊地指出，“思维多样性降低”仍是 LLM 面临的一个持续问题，且难以通过温度调节来解决，同时模型规模、记忆与概念掌握之间的关系仍需进一步研究。