💬 NLP

Reasoning or a Semblance of it? A Diagnostic Study of Transitive Reasoning in LLMs

本文通过控制词汇重叠、预训练知识和命名实体，研究了 LLaMA 2 和 Flan-T5 是展现了真正的传递推理能力，还是依赖于表层线索，结果表明虽然两种模型都利用了词汇重叠，但 Flan-T5 在应对基于知识的操控时表现出更强的韧性，这暗示了微调在培养逻辑理解方面可能发挥的作用。

原作者： Houman Mehrafarin, Arash Eshghi, Ioannis Konstas

发布于 2026-09-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Houman Mehrafarin, Arash Eshghi, Ioannis Konstas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的领域中，一种被称为“大语言模型”的特定类型计算机程序吸引了全世界的目光。这些系统通过在互联网海量的文本数据上进行训练，能够撰写故事、翻译语言并回答复杂的问题。对于研究这些机器的科学家来说，一个核心问题是：它们是真的理解逻辑，还是仅仅在模仿之前见过的模式？为了测试这一点，研究人员观察了一项被称为“传递性推理”（transitive reasoning）的基础技能。用通俗的话说，这就是将两个独立的信息片段连接起来以得出新结论的能力。例如，如果一个人知道猫是一种动物，并且所有动物都需要食物，那么他们就可以逻辑地推导出猫需要食物，而无需被明确告知这一特定事实。这个过程不仅仅需要记忆，它还需要将事实编织在一起的能力。驱动近期研究的问题是：这些强大的计算机程序是在进行这种“思维编织”，还是通过识别熟悉的词汇并猜测答案来走捷径。

来自赫里奥特-瓦特大学（Heriot-Watt University）和爱丁堡大学的一个研究小组着手调查这一问题。他们专注于两种不同类型的语言模型，一个被称为 LLaMA 2，另一个被称为 Flan-T5，以观察它们如何处理需要连接两个事实的问题。科学家们使用了两个现有的问题集来测试这种思维能力。其中一个被称为 QASC 的集合提出了关于科学的多项选择题，这些题目需要结合两个陈述来找到正确答案。另一个被称为 Bamboogle 的集合包含了一些足够棘手的问题，以至于标准的互联网搜索引擎可能会出错，从而迫使模型依赖自身的处理能力。研究人员想知道，这些模型是在真正进行逻辑推理，还是仅仅在捕捉特定的词汇，比如出现在问题和答案中共同出现的日期或名称。

为了寻找真相，该团队设计了一系列巧妙的实验，系统地改变了提供给模型的各种信息。他们首先检查了在给出事实以及一个清晰的连接示例的情况下，模型是否能够解决问题。在这两种条件下，两个模型都表现良好，但研究人员怀疑这可能太容易了。随后，他们移除了展示如何连接事实的示例，让模型在没有引导的情况下自行解决。结果是具有启发性的。经过专门针对类似推理任务进行训练的 Flan-T5 模型，即使在没有示例的情况下也继续表现得非常好。然而，LLaMA 2 模型在失去这种引导后表现得非常吃力，这表明它在能够遵循某种推理模式之前，高度依赖于看到该模式的出现。

随后，研究人员采取了一种更激进的方法，以观察模型是否真正理解词汇的含义。他们打乱了事实中单词的顺序，将清晰的句子变成了杂乱无章、毫无意义的文本字符串。如果模型是真的在对含义进行推理，那么这种混乱应该会让寻找答案变得不可能。令人惊讶的是，模型的表现几乎没有下降。即使在句子不符合语法逻辑的情况下，它们仍然能够选出正确答案。这表明模型并不是将句子作为连贯的思想来阅读。相反，它们很可能是在扫描与答案相匹配的特定关键词。当研究人员完全移除这些匹配的关键词时，模型的准确率骤降，证实了它们通常只是在匹配单词，而不是进行逻辑推导。

为了排除模型仅仅是从其训练数据中记忆答案的可能性，团队转向了包含模型从未见过的问题的 Bamboogle 数据集。在这里，他们引入了最后一项严苛的测试。他们将人名、地名和日期——即那些经常出现在答案中的特定实体——替换成了无意义的词汇。他们还打乱了事实中单词的顺序。当面对这些由乱码组成的版本时，LLaMA 2 模型几乎完全失败了。如果没有熟悉的名称和日期来引导，它无法找到答案。然而，Flan-T5 模型展现出了不同类型的韧性。虽然它的表现有所下降，但仍显著优于另一个模型。这表明，由于 Flan-T5 经过了专门的推理任务训练，它发展出了一种更稳健的遵循逻辑链条的能力，即使在熟悉的线索被剥离时也是如此。

这项研究得出结论：虽然大语言模型看起来可以进行推理，但它们的成功往往取决于它们被训练的具体方式以及文本中可用的线索。对于那些没有经过专门推理任务微调的模型来说，回答复杂问题的能力似乎高度依赖于识别熟悉的单词和模式，而非真正的逻辑演绎。即使它们看起来在进行逐步思考，也可能只是在寻找正确的关键词。然而，研究表明，当一个模型经过精心训练，使用旨在教导它如何连接事实的数据集时，它可以发展出一种更真实的传递性推理能力。这种能力使其即使在通常的捷径（如可识别的姓名或日期）被移除时，也能处理复杂问题。这些发现提醒人们，推理测试的高分并不总是证明机器理解了逻辑；有时，它只是非常擅长寻找正确的词汇。

技术摘要：推理还是推理的假象？关于大语言模型传递性推理的诊断性研究

问题陈述

尽管大语言模型（LLMs）在推理基准测试中表现出高性能，但目前尚不清楚它们是在进行真正的逻辑推理，还是仅仅依赖于隐含的线索（如词汇重叠、命名实体或先验知识）来生成答案。具体而言，传递性推理（即从两个前提 $A \to B$ 和 $B \to C$ 中推导出结论 $A \to C$ 的能力）的底层机制尚不明确。现有的基准测试可能无法准确反映模型的推理能力，因为模型可能会利用表层模式而非进行组合演绎。

研究方法

作者使用两种不同的 LLM 架构进行了诊断性研究：LLaMA 2（仅解码器架构，参数量为 7B 和 13B）和 Flan-T5 XXL（编码器-解码器架构，参数量为 11B）。该研究使用了两个组合数据集：

QASC： 一个多项选择数据集，要求整合两个事实以推导出答案。
Bamboogle： 一个标准搜索引擎无法回答的问题集，通过将其分解为两个事实来强制执行传递性推理。至关重要的是，该数据集是在 Flan-T5 预训练之后发布的，确保了模型没有接触过这些特定问题。

研究人员设计了一系列诊断实验，通过自动和人工重新标注来控制特定的信息利用来源：

提示词变体（Prompt Variations）： 比较不同提示词下的表现，包括包含完整演绎过程的示例、只有问题而无事实的提示（QA）、有事实但无演绎步骤的提示（QAF），以及打乱词序的提示。
词汇/短语重叠消融（Word/Phrase Overlap Ablation）： 系统性地移除问题与事实之间的连接词，或两个事实之间的连接词，以测试模型对词汇重叠的依赖程度。
关键词移除（Keyword Removal）： 移除事实中的答案关键词，以确定模型是否依赖于事实与答案选项之间的标记（token）匹配。
命名实体操纵（Named Entity Manipulation）： 将专有名词、日期和数字转换为“乱码”（随机字符），以控制模型对特定命名实体（例如，在问题询问“何时”时寻找日期）的依赖。
词序打乱（Word Order Shuffling）： 随机打乱事实中的单词顺序，以测试模型是否能内部恢复语法结构，或者是否依赖于标记序列。

关键结果

1. QASC 上的表现（微调 vs. 非微调）

Flan-T5（在 QASC 上经过微调）在所有提示词下都显著优于 LLaMA 2。
当演示缺乏显式演绎步骤时（QAF 提示），LLaMA 2 模型表现挣扎，而 Flan-T5 保持了高准确率，这表明在推理数据集上进行微调可能会诱导类推理行为。
词序不敏感性： 打乱事实中的词序对两个模型的性能影响极小。然而，后续实验显示，当作为独立任务被要求时，模型无法内部恢复打乱句子的词序。这表明模型并非在进行语法解析，而是在从标记序列中提取模式。
关键词依赖： 移除事实中的答案关键词导致性能大幅下降（LLaMA 2-7b 下降达 34%），表明模型严重依赖于将答案选项与事实中的关键词进行匹配，而非纯粹的演绎。

2. Bamboogle 上的表现（控制先验知识）

先验知识： 在“QA”提示（无事实问题）上的低分证实，这两个模型在预训练或微调期间均未见过这些特定问题。
实体依赖： 当命名实体（日期、名称）转换为乱码时：
- LLaMA 2-13b 的性能显著下降（Rouge-1 下降 25%），表明其强烈依赖识别特定命名实体来回答问题。
- Flan-T5 经历了更大的性能下降（38% 的降幅），表明尽管其基准准确率更高，但它也高度依赖于命名实体，尽管其在原始设置下的绝对准确率高于 LLaMA 2。
打乱： 当事实被打乱时，Flan-T5 的性能从 96%（完整情况）显著下降到 77%（两个事实均被打乱），这表明虽然它比 LLaMA 2 更具鲁棒性，但它在一定程度上仍依赖于事实的结构完整性。

核心贡献

诊断框架： 本文引入了一套严谨的操纵手段（连接词消融、关键词移除、实体乱码化和词序打乱），用以剖析 LLM 在传递性推理任务中利用的具体线索。
机制区分： 研究区分了依赖词汇线索（重叠词、答案关键词、命名实体）的模型与那些可能展现出传递性推理能力的模型。
微调的作用： 结果表明，虽然 LLMs 通常依赖表层线索，但在相关推理数据集上进行微调（如 Flan-T5 在 QASC 上的表现）可以产生更具韧性的推理行为，这种行为对特定命名实体或精确词汇重叠的依赖程度低于非微调模型，尽管它们并非对此类操纵免疫。
基准测试的局限性： 研究结果挑战了当前推理基准测试的有效性，表明高准确率往往源于模式匹配（例如，在问题询问“何时”时，在文本中寻找日期）而非逻辑演绎。

重要性与主张

作者主张，当前的 LLMs 通常表现出的是**“推理的假象”**而非真正的逻辑演绎。它们在传递性推理任务上的表现频繁受以下因素驱动：

隐含线索： 利用问题、事实与答案之间的词汇重叠。
命名实体偏差： 依赖特定的实体（日期、名称）来回答问题。
先验知识： 从预训练数据中回忆答案而非进行演绎。

然而，论文指出，在相关推理数据集上进行微调（如 Flan-T5 在 QASC 上的表现）似乎能培养出一种更稳健的传递性推理形式，这种形式对移除命名实体的敏感度低于非微调模型，尽管它仍然依赖于某些结构性线索。作者总结道，虽然模型可以解决组合性问题，但其使用的机制往往与人类的逻辑推理截然不同，未来的工作必须研究特定的训练目标如何影响这些能力。该研究并非声称模型已经实现了真正的推理，而是识别了它们在何种条件下能更接近于实现推理。