Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

技术摘要：用于自然语言推理的混合模型

问题陈述
尽管神经模型取得了显著进展，但其泛化能力仍是逻辑推理应用的关键瓶颈。现有文献常将泛化的两个不同方面——组合性（compositionality）与递归性（recursiveness）——混为一谈。

• 此处定义的组合性并非标准的“自底向上”意义构建，而是一种分析性的“自顶向下”能力：即从复杂结构中抽象出原子逻辑规则，并将其应用于更简单组件的能力。
• 递归性是指通过有限规则集的迭代应用来构建复杂表示的能力（例如，扩展传递链）。

作者认为，虽然模型可能具备递归性（通过模仿表面模式处理长链），但它们往往缺乏真正的组合性（理解单个链接的结构组合）。这种缺陷阻碍了稳健的逻辑推理，特别是当在复杂推理上训练的模型无法识别其底层更简单的组件时。

方法论
为了探究这些能力，作者利用三段论逻辑作为受控基准。这一自然语言推理片段具有足够的表达力以非平凡，同时在计算上可处理，这与完整的一阶逻辑不同。

1. 形式框架：研究采用了基于 Smiley (1973) 的三段论证明系统，包含四种量词类型（A、E、I、O），并允许从任意前提进行推导。该系统被证明是可靠且完备的。
2. 符号组件：实现了一个非确定性自动证明器。它尝试使用以下方法从知识库 $KB$推导假设$H$：
   • 直接基于规则的证明（平凡且基于规则）。
   • 反证法（寻找公式 $F$，使得 $KB \cup \{H\} \vdash F$ 且 $KB \vdash \neg F$）。
3. 连接主义组件：两个预训练的大语言模型（LLM）——FLAN-T5-base（编码器 - 解码器）和GPT-4o-mini（仅解码器）——在合成数据上进行了微调，以充当助手。该数据由表示为图的知识库组成，并使用伪词转换为自然语言，以避免内容偏差。
   • 任务 1（前提选择）：预测一个最小前提子集 $P \subseteq KB$，使得 $P \vdash H$。
   • 任务 2（反证法）：预测一个反驳公式 $F$ 以促进矛盾证明。
4. 泛化评估：作者通过基于A 链长度（传递包含的长度）操纵训练集和测试集，将组合性和递归性操作化：
   • 组合性（COM）：在长链上训练的模型在短链上进行测试（分解）。
   • 递归性（REC）：在短链上训练的模型在长链上进行测试（构建）。
   • 总体（OVE）：在所有长度上训练和测试的模型。

主要贡献

1. 实证区分：严格证明了大语言模型在递归性方面具有合理的熟练度，但在组合性方面存在显著困难。在复杂推理上训练的模型无法泛化到其更简单的组成部分。
2. 结构约束：理论发现神经模型中的泛化受逻辑结构约束。性能在不同三段论类型间呈现系统性变化（例如，最简单的推理类型 $\tau_2$ 已被掌握，而像 $\tau_1$ 和 $\tau_5$ 这样的复杂组合仍然具有挑战性）。
3. 混合架构：提出并评估了一种神经符号框架，其中神经组件辅助符号证明器。神经模型通过预测候选前提和矛盾公式来缩小搜索空间，而符号证明器则保证逻辑的完备性和正确性。

结果

• 泛化差异：在递归设置中，模型的表现与总体基线相当，表明它们能够将模式扩展到更长的链。然而，在组合设置中，性能大幅下降（例如，GPT 在前提选择上的准确率从 OVE-short 的约 94% 下降到 COM 的约 76%）。
• 类型依赖性变异：性能高度依赖于具体的三段论类型。类型 $\tau_2$（单 A 链）在各种设置中均达到近乎完美的准确率，而需要多条链或混合量词的类型在组合任务中显示出显著的性能下降。
• 错误分析：
  • 不必要的前提：模型经常包含非最小但依然有效的前提，这使得符号证明器能够成功。
  • 虚构的前提：在真正失败的情况下，模型生成了形式正确但语义错误的前提，通常混淆了具有相似假设结构的三段论类型（例如，试图为 $\tau_1$ 假设构建 $\tau_3$ 证明）。
• 混合效率：混合模型显著降低了符号证明器的计算成本。
  • 纯符号证明器平均需要约 $10^{5.7}$ 步。
  • 配备总体或递归助手的混合模型将此减少至约 $10^{2.4}$ 步（减少了三个数量级）。
  • 即使使用组合助手（其准确率较低），混合系统仍保持稳健，仅比表现最佳的助手多需要少量步骤（约 $10^{2.7}$ 到 $10^{3.1}$），且未损害最终证明的可靠性或完备性。

意义与主张
本文主张，神经推理中观察到的局限性不仅仅是规模问题，而是源于无法执行结构分解（组合性）与模式重复（递归性）之间的根本差异。作者认为，Transformer 注意力机制可能自然支持后者，但不支持前者。

这项工作的意义在于证明混合模型提供了一条可行的前进路径。通过利用神经网络进行高效的搜索空间缩减，并利用符号推理提供逻辑保证，可以克服纯神经系统的泛化障碍。研究表明，这种模块化方法对于开发可靠的逻辑证明器至关重要，即使神经组件不完美或在有限数据上训练。作者得出结论，尽管三段论逻辑是一个简单的片段，但它已经揭示了神经泛化的非平凡边界，从而激发了对更丰富逻辑片段及其可学习性背后结构原因的研究。