💬 NLP

Are LLMs Stable Formal Logic Translators in Logical Reasoning Across Linguistically Diversified Texts?

本文介绍了 SoLT 基准测试和 MenTaL 方法，旨在解决基于大语言模型的形式逻辑翻译器在面对语言变化时的不稳定性，并证明了显式的概念-符号映射能显著提高在多样化文本输入下的推理一致性与准确性。

原作者： Qingchuan Li, Jiatong Li, Zirui Liu, Mingyue Cheng, Yuting Zeng, Qi Liu, Tongxuan Liu

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Qingchuan Li, Jiatong Li, Zirui Liu, Mingyue Cheng, Yuting Zeng, Qi Liu, Tongxuan Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心理念：“名牌”问题

想象你是一名翻译官，正试图将一个用英文编写的故事转换成一种机器人能理解的严格代码。这个机器人非常擅长解谜，但它只理解特定的符号（比如 A、B 或 C）。它并不理解像“cat”（猫）、“feline”（猫科动物）或“kitty”（小猫）这样的词汇。

这篇论文研究的问题是：如果故事中对同一个事物使用了不同的词汇，翻译官会感到困惑吗？

例如，如果故事说“The cat is hungry”（这只猫饿了），随后又说“The feline is tired”（这只猫科动物累了），人类知道它们指的是同一种动物。但论文发现，大语言模型（LLM）——即 AI 翻译官——经常会搞混。它们可能会把“cat”翻译成符号 A，而把“feline”翻译成符号 B。

对于机器人解题者来说，A 和 B 是两种完全不同的生物。机器人会认为故事是在讲述两个不同的生物，从而导致无法解开谜题，尽管其逻辑本身是完全成立的。论文将这种现象称为**“符号漂移”（symbol drift）**。

研究过程：使用“变色龙”文本进行测试

研究人员想要看看这种情况是否在现实中发生。他们注意到，大多数 AI 测试都使用非常重复的文本（例如，每次都使用“cat”这个词）。这就像是用一个词汇永远不变的剧本在测试翻译官。

为了解决这个问题，他们构建了一个新的测试方法，称为 SoLT（符号逻辑翻译）。

类比： 想象一下，将一个标准故事放入一台“变色龙机器”中运行。这台机器会在不改变原意的情况下，以多种方式重写故事。它会将“cat”替换为“feline”，将“The cat is hungry”改为“It is the feline that needs food”，或者将主动语态切换为被动语态。
结果： 当他们将这些“变色龙”故事喂给 AI 翻译官时，AI 的表现大幅下降。语言的变化越多，AI 的符号映射就越容易出错，机器人解出正确答案的可能性也就越低。

解决方案：“心理名牌”（MenTaL）

研究人员意识到，AI 之所以失败，是因为它在进行逐句翻译，而没有维护一个全局的身份列表。

为了修复这个问题，他们创建了一种新方法，称为 MenTaL（心理表征表）。

类比： 想象翻译官身边有一块白板。在开始将故事翻译成代码之前，他先在上面写下一个列表：
- Cat = Feline = Kitty = 符号 A
- Dog = Puppy = 符号 B
运作方式： 每当 AI 看到一个新词（如“feline”）时，它会先检查白板。如果它发现“feline”已经与“cat”关联在一起，它就会使用相同的符号（A）。如果是新概念，它就会在白板上增加一行。
结果： 通过强制要求 AI 先建立这个“名牌”列表，翻译变得更加稳定。机器人解题者终于能够连点成线，即使在文本非常多样化的情况下，准确率也显著提升。

关键结论

目前的 AI 很脆弱： 当你改变逻辑问题的措辞时（哪怕只是微小的变化），目前的 AI 翻译官往往会破坏逻辑，因为它们会将同义词视为不同的事物。
旧的测试太简单了： 大多数现有的测试之所以没有检测到这一点，是因为它们使用了重复性极高的语言。新的 SoLT 基准测试揭示了这一弱点。
简单的修复方案行之有效： 通过给 AI 一个“心理表征表”（一个用来记录同义词的列表），我们可以消除这种困惑。这对于大型闭源 AI 模型（如 GPT-4）和较小的开源模型都有效。

简而言之，论文表明，要让 AI 成为可靠的逻辑翻译官，它需要停止进行逐词翻译，而是开始维护一个一致的“字典”，无论这些词汇如何变换外表。

技术摘要：在跨语言多样化文本的逻辑推理中，大语言模型（LLM）是否是稳定的形式逻辑翻译器？

1. 问题定义

利用大语言模型（LLM）的逻辑推理系统通常采用神经符号范式，即由 LLM 将自然语言（NL）翻译为形式逻辑，随后由符号求解器进行处理。尽管这种方法非常有效，但它高度依赖于翻译步骤的忠实性与一致性。一个关键且尚未得到充分探索的脆弱点是符号漂移（symbol drift）：即当相同的表达方式出现在不同的语言形式（例如：同义词、释义或句法变体）中时，LLM 无法将语义等价的表达式映射到同一个逻辑符号上。

现有的逻辑推理基准测试通常使用高度统一的语言，往往在相同的概念上重复使用完全相同的表层形式。因此，这些测试未能评估 LLM 是否能在现实的语言变化中保持符号一致性（symbol consistency）。这一差距导致了对 LLM 鲁棒性的高估，因为在现实世界中，文本经常通过多样化的措辞来表达同一个概念，而这会破坏推理链并导致求解器报错。

2. 研究方法

2.1 SoLT：一种针对语言多样性的基准测试

为了解决缺乏对翻译稳定性评估的问题，作者引入了 SoLT（逻辑翻译稳定性）。SoLT 并非从零开始构建的新数据集，而是通过一种**逻辑不变的语言多样化（Logic-invariant Linguistic Diversification）**方法，对现有的推理数据集（LogicDeduction, ProntoQA, FOLIO, ProofWriter, ProverQA）进行系统性转换。

多样化流水线分为三个阶段运行：

重复概念识别： 系统识别在问题中出现多次的表层表达式（ $freq_q(e) \ge 2$ ）。
多样化策略构建： 针对每个重复的概念，系统在三个层面生成变体：
- 词级： 同义词替换（使用 WordNet）。
- 短语级： 释义（使用 PPDB）。
- 句子级： 句法重写（例如：主动/被动交替、第三人称改写）使用 LLM。
语义过滤下的候选生成： 生成的候选词通过强力的句子嵌入模型（如 BGE-large-en-v1.5）进行过滤，以确保语义相似度超过阈值（ $\theta = 0.90$ ）。随后，由一个 LLM 组装最终的多样化问题，在选择能最大化表层多样性且最小化相同概念重复形式的候选词。

通过嵌入相似度评分以及人工/LLM 逻辑不变性评分（1–5 分制）进行的验证，证实了 SoLT 在显著增加语言多样性的同时，保留了语义含义和逻辑结构。

2.2 MenTaL：一种基于心理表征引导的框架

为了缓解符号漂移，作者提出了 MenTaL（心理表征表引导的翻译）。受认知心理学中心理表征理论的启发，MenTaL 明确引导 LLM 在翻译过程中构建并维护一个心理表征表（Mental Representation Table, MRT）。

MRT 将语义等价的表达式映射到一个统一的逻辑符号 ( $\sigma$ )。该框架定义了表中三种更新操作：

扩展（Extending）： 为之前未见过的概念分配新的符号。
复用（Reusing）： 如果新表达式与现有表达式语义等价（ $e^{(i)} \equiv e^{(j)}$ ），则将其映射到现有符号。
检查与精炼（Checking & Refining）： 针对部分重叠或包含关系进行调整（例如：将“热门节目”映射到更精细的原子符号）。

MenTaL 可以通过以下方式实现：

上下文学习（In-Context Learning）： 在提示词中为闭源模型提供构建 MRT 的示例。
监督微调（Supervised Fine-Tuning, SFT）： 使用利用 MenTaL 生成的高性能模型推理轨迹，对较小的开源模型（如 LLaMA-3-8B）进行训练。

3. 核心贡献

SoLT 基准测试： 一种通用的方法及由此产生的基准测试，通过将推理数据集重写为多样化的、逻辑等价的形式，从而系统地评估在语言变化下的翻译稳定性。
MenTaL 框架： 一种轻量级、可泛化的方法，通过显式组织“概念-符号”关系，强制执行一致的符号映射。
实证分析： 通过广泛的实验证明，当前的 LLM 在面对语言多样性时存在普遍的符号漂移问题，且 MenTaL 能有效缓解这一问题。

4. 实验结果

4.1 当前 LLM 的不稳定性

在 SoLT 上使用四种 LLM（GPT-3.5, GPT-4, DeepSeek-V3, DeepSeek-R1）和三种符号求解器的实验揭示了显著的性能下降：

准确率下降： 在多样化输入下，直接提示下的准确率大幅下降（例如，在各项任务中平均从 0.51 降至 0.24）。
符号离散得分（Symbol Dispersion Score, SDS）： 一个量化符号漂移的新指标。SDS 在 SoLT 输入上急剧上升（表明映射不一致），而在原始数据集上保持接近于零。
错误分析： 主要失效模式是由于符号分配不一致导致的逻辑错误，而非解析或执行错误。即使是轻微的语言变化（如同义词替换）也会导致明显的准确率下降。
提示词微调的局限性： 简单的提示词调整或鼓励一致性的 few-shot 示例，未能显著提高多样化任务中的性能或降低 SDS。

4.2 MenTaL 的有效性

应用 MenTaL 可获得持续且稳定的性能提升：

上下文学习： 对于高性能模型，MenTaL 将多样化任务上的 SDS 降低至接近于零，并将准确率提升了高达 40.74%（例如在 ProntoQA 上）。
监督微调： 对于较小的 LLaMA-3-8B 模型，标准的 SFT 虽然提高了准确率，但未能降低多样化数据上的符号漂移。相比之下，基于 MenTaL 的 SFT 在原始数据集和多样化数据集上均实现了接近于零的 SDS 以及显著更高的准确率，展示了强大的跨求解器和跨任务的泛化能力。
错误归因： 人工分析确认，MenTaL 所纠正的错误中，约有 50% 明确是由于提高了符号一致性所致，验证了该机制针对性的有效性。

4.3 多样化强度

通过改变“多样化强度”（每个问题中修改的句子数量）进行的实验显示，随着强度增加，LLM 的准确率呈现平滑且连续的下降趋势。这表明存在一种累积效应，即处理越来越多的语义变体会逐渐削弱模型维持一致符号对齐的能力。

5. 重要性与主张

本文认为，忽视当前基准测试中的语言多样性掩盖了 LLM 作为逻辑翻译器的一个关键弱点：即无法在多样化的表达之间维持一致的符号映射。这种“符号漂移”在同义词和释义常见的现实场景中会破坏逻辑连贯性。

这项工作的意义在于：

诊断： 提供了一个系统性的工具（SoLT），用于识别和衡量标准基准测试所忽略的翻译不稳定性。
解决方案： 提供了一种实用且可泛化的方法（MenTaL），旨在无需更改求解器架构的情况下，增强神经符号推理系统的鲁棒性。
可靠性： 通过确保在语言变化下仍能保持翻译稳定性，推动该领域向更可靠的现实应用迈进。

作者总结道，虽然 MenTaL 显著提高了稳定性，但一致的符号映射挑战仍然是未来的研究重点，特别是在 LLM 被部署到复杂的、语言多样化的环境中时。