💬 NLP

Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

本文提出了 QuaSAR 框架，通过引导大语言模型在推理过程中仅将关键变量和谓词形式化，从而在自然语言与符号逻辑之间建立“准符号”抽象，有效平衡了效率与灵活性，显著提升了模型在复杂推理任务中的准确性、鲁棒性和一致性。

原作者： Leonardo Ranaldi, Marco Valentino, Andrè Freitas

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonardo Ranaldi, Marco Valentino, Andrè Freitas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 QuaSAR（准符号抽象推理）的新方法，旨在让大型语言模型（LLM，比如我们平时用的 AI 助手）变得更聪明、更靠谱，特别是在处理复杂的数学题或逻辑推理时。

为了让你更容易理解，我们可以把 AI 思考的过程想象成**“解一道复杂的数学应用题”**。

1. 现在的 AI 是怎么思考的？（CoT 的困境）

目前的 AI 通常使用一种叫“思维链”（Chain-of-Thought, CoT）的方法。

比喻：这就好比让一个学生**“大声说出他的解题思路”**。
- 题目：“小明有 5 个苹果，吃了 2 个，又买了 3 个，现在有几个？”
- AI 的回答：“嗯，小明原来有 5 个，吃了 2 个剩 3 个，又买了 3 个，所以是 6 个。答案是 6。”

问题出在哪？
虽然 AI 看起来在一步步思考，但它很容易**“被题目里的故事带偏”**。

比喻：如果题目里说“小明是个很贪吃的小男孩，他肯定藏了苹果”，AI 可能会因为过度关注“贪吃”这个故事细节，而忽略了数学逻辑，最后算错。或者，如果题目稍微换个说法（比如把“苹果”换成“梨”），AI 可能会因为记不住之前的逻辑而犯错。
现状：AI 生成的解释往往充满了“废话”和“故事感”，导致它不够严谨，容易在复杂的逻辑陷阱里迷路。

2. 以前的尝试：完全符号化（太死板）

为了解决这个问题，以前的科学家尝试让 AI 把题目完全翻译成数学公式或代码，然后交给专门的计算器去算。

比喻：这就像强迫学生把“小明吃苹果”的故事，必须先翻译成“设 $x$ 为苹果数， $y$ 为吃掉数..."，然后必须用纯数学语言写出来才能解题。
缺点：这太慢了，而且如果题目稍微有点模糊，AI 就不知道该怎么翻译了，就像让一个不懂数学的人去写代码一样，效率很低。

3. QuaSAR 的妙计：半符号化的“翻译官”

QuaSAR 提出了一种**“中间路线”。它不要求 AI 完全变成机器，也不让它完全沉浸在故事里。它让 AI 扮演一个“翻译官”**的角色。

QuaSAR 的四个步骤（就像解题的四个关卡）：

抽象（Abstraction）—— 提取“骨架”
- 比喻：就像看一部电影，先不管剧情多精彩，先把核心数据列出来。
- AI 做：不管题目里是“苹果”还是“梨”，也不管小明多贪吃。AI 只提取关键信息：“总数=5，减去=2，加上=3"。它把具体的“故事”剥离，只留下逻辑的“骨架”。
形式化（Formalisation）—— 穿上“制服”
- 比喻：给这些骨架穿上半正式的制服。
- AI 做：它把刚才提取的信息，用一种**“半数学半人话”**的方式写出来。比如：“设 $A$ 为初始数量， $B$ 为减少量..."。这既保留了逻辑的严谨性，又没完全变成枯燥的代码，AI 还能看懂。
解释（Explanation）—— 按部就班地推演
- 比喻：按照穿好制服的逻辑，一步步**“走正步”**。
- AI 做：因为前面已经把“故事”剥离了，AI 现在只需要按照严格的逻辑规则一步步计算。它不会被“小明贪吃”这种故事干扰，因为它现在是在处理纯粹的逻辑关系。
回答（Answering）—— 给出最终结论
- 比喻：最后大声喊出答案。
- AI 做：直接给出一个简洁、格式严格的答案。

4. 这个方法好在哪里？

更抗干扰（Robustness）：
- 比喻：如果题目把“苹果”改成“香蕉”，或者把选项顺序打乱，普通的 AI 可能会晕。但 QuaSAR 因为早就把“苹果/香蕉”这种具体名词抽象成了变量 $A$ ，所以它根本不在乎你换什么水果，逻辑永远是对的。
更容易纠错（Self-Correction）：
- 比喻：如果普通 AI 算错了，它可能会说“我觉得可能是 6"，你很难知道它哪一步错了。但 QuaSAR 因为每一步都有清晰的“逻辑骨架”，一旦出错，就像在数学作业本上，你可以一眼看出是“第二步加法算错了”，从而轻松修正。
小模型也能变强：
- 比喻：大模型（像大学生）用这个方法解题很快。小模型（像小学生）自己可能解不出来，但如果让大模型先用 QuaSAR 写出解题步骤（就像写好了详细的解题笔记），然后让小模型照着学，小模型的成绩也会突飞猛进。

5. 总结

这篇论文的核心思想就是：不要让 AI 在“讲故事”和“做数学”之间纠结，而是教它先“画骨架”，再“填肉”。

QuaSAR 就像给 AI 戴上了一副**“逻辑眼镜”**。戴上这副眼镜后，AI 不再被题目中花哨的故事细节迷惑，而是能一眼看穿问题的逻辑本质。实验证明，这种方法能让 AI 在数学和逻辑题上的准确率提高约 8%，并且在面对各种刁钻的“陷阱题”时，表现得更加稳定可靠。

简单来说，QuaSAR 让 AI 从“凭感觉讲故事”变成了“按逻辑办事”，变得更聪明、更诚实了。

论文技术总结：通过准符号抽象改进思维链推理 (Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions)

1. 研究背景与问题 (Problem)

背景：
思维链（Chain-of-Thought, CoT）提示法是大语言模型（LLMs）处理复杂推理任务的主流策略，它通过将复杂任务分解为中间推理步骤来提升性能。然而，现有的 CoT 方法存在显著局限性：

内容偏差与鲁棒性差： 生成的解释容易受到内容偏差（content biases）的影响，导致在面对对抗性变体（如选项顺序打乱或表面词汇变化）时，模型的鲁棒性和忠实度（faithfulness）下降。
纯符号方法的瓶颈： 为了克服上述问题，近期工作尝试结合逻辑形式化（Logical Formalisms）和外部符号求解器。然而，完全符号化的方法要求将自然语言完整翻译为形式语言，这一过程效率低下且缺乏灵活性，难以适应多样化的任务。

核心问题：
如何在保持自然语言灵活性的同时，引入符号推理的严谨性，从而在不进行完全形式化的前提下，解耦内容知识与逻辑推理，提升 LLM 的推理鲁棒性和准确性？

2. 方法论：QuaSAR (Methodology)

本文提出了 QuaSAR (Quasi-Symbolic Abstract Reasoning，准符号抽象推理) 框架。QuaSAR 是 CoT 的一种变体，旨在引导 LLM 在“准符号”解释的更高层次抽象上运作，实现符号元素与自然语言的共存。

核心流程

QuaSAR 将推理过程结构化为四个明确的步骤（四元组 $(Q, S, R, A)$ ）：

抽象 (Abstraction, $s_1$ )：
- 模型分析输入问题，识别并提取相关的谓词 (predicates)、变量 (variables) 和 常量 (constants)。
- 无论是数值型还是文本型信息，均被抽象为符号形式，以剥离具体的世界知识，聚焦逻辑结构。
形式化 (Formalisation, $s_2$ )：
- 将原始自然语言问题重述为混合形式：结合最小化的符号表达和自然语言。
- 此步骤将具体术语映射为符号，旨在消除歧义并减少内容效应，同时保留解题所需的关键组件。
解释 (Explanation, $s_3$ )：
- 基于上述符号结构，通过准符号推理链逐步求解。
- 模型利用符号逻辑连接各步骤，显式地解释解决方案，降低因上下文知识或隐式逻辑关系导致的错误风险。
回答 (Answering, $s_4$ )：
- 根据推理过程生成最终答案，并遵循严格的格式（如 "The answer is: [number]"），便于评估和验证。

应用场景

QuaSAR 有两种主要应用模式：

上下文学习 (In-Context Learning, ICL)： 直接作为提示策略，指导大型 LLM（如 GPT-4o）进行推理。
合成演示构建 (Synthetic Demonstrations)： 利用高性能模型生成 QuaSAR 推理轨迹，作为高质量数据对小型模型进行监督微调（SFT），从而提升小模型的推理能力。

3. 主要贡献 (Key Contributions)

提出 QuaSAR 框架： 首次提出了一种在自然语言解释中引入“准符号抽象”的方法，无需完全的形式化翻译，即可实现逻辑推理与内容知识的解耦。
双重应用策略验证： 证明了 QuaSAR 既可作为大模型的 ICL 策略，也可作为构建高质量合成数据的方法来提升小模型性能。
显著提升鲁棒性： 实验表明，准符号抽象能有效增强模型在面对对抗性变体（如 MMLU-Redux 的选项打乱、GSM-Symbolic 的数值扰动）时的稳定性。
效率与性能的平衡： 相比依赖外部求解器的纯符号方法，QuaSAR 通过单步提示（single prompting step）实现了更低的成本和更高的灵活性，同时保持了高准确率。

4. 实验结果 (Results)

实验在多个数据集（包括数学推理 GSM8K, SVAMP, AQuA, OlyBench 和自然语言理解 MMLU-Redux, GPQA, DROP）上，使用 GPT-4o, Llama-3 (70B, 8B, 1B), Qwen2 (72B, 7B, 1.5B) 等模型进行评估。

准确性提升：
- 在 GPT-4o 上，QuaSAR 相比标准 CoT 平均提升了 8% 的准确率。
- 相比 Faithful CoT 和 CoMAT 等先进基线，QuaSAR 也取得了显著优势（例如在 GSM8K 上达到 96.5%，优于 CoT 的 94.0%）。
- 在小型模型（如 Llama-3-8B）上，通过 QuaSAR 生成的演示进行微调（SFT），性能提升显著，甚至超过了参数更多的模型在部分任务上的表现。
鲁棒性分析：
- 在 MMLU-Redux（选项顺序打乱）和 GSM-Symbolic（数学问题变体）测试中，QuaSAR 的表现极其稳定。
- 例如，在 GSM-Symbolic 的变体测试中，CoT 的准确率下降了约 4.7 个百分点，而 QuaSAR 仅下降了 1.2 个百分点，显示出极强的抗干扰能力。
消融实验：
- 四个步骤中，形式化 (Formalisation) 和 解释 (Explanation) 步骤对性能影响最大（移除后准确率下降超过 3.5 分），证明了符号结构在推理中的核心作用。
- 步骤的顺序至关重要，随机打乱步骤会导致性能显著下降。
训练效率：
- 使用 QuaSAR 生成的演示数据训练小模型，仅需 25%-50% 的训练数据量，即可达到甚至超越使用更多数据训练的 CoT 基线模型的效果。

5. 意义与结论 (Significance)

理论意义： QuaSAR 验证了“准符号抽象”在自然语言推理中的有效性，表明通过将具体知识抽象为符号结构，可以显著提升推理的忠实度和可验证性，解决了纯自然语言推理中常见的幻觉和逻辑跳跃问题。
实践价值：
- 提供了一种低成本、高效率的推理增强方案，无需依赖复杂的外部符号求解器。
- 为小模型提供了高质量的推理训练数据生成范式，有助于缩小大小模型在复杂推理任务上的差距。
- 增强了 LLM 在对抗性环境下的可靠性，对于需要高可信度的应用场景（如科学推理、数学解题）具有重要意义。

总结：
QuaSAR 通过巧妙结合自然语言的灵活性与符号逻辑的严谨性，成功地在无需完全形式化的前提下提升了 LLM 的推理能力。它不仅是一个提示工程技巧，更是一种能够生成高质量推理轨迹、增强模型鲁棒性的通用框架，为未来复杂推理任务的研究提供了新的方向。