🤖 AI

AdaR: A Framework for Equipping LLMs with Adaptive Reasoning

AdaR 框架通过在自动合成的逻辑等价查询上对大语言模型进行强化学习训练，以惩罚伪相关并鼓励自适应推理，从而增强了大语言模型的数学推理鲁棒性和泛化能力。

原作者： Zhejian Lai, Xiang Geng, Zhijun Wang, Yang Bai, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xuezhi Cao, Xunliang Cai, Shujian Huang

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhejian Lai, Xiang Geng, Zhijun Wang, Yang Bai, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xuezhi Cao, Xunliang Cai, Shujian Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的广阔版图中，大型语言模型已成为强大的工具，能够解决从撰写诗歌到调试代码等各种复杂问题。在这些令人印象深刻的成就中，数学推理尤为突出，这些系统能够将一个问题分解为一系列逻辑步骤以得出解决方案。多年来，研究人员一直对这种能力表示赞赏，认为当模型正确解决一个问题时，它确实理解了背后的逻辑。然而，仔细观察会发现一个令人不安的缺陷：许多此类模型实际上并没有在进行逻辑推理。相反，它们通常是在记忆训练数据中的模式。它们学会了将特定的数字或短语与某些答案联系起来，就像一个背下了练习题答案解析、却并不理解底层数学原理的学生一样。当测试发生微小变化时——比如数字改变或措辞调整——这些模型往往会跌倒，因为它们的“推理”从一开始就并非真实的。

这正是南京大学与美团的研究人员所致力于解决的核心挑战，他们开发了一个名为 AdaR 的框架，旨在教机器如何进行自适应思考。该团队发现，问题的根源在于他们称之为“伪推理”（spurious reasoning）的现象。这种情况发生在模型依赖于表层联系（例如问题中某个数字的具体数值）而非问题本身的结构逻辑时。为了说明这一点，想象一个被训练去解决“一个数字求立方”问题的模型。如果训练数据中始终使用数字 3，那么每当模型看到乘法问题时，它可能会简单地输出“立方”，而不管实际涉及的数字是什么。如果问题变为涉及另一个数字，模型就会失败，因为它从未学习过“求立方”的规则；它只是学会了识别数字 3 的模式。研究人员发现，即使是那些在标准测试中表现卓越的高级模型，也存在这种脆弱性，无法将其技能泛化到新的、略有不同的场景中。

为了解决这个问题，研究人员创建了一个迫使模型学习逻辑而非数字的系统。他们首先提取现有的数学问题，并将其简化为核心结构，即“模板”。然后，他们利用计算机程序自动生成了数千个这些问题的新版本，通过改变具体的数字，同时保持逻辑步骤完全一致。至关重要的是，他们不仅仅是让语言模型去猜测新答案，而是编写了可执行代码来以绝对确定的方式计算出正确答案。这确保了他们创建的每一个新问题都是有效的，并且拥有经过验证的解法。随后，他们利用这些多样化的新问题对模型进行了严格的训练过程。他们并没有简单地向模型展示正确答案，而是采用了一种方法：只有当模型能够正确解决整套多样化问题时，才会给予奖励。如果模型依赖于记忆的模式，它会在面对新数字时失败并受到惩罚；如果它学习了实际逻辑，它就能在所有变化中取得成功并获得奖励。

这种方法的实验结果非常显著。在针对熟悉和完全陌生的数学问题进行测试时，接受过这种自适应框架训练的模型表现出了显著的提升。平均而言，与其它方法相比，它们的性能提升了八个点以上，这在人工智能领域是一个实质性的进步。更重要的是，这些模型变得更加稳健。它们能够处理问题中数字的变化而不崩溃，证明了它们已经学习到了底层规则，而非仅仅是记忆特定的例子。研究人员还观察到了模型“思考”方式的变化。在接受此类训练之前，模型倾向于关注问题中的特定数字，而忽略结构；训练之后，它们的注意力转向了问题本身的结构，从而能够像对待已知数字一样，以同样的逻辑严谨性对待未知变量。这种转变表明，模型正在发展出一种代数思维，将问题视为关系系统，而非待回忆的事实列表。

研究还探讨了不同类型的变化如何影响学习过程。他们发现，通过改变问题中的数字来教模型进行推理，比仅仅用不同的措辞重写问题要有效得多。这表明，实现自适应推理的关键在于让模型接触广泛的数值场景，迫使它依靠逻辑来应对差异。研究人员指出，虽然该方法效果良好，但它也有局限性：它要求问题必须能被计算机程序求解，这意味着它最适用于数学和逻辑任务，而非像证明复杂定理那样抽象的领域。此外，该方法的成功取决于模型是否已经具备坚实的数学知识基础。该系统无法从零开始教导一个一无所知的模型进行推理；它只能提炼那些已经具备基本构建模块的模型的推理能力。

最终，这项工作为使人工智能更加可靠提供了一条清晰的路径。通过从简单的记忆转向自适应推理，研究人员表明，构建能够应对意外情况的模型是可能的。研究结果表明，智能系统的未来不仅在于使其规模更大或速度更快，更在于教会它们理解支配世界的规则，而非仅仅是它们见过的特定实例。随着这些模型越来越多地融入我们的日常生活——从解决财务方程到规划复杂的物流——能够适应新信息而不出错的能力将至关重要。AdaR 框架提供了一个实现这一目标的蓝图，将脆弱的、模式匹配型的机器转变为灵活的、具备逻辑思维能力的思考者，使其能够应对不断变化的世界。

技术摘要：AdaR —— 为大语言模型配备自适应推理能力的框架

1. 问题陈述

大语言模型（LLMs）已展现出强大的数学推理能力，但在鲁棒性（在改变条件的域内任务上的表现）和泛化能力（在域外任务上的表现）方面表现出显著缺陷。作者将这些不足归因于伪推理（spurious reasoning）。

在伪推理中，模型依赖于查询模板与推理轨迹之间的表层相关性，而非建立正确的因果联系。因此，模型倾向于盲目地复现训练数据中的记忆模式或变量值。例如，如果一个模型学习到特定的方程结构意味着执行“立方根”操作，那么即使方程需要不同的运算，只要表层模式匹配，它也可能会输出“立方根”。这种非组合式的推理阻碍了模型适应新的变量值或查询结构的能力，导致其性能变得脆弱。

2. 方法论：AdaR 框架

为了解决伪推理问题，作者提出了 AdaR 框架，旨在为 LLMs 配备自适应推理能力——即建立查询模板与推理过程之间正确相关性的能力，且该能力独立于具体的变量值。该框架由两个主要部分组成：自动化数据合成和特定的训练策略。

2.1 利用可执行代码与可验证答案进行数据合成

传统的增强方法通常难以在保持逻辑一致性的同时，系统性地改变查询模板和变量值。AdaR 通过将数据合成分解为可验证的子任务来克服这一问题：

逻辑提取与代码生成： 使用一个强大的 LLM 对种子查询进行提示，提取查询模板 ( $T$ )、变量集 ( $x$ ) 和解题逻辑 ( $L_T$ )。至关重要的是，逻辑被转化为可执行代码（如 Python）。这段代码作为任何受扰动查询的地面真值（ground-truth）生成器。
可控扰动： 框架对 $x$ 中的变量值应用独立的、受控的扰动。数值在预定义的范围（ $\pm \alpha\%$ ）内采样，同时严格保持其数值类型和符号。这确保了生成的查询 ( $q'$ ) 在共享相同底层逻辑的同时，在数值实例化上存在差异。
完整性检查（Sanity Check）： 为确保数据质量，框架执行三项检查：
- 变量对齐 (VA)： 验证模板中的变量与生成的代码是否匹配。
- 可执行代码 (EC)： 确保代码运行无误，并在给定原始输入时能重现原始的标准答案。
- 有效查询的存在性 (EVQ)： 通过与数学 LLM 进行交叉验证，确保受扰动的查询是定义良好的，且不会因违反约束而变得无效。
改写（Paraphrasing）： 同时对查询模板进行改写，以增加问题文本表达的多样性。

生成的最终数据集仅包含查询-答案对，不包含思维链（CoT）轨迹，因为 CoT 是在训练过程中生成的。

2.2 训练策略：RLVR

作者采用了带有可验证奖励的强化学习（RLVR），而非标准的监督微调（SFT）或拒绝采样微调（RFT）。

原理： 在单数据设置下，伪推理偶尔会通过偶然性得到正确答案，使得结果奖励变得不可靠。然而，当在 AdaR 生成的一组受扰动的查询批次上进行评估时，伪推理不太可能在所有变化中都保持有效。
机制： 模型通过最大化在这些受扰动查询上的正确答案奖励来进行训练。这迫使模型探索能够跨变量变化进行泛化的自适应解题逻辑，而不是记忆与特定数字相关的表层模式。

3. 核心贡献

识别伪推理： 本文正式将数学 LLM 的鲁棒性和泛化性失败归因于对表层相关性（伪推理）而非组合逻辑的依赖。
AdaR 框架： 一种新颖的流水线，通过可控地扰动变量值并通过可执行代码验证答案，从而合成高质量、逻辑等价的数据。
通过 RLVR 实现自适应推理： 一种利用合成的扰动数据的多样性来惩罚伪逻辑并鼓励学习模板-逻辑相关性的训练策略。
全面的评估： 实验证明，使用少量合成数据（9K 个实例），AdaR 提升了在域内鲁棒性任务和域外泛化任务上的表现。

4. 实验结果

实验在三个基座模型上进行：Qwen2.5-MATH-7B、DeepSeekMath-7B 和 LLaMA3-8B。

性能提升： AdaR 在所有基准测试中均取得了实质性的进步。平均而言，它比表现最好的基线模型 MetaMATH 高出 8.50 分，比 MathGenie 高出 11.44 分。
鲁棒性与泛化性：
- 域内： 在已见模板内的扰动变量值（ORCA-AdaR-test）以及难度递增的未见模板（GSM-SYM）上，均观察到了显著收益。
- 域外： 该方法提升了在 MATH、CollegeMath、TheoremQA 和 AIME 2025 等数据集上的泛化能力。对于 Qwen2.5-MATH-7B 模型，其在域外任务上的平均增益达到了 +8.56 分。
消融研究：
- 完整性检查： 所有组件（VA、EC、EVQ）都是必不可少的。移除可执行代码（EC）会导致用于训练的有效数据极度匮乏（仅 0.2%）。
- 训练策略： 在单数据设置下的标准 RLVR 由于奖励不可靠，性能较 SFT 反而有所下降。AdaR 的多数据设置对于防止对数值模式的过拟拟至关重要。
- 缩放（Scaling）： 扩展变量集 ( $x$ ) 带来的边际回报最高，其次是模板 ( $T$ ) 和逻辑 ( $L$ ) 的扩展。

5. 分析与意义

论文提供了多项分析来解释 为什么 AdaR 有效：

注意力修正： 注意力热图显示，标准的 SFT 会导致模型关注表层数值标记（例如特定的数字“32”）而非结构化模板。AdaR 纠正了这一点，将注意力重新引导回编码了真实逻辑的查询模板。
代数思维的涌现： 经过 AdaR 训练后，包含结构化代码片段（如变量替换）的 CoT 比例从 55% 增加到 90%，这表明模型学会了以代数方式处理未知数和已知数，而非仅仅记忆算术步骤。
高级模型的局限性： 即便是先进的 LLMs 也存在鲁棒性缺陷，而这些缺陷可以被 AdaR 有效缓解，这表明高水平的标准测试成绩往往掩盖了根本性的泛化缺陷。

意义：
作者声称 AdaR 提供了一个可扩展且广泛适用的框架，用以缓解 LLMs 在数学推理中的脆弱性。通过从记忆转向自适应推理，该框架使模型能够基于底层逻辑结构而非表层模式来解决问题。这项工作强调，扰动变量值是比单纯改写模板更有效的提升推理能力的策略，并且在多样化数据设置下的可验证奖励对于学习真正的自适应逻辑至关重要。

承认的局限性：
作者指出，目前的实现侧重于扩展 $T$ 和 $x$ ，而扩展解题逻辑 ( $L$ ) 的多样性仍是一个开放的方向。此外，该框架要求种子查询必须能够表示为具有扰动输入的执行程序，这可能会限制其在定理证明等领域的直接应用（除非进行进一步设计）。最后，由于计算限制，未能对更大的推理模型进行测试。