🤖 AI

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

本文介绍了 AIR，这是一个通过包含冷启动数据构建、数据集策展以及由组约束强化学习引导的自适应工具调用策略的三组件解决方案，旨在增强多模态大语言模型通过代码进行自适应交织推理以处理复杂数值计算的能力，并最终在评估基准测试上实现了显著的性能提升。

原作者： Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的助手，它擅长观察图片和阅读文本，但有时在处理需要大量计算的数学问题时会卡壳。如果你要求这个助手解决一个涉及体积的复杂几何问题，它可能会尝试在“脑海中”（神经网络）进行计算，并因此出错，就像人类在没有计算器的情况下尝试进行大数乘法一样。

这篇论文介绍了一种名为 AIR（基于代码的自适应交织推理，Adaptive Interleaved Reasoning with Code）的新系统，它教会了这个助手一项新超能力：知道何时停止思考并开始使用工具。

以下是 AIR 的工作原理，通过简单的概念进行拆解：

1. 核心理念：“人类计算器”类比

把 AI 想象成一个正在参加考试的学生。

旧方法： 学生尝试仅凭大脑解决所有问题。如果数学题太难，他们就会靠猜或者出错。
AIR 方法： 学生学会了当问题变得过于棘手时，可以举手向老师要一个计算器。他们写下数字，按下按钮，得到结果，然后写下最终答案。
转折点： AI 并不会对每一个问题都使用计算器。它学会了变得具有自适应性。它知道：“这个问题很简单，我可以在脑子里完成，”以及“这个问题很难，我需要写一段代码来解决它。”

2. 训练过程：两步走的旅程

论文解释说，你不能仅仅告诉一个模型“去使用计算器”，并期望它立即奏效。它需要一个特定的训练计划：

第一步：“冷启动”（学习基础知识）
在 AI 能够自主学习使用工具之前，它需要看到一些如何操作的示例。研究人员构建了一个特殊的数据库，他们提取了难题，并手动向 AI 展示了如何在“思考”（文本）与“计算”（编写 Python 代码）之间进行切换。

类比： 想象一位老师向学生展示了一些已解出的例题，其中学生在处理难题部分时使用了计算器。这给了学生一个可以遵循的基本模板。

第二步：强化学习（“试错”阶段）
一旦 AI 掌握了基础知识，它就开始独立练习。这就是见证奇迹的时刻。研究人员使用了一种特殊的评分系统（奖励函数）来教 AI 何时使用工具。

问题： 如果 AI 使用计算器过度，它会产生混乱，导致训练崩溃（就像一个拒绝独立思考的学生）。如果它从不使用，它就会不断犯数学错误。
解决方案： 研究人员创建了一个**“组约束奖励”（Group-Constrained Reward）**。想象一位教练在观察整个球队。教练不仅奖励得分的球员，还奖励那些球员使用计算器的比例是否正确。
- 如果 AI 使用工具过于频繁，它会得到较低的分数。
- 如果 AI 恰到好处地使用工具以获得正确答案，它会得到高分。
- 这保持了 AI 的稳定性，并防止它在工具使用上变得失控。

3. 结果：更聪明、更稳定

论文声称，经过此类训练后：

准确度： AI 在数学问题上的表现显著提升，尤其是那些需要复杂计算的问题。平均而言，其得分提高了约 6 分；而在使用工具解决的具体问题上，得分提高了近 10 分。
可靠性： 当 AI 决定使用工具时，它的成功率超过了 95%。
稳定性： “组约束”方法防止了 AI 在训练期间崩溃或变得不稳定，而这正是教 AI 使用工具时常见的问题。

总结

简而言之，AIR 是一种训练多模态大语言模型（能够观察和阅读的 AI）像人类解决问题者一样行动的方法：它思考问题，意识到数学难度过大，编写一段快速的计算机脚本来解决计算，然后完成答案。其核心创新在于教会 AI 自动且在正确的时间执行此操作，而无需人类告诉它何时拿起计算器。

技术摘要：AIR：多模态大语言模型中的自适应交替推理与代码调用

问题陈述

尽管最近的多模态大语言模型（MLLMs）通过集成来自可验证奖励的强化学习（RLVR）在增强推理能力方面取得了进展，但现有的范式主要侧重于视觉感知任务（如旋转、缩放）的工具使用。这些方法依赖于预定义的视觉操作启发式规则，无法解决复杂的数值计算问题。目前的 MLLM 通常缺乏在文本推理过程中自主触发 Python 脚本以处理复杂数学任务的能力，而这种能力对于弥合多模态审视与智能体执行之间的差距至关重要。此外，训练模型进行此类自适应工具调用往往会导致不稳定性，例如当工具使用变得过度或不受控制时，会出现模型崩溃现象。

方法论

本文提出了 AIR（Adaptive Interleaved Reasoning with Code，基于代码的自适应交替推理），该框架旨在通过两阶段训练范式——监督微调（SFT）冷启动和强化学习（RL）增强，赋予 MLLM 自适应的交替推理能力。

1. 两阶段冷启动数据构建

为了克服在较小开源模型中激活交替推理的难度，作者引入了一个解耦的两步式数据合成流水线：

文本 CoT 生成： MLLM 为复杂问题生成初始的文本思维链（CoT）推理路径。
交替改写： LLM 改写这些路径，将数值计算组件替换为可执行的 Python 代码片段。
验证： 生成的数据在沙盒环境中经过严格验证，以确保在作为冷启动数据使用前，代码执行的完整性和结果的准确性。

2. RL 数据过滤策略

为了确保 RL 阶段训练数据的高保真度，采用了两种不同的过滤策略：

自采样策略（Self-Sampled Strategy）： 利用多轮共识机制，根据候选模型自身的 Roll-out 结果，基于 Pass@k 指标来确定其是否符合资格。这允许随着模型的改进进行迭代式再过滤。
先验过滤策略（Prior-Filtered Strategy）： 利用高容量“教师”模型（如 GPT、Gemini）充当外部质量门控，根据样本是否需要调用工具才能有效解决问题来进行标注。

3. 通过组约束奖励实现的自适应工具调用

核心创新在于 RL 训练阶段，该阶段使用了增强了组约束奖励函数的组相对策略优化（GRPO）算法。

混合奖励结构： 总奖励（ $R$ ）结合了格式奖励（ $R_f$ ）、准确率奖励（ $R_{acc}$ ）和代码集成奖励（ $R_{code}$ ）。
组约束： 与标准 GRPO 不同，该方法引入了对交替推理序列比例的组内约束。代码使用的奖励（ $R_{code}$ ）会根据组内工具调用序列的比例进行调整，并根据最终答案是正确（ $P_r$ ）还是错误（ $P_w$ ）进行区分。
稳定性机制： 该约束防止了模型过度调用工具（这会导致熵激增和训练崩溃），同时鼓励自适应调用。它将代码奖励与准确率奖励解耦，承认工具使用是推理链的一个组成部分，而非成功的唯一决定因素。

核心贡献

两阶段数据构建方法论： 一种用于合成支持代码增强型交替推理的冷启动数据的流水线，有效地降低了生成高质量训练轨迹的门槛。
数据过滤策略： 提出了自采样和先验过滤策略来筛选交替推理数据，从而减轻噪声并确保稳定的策略优化。
自适应工具调用策略： 开发了一种带有组约束的 GRPO 变体，使模型能够自主判断工具调用的必要性和时机，同时确保长期的训练稳定性。

实验结果

研究使用 Qwen2.5-VL-7B 模型在六个数学推理基准测试（MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista）上进行了实验。

性能提升： 在使用组约束奖励进行 RL 训练后，AIR 模型在各基准测试中的平均提升了 6.1 个百分点 (pp)。
具体改进： 显著的增益包括 MathVista +8.1 pp，MathVerse +7.7 pp，以及 WeMath +9.9 pp。
交替推理准确率： 特别是针对交替推理样本的准确率提升了 9.9 pp。
工具使用成功率： 在各种工具调用比例下，整体工具使用成功率超过了 95%。
稳定性： 组约束机制成功防止了训练崩溃，这是智能体强化学习（Agentic RL）中由于过度工具使用导致不稳定的常见问题。

重要性与主张

本文声称 AIR 代表了使 MLLM 能够通过自主编排专门工具来处理计算密集型任务，从而实现 System 2（慢思考） 推理的重要一步。与以往关注视觉感知（System 1）的工作不同，AIR 解决了复杂数值计算中的关键空白。

作者断言，他们的方法通过以下方式为复杂的多模态推理提供了鲁棒的解决方案：

解耦了推理轨迹的生成与代码的执行，从而实现了更可靠的数据生产。
通过组约束奖励稳定了长程智能体强化学习（Agentic RL）训练，防止了与不受控工具调用相关的模型崩溃。
证明了自适应工具调用（而非固定或过度的使用）是提高数学基准测试性能的关键。

论文结论较为谦逊，指出虽然 AIR 取得了强劲的结果，但其性能仍受限于基础模型的内在编码和感知能力，未来的工作应将评估范围从数学推理扩展到物理和金融等领域。