技术摘要：IAPO：面向小型多模态智能体工具使用的输入归因感知策略优化

问题陈述

本文探讨了训练小型语言模型（SLM）智能体在多模态场景下（特别是涉及图表和表格的视觉问答任务）有效使用工具所面临的挑战。虽然强化学习（RL）方法如近端策略优化（PPO）和组相对策略优化（GRPO）已经提升了智能体的性能，但在应用于多模态 SLM 时仍面临显著局限性：

1. 多模态任务的奖励设计不足： 现有方法通常依赖于与地面真值（ground-truth）工具轨迹的精确匹配或预定义的格式。然而，多模态任务通常允许多种有效的工具使用路径（例如，高亮、遮罩或绘制边界框都可以是聚焦相关图表区域的有效方式）。僵化的格式检查无法捕捉这种灵活性。
2. 稀疏且脆弱的奖励： 当前的方法通常使用基于结果的二元奖励（正确/错误最终答案）。这提供了稀疏的反馈，且无法引导模型的中间决策过程。因此，SLM 可能会学习利用偶然的捷径或表层相关性来获得正确答案，而未能真正学习到植根于相关视觉证据的鲁棒工具选择策略。
3. 原生 GRPO 的表现欠佳： 即使使用原生的 GRPO，多模态 SLM 仍会产生大量的工具误用情况，这表明标准的 RL 算法不足以学习多模态工具使用所需的细微决策能力。

方法论：输入归因感知策略优化 (IAPO)

为了解决这些问题，作者提出了 IAPO，这是一种通过将学生模型的输入归因与更强的教师模型的输入归因对齐的 RL 算法。其核心思想是：特定输入组件对生成的工具调用序列的贡献程度，与其调用的正确性强相关。

核心组件：

1. 集成梯度 (Integrated Gradient, IG) 分数：

   • 将输入提示词分解为语义块：纯文本上下文 ($P$)、用户查询 ($R$)、图像占位符 ($I$) 和工具定义 ($T$)。
   • 该方法计算集成梯度分数，以量化每个语义块对生成的工具调用序列对数概率的贡献。
   • 具体而言，对于工具调用序列 $y'$，得分 $s(E)$ 是当前策略下的对数概率。计算该得分相对于输入嵌入的梯度，并将 token 级归因定义为梯度与嵌入逐元素乘积的范数（$o_i = \|g_i \odot e_i\|_2$）。
   • 这些 token 级的归因被聚合，从而产生每个语义类型的块级得分 ($O_k$)。

2. 基于归因的惩罚项：

   • 一个更强的教师模型（例如更大的 SLM 或经过 RL 训练的模型）针对相同输入生成参考 IG 分数 ($\hat{b}$)。
   • 使用 KL 散度将学生模型的 IG 分数 ($\hat{a}$) 与教师模型的得分进行比较，从而形成归因惩罚：$P_A = D_{KL}(\hat{b} \parallel \hat{a})$。
   • 该惩罚项鼓励学生模型关注与教师模型认为相关的相同输入组件（例如特定的工具定义或查询部分）。

3. 改进的奖励函数：

   • 轨迹 $i$ 的最终奖励结合了标准的基于结果的奖励 ($R_{out}$) 与归因惩罚：
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • 其中，$\lambda$ 控制归因对齐的强度。这种稠密信号引导策略不仅要最大化任务准确性，还要将其内部决策过程与教师的归因模式对齐。

4. 训练框架：

   • 该方法采用两轮展开（two-turn rollout）：模型首先生成用于编辑图像的工具调用，然后基于编辑后的图像进行推理并产生最终答案。
   • 训练采用 GRPO 目标函数，但利用改进后的 $R_{IAPO}$ 来计算组相对优势（group-relative advantages）。

主要贡献

1. 新的集成梯度分数： 本文引入了一种量化不同输入语义块（文本、图像、工具定义）对工具调用生成贡献的方法，提供了一种稠密的监督信号。
2. IAPO 算法： 作者提出了首个专门为 SLM 工具使用设计的 RL 方法，该方法利用基于归因的惩罚。通过使用 KL 散度比较学生和教师的 IG 分数，IAPO 将教师的工具调用能力和决策逻辑转移给学生。
3. 实证验证： 本文证明了原生的 GRPO 会导致多模态 SLM 持续出现工具误用。研究进一步表明，适配自纯文本模型的奖励设计是不够的，而 IAPO 通过对齐输入归因，显著提升了性能。

实验结果

该方法使用 Qwen2.5-VL-3B 作为策略模型，并使用 Qwen2.5-VL-7B（经 GRPO 训练）作为教师模型，在视觉问答任务上进行了评估。

• 性能提升： 与现有的视觉工具使用工作（VTool-R1, TRM, ToRL）相比，IAPO 在六个测试集（包括 ChartQA, VWTQ 和 CharXiv）上的视觉问答准确率平均提升了 3%。
• 工具选择准确率： 案例研究显示，即使在经过 100 步的原生 GRPO 训练后，SLM 仍会出现显著的工具选择错误（例如，将基于行的工具应用于按列划分的图表）。IAPO 显著减少了这些错误，模型的工具调用成功率在训练后期接近 100%。
• 归因对齐： 研究表明，在训练过程中，正确输入部分的 IG 分数增加了，并最终超过了误用部分的 IG 分数，这与工具误用的减少相吻合。7B 教师模型在正确与错误输入之间表现出更清晰的 IG 分数分离，验证了使用更强教师进行引导的有效性。
• 泛化能力： IAPO 在分布外（OOD）基准测试（CharXiv）上展示了卓越的泛化能力，这表明归因对齐有助于防止对表层提示词相关性的过拟合。

意义与主张

本文声称 IAPO 为训练多模态 SLM 智能体提供了一个比现有 RL 方法更有效的框架。其意义在于：

• 弥合 SLM 的差距： 它解决了 SLM 从稀疏、二元奖励中学习的特定困难，通过引入源自输入归因的稠密、过程级监督信号。
• 超越二元奖励： 它挑战了在多模态设置中依赖精确匹配或二元结果奖励的现状，提出对齐模型如何关注输入（归因）对于鲁棒的工具使用至关重要。
• RL 中的教师-学生蒸馏： 它成功地利用更强的教师模型，不仅进行输出模仿，还在在线 RL 训练期间引导较小学生模型的内部决策过程（归因模式）。

作者总结道，虽然较大的模型自然具备更好的工具选择能力和归因模式，但 IAPO 能有效地将这些能力转移给较小的模型，使它们能够关注最相关的输入证据，并在多模态工具使用任务中达到最先进的性能。