💻 computer science

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL 是一种用于多模态强化学习的新型框架，它通过使用基于结果的样本级对齐来取代算子调节的监督，从而增强了视觉接地能力，并利用一个冻结的审计策略，根据观察到的奖励下降动态路由干预，以提高在多种基准测试中的推理性能。

原作者： Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人如何破解谜题。你给它看一张犯罪现场的照片，并问：“谁干的？”如果机器人猜对了，你就给它一颗金星。这就是现代“强化学习”（Reinforcement Learning）的工作方式：它通过尝试、失败并因正确答案获得奖励来学习。但问题在于：机器人可能会因为错误的原因而获得金星。它可能记住了故事中“管家”通常是罪魁祸首，或者它可能仅仅根据文本进行猜测，完全忽略了图片中的线索。这就像一个学生通过记住答案表的模式来通过数学考试，而不是真正理解数字本身。

为了解决这个问题，科学家们尝试“戳”一下机器人的大脑。他们向机器人展示同一张图片，但遮住或打乱其中的一部分。如果机器人仍然能答对，他们就认为机器人根本没在看图片；如果机器人答错了，他们就认为机器人确实在看。这被称为“视觉干预”（visual intervention）。其核心理念是，通过破坏图像，你可以迫使机器人关注视觉证据。然而，这篇论文指出，这种旧的“戳”法有点笨拙，就像试图通过把人扔进泳池，然后仅凭一次落水的大小来判断他们是否会游泳一样。

SIVA-RL 应运而生，它更像是一个聪明的教练，而不是笨拙的“戳刺”。研究人员发现，旧的“戳”法犯了一个大错：它假设每次你遮住图像的一部分时，机器人的反应都会是一样的。但实际上，有时遮住图像的一部分会让机器人表现得一塌糊涂（因为那部分内容至关重要），而有时又完全不会改变答案（因为机器人本来就在瞎猜，或者被遮住的部分并不重要）。SIVA-RL 不再去猜测机器人“应该”如何反应，而是观察它“实际”是如何反应的。它将每一张图片都视为其独特的案例，根据“戳刺”后的具体结果来决定如何精准地指导机器人。

“一刀切”式“戳刺”的问题

想象你是一位试图帮助学生识别不同水果的老师。你有一张苹果的照片。为了测试学生是否真的在看苹果，你遮住了果柄。

旧的方法： 你规定，只要遮住果柄，学生必须答错，以此证明他们在看图。如果他们仍然猜是“苹果”，你就认为他们在作弊。
现实情况： 有时，遮住果柄会让学生说“我不知道！”（太棒了！说明他们在看果柄）。但有时，他们仍然说“苹果”，因为红色和圆形的形状足以让他们猜对。或者，他们可能只是因为“苹果”是常见水果而在瞎猜，所以遮住果柄并没有改变他们懒惰的猜测。

论文的作者们（由 Cheng Tang 及其同事领导）发现，旧方法将所有这些不同的反应视为同一种情况。他们称之为“算子调节监督”（operator-conditioned supervision），这是一个高级说法，意思是我们是根据我们对图像做了什么（操作）来告诉机器人该做什么，而不是根据机器人的反应来决定。

研究人员进行了一项测试，他们提取了 906 个机器人在清晰图片上回答正确的例子。然后，他们用三种不同的方式遮盖了图像部分：将整个图像变黑、放置随机掩码（mask），或者交换图像的小块区域（类似于数字版的拼图切割并粘贴到别处）。

结果令人惊讶。尽管使用了完全相同的“遮盖”工具，机器人的反应却各不相同：

使用黑图时，机器人的得分在 67.8% 的情况下下降了，但在 32.2% 的情况下保持不变。
使用随机掩码时，得分在 62.9% 的情况下下降了，但在 37.1% 的情况下保持不变。
使用**块交换（Patch Swaps）**时，得分在 61.8% 的情况下下降了，但在 38.2% 的情况下保持不变。

这意味着，同样的“戳刺”对一张图片可能是巨大的冲击，而对另一张图片则完全是浪费时间。旧方法并不知道这种区别。它只是假设，一旦你遮住了图像，机器人就应该对此产生敏感性。

SIVA-RL 解决方案：一位聪明的教练

团队提出了 SIVA-RL（敏感性-不变性视觉对齐，Sensitivity-Invariance Visual Alignment）。把它想象成一位在观察学生对“戳刺”做出反应后再决定下一步该说什么的教练。

以下是 SIVA-RL 教练工作的三个简单步骤：

1. “块交换”戳刺（The "PatchSwap" Poke）
它不仅仅是模糊整个图像或用黑框遮住，SIVA-RL 使用了一种叫做 PatchSwap 的技术。想象你有一张几何图形的照片。教练从照片的一个部分（比如三角形的一个角）取出一个小方块，并将其与同一张照片中遥远部分的另一个小方块进行交换。这改变了局部细节，但保持了图片的其余部分看起来正常。这就像重新布置房间里的家具：房间还在那里，但布局略有不同。

2. “审计”（检查反应）
在机器人学习之前，一个“冻结审计”（frozen audit）版本的机器人（即训练开始前该机器人知识状态的快照）会查看原始图片和交换后的图片，并尝试回答问题。

如果机器人的得分大幅下降（例如，从 100% 降到 20%），这意味着机器人确实非常依赖那部分图像。这是一个**敏感性（Sensitivity）**信号。
如果机器人的得分保持不变（例如，从 100% 到 98%），这意味着机器人要么不需要那部分，要么只是在瞎猜。这是一个**不变性（Invariance）**信号。
如果得分变化很小，则是**模糊（Ambiguous）**的，教练可能会暂时忽略它。

3. 定制化教学
这是见证奇迹的时刻。教练不会对每个人都使用同样的课程。

对于“敏感型”案例（大幅下降）： 教练会说：“嘿，当我们移动那个碎片时你搞砸了！这意味着你确实在看它，但可能看得不够仔细。让我们练习区分这个特定的细节。”目标是让机器人对视觉证据更加敏感。
对于“不变型”案例（轻微下降）： 教练会说：“即使我们移动了这个碎片，你也答对了。很好！但我们要确保你不是在瞎猜。让我们练习保持一致性。”目标是让机器人变得稳定且一致，确保它不是仅仅依赖于幸运的猜测或文本捷径。
对于“模糊型”案例： 教练会说：“我不确定发生了什么，所以我们先跳过这个吧。”

结果：它有效吗？

研究人员在九个不同的基准测试（类似于 AI 的标准化考试）上测试了这种新方法。这些测试包括带有图表的数学题、带有图片的逻辑谜题和计数任务。他们使用了两种不同的“骨干网络”（驱动学习的基础引擎）——GRPO 和 DAPO，并在两种规模的模型上进行了测试：30 亿参数（3B）和 70 亿参数（7B）。

结果非常强劲。

整体提升： SIVA-RL 在每一个测试中都提高了模型的性能。对于使用 DAPO 引擎的 7B 模型，相对基准线的整体提升达到了 14.98%。
视觉依赖型任务： 在那些确实需要看图的任务上，收获最为丰厚。例如，在视觉依赖型推理任务中，GRPO-7B 模型获得了 8.79 个百分点的增益。这表明 SIVA-RL 特别擅长迫使机器人真正观察视觉线索，而不是仅仅靠猜。
对比其他模型： 7B SIVA-RL 模型的表现优于许多著名的模型，包括一些参数量大得多的模型（如 72B 参数模型），甚至优于一些来自大型科技公司的专有模型。

为什么这很重要

论文认为，我们需要停止对所有的“戳刺”采取同样对待。仅仅因为你遮住了图像的一部分，并不意味着机器人必须失败。有时它失败是因为它在关注；有时它失败是因为它困惑了；有时它没失败是因为它在瞎猜。

SIVA-RL 建议，更好的 AI 推理关键在于结果调节监督（outcome-conditioned supervision）。与其说“因为我遮住了图像，所以你必须学会敏感”，不如说“因为当我遮住图像时你的得分确实下降了，所以让我们从这次具体的下降中学习”。

作者谨慎地指出，这并不证明机器人现在像人类一样在“思考”，也不代表它拥有完美的视觉接地能力。它只是意味着机器人能更好地利用现有的视觉证据。该方法通过将“创建‘戳刺’的行为（干预）”与“基于结果决定教什么（监督）”这两个过程分离，从而发挥作用。

最终，SIVA-RL 就像一位不再只会喊出通用指令，而是开始观察球员具体错误的教练。如果球员因为一块特定的石头绊倒了，教练会帮助他跨过那块石头；如果球员是因为走神而绊倒，教练会帮助他集中注意力。通过将每一次错误视为一个独特的故事，机器人学会了更多地依赖眼前的图片，而不是仅仅靠猜。

技术摘要：SIVA-RL

问题陈述

具有可验证奖励的强化学习（RLVR）通过优化任务级正确性，在无需密集推理轨迹的情况下推进了多模态推理技术。然而，一个关键的局限性仍然存在：最终答案的正确并不保证视觉语言模型（VLM）将其预测建立在视觉证据之上。模型可能会依赖语言先验、答案频率偏差或记忆模板来获得高奖励，尤其是在依赖视觉的任务（如计数或几何）中。

现有方法试图通过对比模型在原始图像与修改后（干预后）图像上的行为来强制执行视觉依赖性。这些方法通常采用算子调节正则化（operator-conditioned regularization），即优化目标由干预类型预先确定（例如，破坏性干预强制分离，而轻微变换则鼓励一致性）。本文认为这一假设是有缺陷的：相同的视觉算子会在不同样本中产生异质的结果。一种单一的干预类型可以在某些样本中导致奖励下降（表明对视觉证据敏感），同时在另一些样本中保持结果稳定（表明依赖先验或冗余证据）。因此，仅根据干预类型分配统一的监督方向是次优的。

方法论：SIVA-RL

作者提出了 SIVA-RL（敏感度-不变性视觉对齐），该框架将干预构建与监督分配解耦。SIVA-RL 不采用算子调节正则化，而是采用样本级、结果调节的监督（sample-wise, outcome-conditioned supervision）。

1. 局部化干预构建

SIVA-RL 使用 PatchSwap 构建干预，这是一种基于 Token 对齐、距离受限的图像内补丁交换机制。

机制： 图像被划分为与视觉 Token 对齐的网格。采样候选单元，并从距离较远的源单元中选择有效的替换目标（强制执行最小距离 $d_{min}$ ）。
目标： 这破坏了局部的视觉证据和空间关系，同时保留了全局图像统计特性和上下文，从而创建出比全局掩码更难、但比完全移除更轻微的干预。

2. 结果调节的软路由

一个冻结的审计策略（当前模型不带梯度的快照）评估每个“干净-干预”对，以确定训练信号。

审计： 该策略针对干净图像 ( $x_{cl}$ ) 和干预图像 ( $x_{ci}$ ) 生成响应。验证器对这些响应进行评分以获得奖励 $R_{cl}$ 和 $R_{ci}$ 。
有效性门控： 仅当干净响应正确（ $R_{cl} \ge \tau_c$ ）且可解析时，才考虑该对。
路由权重： 观察到的奖励下降 $\Delta_i = R_{cl} - R_{ci}$ $Δ_{i} = R_{c l} - R_{c i}$ 通过软路由权重决定监督方向：
- 敏感度对齐（Sensitivity Alignment）： 较大的奖励下降表明模型依赖于修改后的证据。这些样本对会获得一个权重，以鼓励干净与干预策略行为之间的分离（发散）。
- 不变性对齐（Invariance Alignment）： 较小的奖励下降（其中答案保持稳定）表明修改是无关紧要的，或者模型依赖于鲁棒的先验。这些样本对会获得一个权重，以鼓励与干净响应的一致性（有界对齐）。
- 弃权（Abstention）： 模糊的样本对（中等程度下降）会被降权或跳过。

3. 双向对齐

该框架复用了为基础 RL 目标采样的干净 Rollout 响应。这些响应在两种视觉条件下使用可训练策略进行重新评分。

以干净样本为锚点的度量： 以干净条件下的似然作为带有停止梯度（stop-gradient）的锚点。
损失函数：
- $L_{sen}$ ：为高下降对强制执行最小发散间隔。
- $L_{inv}$ ：为低下降对将差异约束在最大间隔以下。
- 总目标： 最终损失结合了基础 RL 目标（GRPO 或 DAPO）与这些辅助对齐项： $L_{SIVA} = L_{base} + \lambda_{sen}L_{sen} + \lambda_{inv}L_{inv}$ 。

核心贡献

诊断干预歧义性： 本文证明了相同的视觉干预会在干净正确的样本中诱导混合的“下降结果”与“稳定结果”行为。它指出低下降对并不一定是可靠的不变性信号，因为它们可能源于任务无关的扰动或语言捷径。
结果调节的选择性对齐： SIVA-RL 将基于视觉干预的 RL 公式化为一个选择性监督问题。它根据观察到的奖励下降而非干预类型将样本对路由到敏感度或不变性目标，实现了构建与监督的分离。
可扩展实现： 该方法通过 Token 对齐的 PatchSwap 进行实例化，并与 GRPO 和 DAPO 骨干网络兼容。除了用于评估的配对审计外，它不需要额外的随机采样。

实验结果

作者在九个基准测试（包括数学、逻辑、计数和依赖视觉的任务）上评估了 3B 和 7B 的 Qwen2.5-VL 模型。

性能提升： SIVA-RL 持续提升了所有匹配的 RL 基线。
- 总体而言： 在各种配置下，相对提升范围为 6.83% 至 14.98%。
- 视觉依赖型任务： 该方法在视觉依赖推理基准上获得了 8.79 个百分点的增益，显著超过了在通用多模态推理上的增益。
- 对比： 7B SIVA-RL 模型在报告的 7B 系统中取得了最强的全套平均表现，在特定的数学和视觉任务上超越了多个规模更大的专用及通用 VLM。
消融研究：
- 干预构建： 距离受限的 PatchSwap 优于随机掩码和无约束的 PatchSwap。
- 路由策略： 基于结果的软路由优于硬二元路由，证实了奖励下降的幅度提供了一个更平滑、更可靠的监督信号。
- 双向对齐： 敏感度和不变性分支均对性能有所贡献；不变性分支在视觉依赖子集上提供了 1.85 个百分点的增益，证明了低下降对提供了有用的一致性约束。
训练诊断： 分析显示，敏感度和不变性路由在整个训练过程中保持活跃，模型并未坍缩为忽略干预。

重要性与主张

本文声称 SIVA-RL 将多模态 RL 从算子调节正则化转向了样本级、结果调节的选择性监督。通过承认干预效应在样本层面的异质性，该框架确保监督是基于视觉修改的实际行为影响进行分配的。这种方法有效地迫使模型在需要时将预测锚定在视觉证据上，同时在视觉证据冗余或先验已足够充分的任务中保持鲁棒性。结果表明，对于提高 RLVR 设置中的视觉推理能力，这种样本级评估是替代固定干预定义的更有效的方法。