💻 computer science

Does Seeing More Mean Knowing More? Mono-Anchored Advantage Normalization for Multi-Source Visual Reasoning

该论文提出了MARS，一种新颖的单锚点多源推理框架，该框架利用单源奖励作为动态锚点，对具有可验证奖励的强化学习中的优势进行归一化，从而有效区分信息增益与干扰，并显著提升多源视觉推理性能。

原作者： Fanhu Zeng, Zhicong Luo, Zefan Wang, You Li, Chi Chen, Maosong Sun

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Fanhu Zeng, Zhicong Luo, Zefan Wang, You Li, Chi Chen, Maosong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《看得更多是否意味着懂得更多？》的解释。

核心问题：看得更多是否意味着懂得更多？

想象你正在试图解开一个谜团。你有一支侦探团队，但他们观察世界的方式各不相同：

RGB 侦探能看见色彩，但在黑暗中会感到困惑。
红外侦探能看见热信号，在夜间表现极佳，但无法分辨色彩。
深度侦探能看见物体的距离，却看不清它们的样子。

人工智能领域的一个普遍观点是：“如果我们同时给 AI 配备这三位侦探，它解开谜团的能力将胜过只配备其中一位。”

但这篇论文论证，这并不总是成立。有时，给 AI 提供太多相互冲突的意见，反而会让它更不擅长解决问题。如果 RGB 侦探在黑暗中感到困惑，而红外侦探却看得清晰，AI 可能会受到 RGB 带来的“噪声”干扰，从而淹没红外传来的清晰信号。这就像试图听一首清晰的歌曲，却有人在你耳边大喊随机数字——大喊不仅无益，反而有害。

问题所在：“天真”的方法

当前的 AI 方法就像一个糟糕的会议主持人。当 AI 通过多个摄像头（RGB、红外、深度）观察场景时，它将所有信息视为一堆巨大的数据。它假设数据越多自动意味着知识越多。

结果：如果某个摄像头模糊或黑暗，AI 仍会尝试使用它。这会导致它陷入困惑，混淆信号，最终犯下如果它只信任那个表现良好的摄像头本不会犯的错误。

解决方案：MARS（聪明的团队领导）

作者提出了一种名为MARS（单锚优势归一化）的新框架。将 MARS 想象成一位懂得如何高效主持会议的聪明团队领导。

以下是 MARS 的工作原理，使用一个简单的类比：

“单人测试”（锚点）：在团队开会前，领导要求每位侦探单独解开谜团。
- "RGB 侦探，你怎么看？”
- “红外侦探，你怎么看？”
- 这确立了基准。我们知道了每位侦探单独行动时的能力水平。
“团队会议”（多源）：现在，团队聚在一起，利用所有摄像头共同解开谜团。
“记分牌”（优势归一化）：这是神奇的部分。领导将团队的回答与单人回答进行比较。
- 情景 A（冲突）：如果团队的回答不如红外侦探单独给出的回答（因为 RGB 混淆了团队），领导会说：“停！你们让情况变得更糟了。忽略噪声，坚持清晰的信号。”
- 情景 B（提升）：如果团队的回答优于任何一位单独的侦探（因为他们完美地结合了各自的优势），领导会说：“干得漂亮！你们找到了任何一位单独都无法发现的解决方案。继续保持！”

为何这行之有效

MARS 并非盲目信任团队，而是利用单人回答作为“动态锚点”（固定的参考点），来衡量团队是否真正增加了价值。

如果团队增加了噪声：系统会抑制它。就像领导让那个大喊胡言乱语的侦探的麦克风静音。
如果团队增加了价值：系统会放大它。就像当团队结合技能找到无人单独能发现的线索时，领导起立鼓掌。

结果

研究人员在各项任务上测试了该方法，例如利用红外在黑暗中找人，或利用深度测量距离。

结果：通过这种“聪明团队领导”的方法，AI 的推理能力显著提高。与标准方法相比，其性能提升了约3% 到 5%。
关键要点：AI 并非仅仅因为拥有更多数据而变得“更聪明”；它是通过学会何时忽略坏数据以及何时信任好数据而变得更聪明的。

一句话总结

这篇论文教导 AI：更多的眼睛并不总是意味着更清晰的画面；相反，它赋予 AI 一种聪明的方法，来检查额外的眼睛是在提供帮助还是仅仅造成混乱，确保其专注于最清晰的信号以做出最佳决策。

技术摘要：MARS——面向多源视觉推理的单锚点优势归一化

问题陈述

尽管可验证奖励强化学习（RLVR）推动了视觉推理的发展，但现有方法在处理多源输入（例如 RGB、红外、深度、多视角）时仍面临困难。当前方法通常将多源数据视为信息的简单累积，基于“看得越多意味着知道得越多”的假设运行。然而，本文指出了一个关键局限：当不同来源在物理属性和语义上存在显著差异时，简单的集成可能会引入干扰或噪声，而非信息增益。

在某一来源拥有主导且可靠信号（例如低光条件下的红外图像），而其他来源退化或无关的场景中，标准 RLVR 框架往往难以区分有益的融合与有害的冲突。因此，多源推理性能可能退化至低于强单源推理的水平。现有框架缺乏显式机制来建模来源间的动态交互，或量化相对于单源基线，整合额外来源是否能带来正向信息增益。

方法论：MARS

为应对这些挑战，作者提出了MARS（面向多源推理的单锚点优势归一化）。该框架将每种视觉模态视为独立的信息源，并显式建模多源融合所引入的信息增益。

核心机制

MARS 的核心创新在于利用单源奖励作为动态锚点，在 RLVR 训练期间对多源轨迹的优势进行归一化。

双重轨迹生成：对于给定的训练实例（问题 $q$ 和多张图像 $i$ ），策略模型 $\pi_\theta$ 生成两类轨迹：
- 多源轨迹（ $G_{multi}$ ）：模型联合处理所有可用图像。
- 单源轨迹（ $G_{mono}$ ）：模型将每张图像分别与文本输入配对进行单独处理。
混合优势归一化：MARS 不再仅从多源轨迹中计算优势统计量，而是利用单源和多源奖励的并集（ $G_{multi} \cup G_{mono}$ ）来计算混合均值和标准差。多源轨迹的优势 $A_j$ 计算如下：
$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$
自适应调节：
- 冲突抑制：如果某一来源占主导地位，且多源融合引入了噪声（导致奖励低于单源锚点），归一化统计量将发生偏移，以抑制冲突的多源信号，引导模型趋向可靠的单源行为。
- 促进强调：如果多源融合产生的奖励高于单源基线（表明存在真实的信息增益），算法将鼓励超越单源线索的探索，从而有效量化“多源信息增益”。

理论基础

作者提供了理论分析以支持该方法：

无偏性：所提出的算法保证了梯度估计的期望值与标准同策略优化等效，确保不引入偏差。
梯度分解：梯度更新被证明等价于最大化标准多源奖励，加上一个基于多源信息增益（ $\Delta IG$ ）的正则化项。该项代表多源轨迹与单源轨迹期望奖励之间的差值。负的 $\Delta IG$ 表示模态冲突，而正值表示相互促进。

主要贡献

核心局限的识别：本文揭示了现有的多源视觉推理可能因未建模的模态干扰而系统性地降低性能，挑战了“更多输入总是等同于更好知识”的假设。
新颖框架（MARS）：作者设计了一种方法，引入单源奖励作为锚点，在优势归一化过程中定量测量信息增益。这使得能够在无需重新设计架构或进行离策略修正的情况下，对不同来源进行自适应调节。
实证验证：在多种数据集（深度、红外、多视角、富含文本）和 RL 算法（GRPO、DAPO）上进行的广泛实验证明了其一致的性能提升。

实验结果

作者在 Qwen2.5-VL-3B 和 7B 模型上针对四项多源任务评估了 MARS。主要发现包括：

性能提升：MARS 相比基线 RLVR 方法取得了显著改进。具体而言，在多源推理指标上，其在 GRPO 和 DAPO 框架下的平均性能提升分别为3.2%和4.9%。
特定任务改进：在红外（3.8%）和多视角（7.0%）数据集上观察到了显著增益。
鲁棒性：该方法对视觉退化（高斯噪声、运动模糊、遮挡）表现出卓越的鲁棒性，在基线方法性能下降的情况下仍能保持高精度。
效率：该方法仅需单个策略模型，并通过修改输入生成单源样本，避免了经验回放或离策略修正的存储开销。计算开销适中，其主要收益源于锚点机制而非轨迹量的增加。
定性分析：案例研究表明，MARS 成功优先处理了信息丰富的来源（例如低光下的红外图像），并抑制了无关或噪声来源（例如过曝的深度图像），与标准 GRPO 相比，实现了更准确的推理和定位。

意义与主张

本文主张 MARS 提供了一种通用且有效的解决方案，用于提升多源场景下的视觉推理性能。通过显式建模来源间的动态交互并量化信息增益，该方法解决了“看得更多”与“知道更多”之间的冲突。

作者强调，他们的方法：

不依赖特定的训练框架（兼容 GRPO 和 DAPO）。
无需对底层模型进行架构更改。
提供了一种原则性的方法来处理模态冲突与促进，从而实现更稳定、可解释的优化轨迹。
验证了动态利用单源奖励作为锚点能有效引导模型聚焦于信息丰富的来源并抑制噪声，证实了有效的多源推理需要区分信息增益与干扰。