💻 computer science

Improving Visual Reasoning with Iterative Evidence Refinement

该论文提出了名为 SIEVE 的端到端自重访框架，通过强化学习训练视觉语言模型利用内部表示自动提取并注入关键图像区域嵌入，从而在不依赖外部工具或重新编码的情况下实现迭代证据细化，显著提升了视觉推理性能。

原作者： Zeru Shi, Kai Mei, Yihao Quan, Dimitris N. Metaxas, Ruixiang Tang

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeru Shi, Kai Mei, Yihao Quan, Dimitris N. Metaxas, Ruixiang Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SIEVE 的新方法，旨在让“看图说话”的人工智能（视觉语言模型）变得更聪明、更靠谱。

为了让你轻松理解，我们可以把现在的 AI 想象成一个正在做数学题的学生，而这张图就是他的试卷。

1. 现在的 AI 遇到了什么麻烦？（“只读一遍题”的困境）

目前的 AI 在解题时，通常是这样做的：

看一眼试卷：先把整张图“吞”进脑子里，变成一堆固定的数据（就像学生快速扫了一眼题目）。
开始写解题步骤：然后它就开始在纸上写解题过程（生成文字）。
越写越忘：随着它写的字越来越多，它的注意力就全集中在自己刚才写下的文字上，而慢慢忘记了试卷上原本画了什么。

这就导致了一个问题：如果题目问的是“那个躲在角落里的红色小铲子是什么颜色？”，AI 可能因为只看了第一眼的“大概印象”，没看清细节，就瞎猜一个颜色，或者干脆胡编乱造（幻觉）。

现有的解决办法（笨办法）：
以前的研究者会让 AI 调用外部工具，比如让 AI 喊一声：“帮我拿个放大镜，把那个角落放大看看！”

缺点：这就像学生做题时，每想一步就要停下来，叫老师拿个放大镜，拍张照片，再重新把照片传给 AI 看。这个过程很慢，而且打断了思考的连贯性，就像做题时频繁被打断，思路容易断。

2. SIEVE 是怎么做的？（“自带记忆回放”的聪明办法）

这篇论文的作者提出了一个核心观点：其实 AI 脑子里早就存了那张图的细节，只是它不知道什么时候该去“调取”而已。

SIEVE 就像给这个学生装了一个**“智能记忆回放系统”**：

不用放大镜，直接“调取”记忆：
当学生写到一半，发现“哎呀，我好像没看清那个铲子的颜色”时，它不需要叫老师拿放大镜。它直接在自己的大脑深处（内部数据）里，把刚才看那张图时存下的、关于“铲子”的那部分高清记忆碎片（图像嵌入向量）直接拿出来。
无缝插入思考：
它把这些高清记忆碎片，直接插进自己的解题步骤里。就像学生突然灵光一闪：“哦！我想起来了，刚才我看图的时候，脑子里其实已经存了铲子的特写，它是蓝色的！”
自己决定什么时候用：
SIEVE 通过一种特殊的训练（强化学习），教会了学生：“什么时候该停下来回想细节？” 以及 “该回想哪一部分细节？”。

3. 一个生动的比喻：侦探破案

想象 AI 是一个侦探，图片是案发现场。

传统 AI：侦探进屋扫了一眼，然后坐在椅子上写报告。写着写着，他忘了嫌疑人鞋子的颜色，就开始瞎编。
旧式工具法：侦探每写一行字，就喊：“助手，帮我把嫌疑人鞋子的照片放大打印出来，贴在我的报告旁边！”（效率低，打断思路）。
SIEVE 方法：侦探进屋时，不仅扫了一眼，还把现场每个关键细节（鞋子、血迹、窗户）都拍成了“高清快照”存在脑子里。
- 当他写到“嫌疑人鞋子”时，他脑子里的“高清快照”自动弹出，让他看清了鞋子的颜色。
- 他不需要喊助手，也不需要重新进屋，直接利用脑子里存好的“快照”继续写报告。

4. 这种方法好在哪里？

快：不需要重新拍照、重新处理图片，直接从脑子里调取数据，速度飞快。
准：因为它调取的是最相关的细节，所以不容易看错，大大减少了“瞎编”（幻觉）的情况。
省资源：不需要训练庞大的外部工具系统，只需要一点点数据（大约 1500 张图）就能教会 AI 这个技能。

5. 结果如何？

实验证明，用了 SIEVE 的 AI：

在回答复杂问题时，准确率平均提升了 8%。
特别是在需要看清细节（比如高清晰度图片）的任务上，表现提升非常明显。
它不仅能看清物体，还能更准确地判断物体的属性（颜色、材质等），并且不再那么爱“胡说八道”。

总结

简单来说，SIEVE 就是让 AI 学会“回头看”。

以前的 AI 是“一眼定终身”，看完图就开始写，写着写着就忘了图；
现在的 SIEVE 让 AI 变成了“边写边查”，它知道自己脑子里存着图的细节，在需要的时候能瞬间调取出来辅助思考，既不用外部工具帮忙，又让解题过程更流畅、更准确。

这就好比一个优秀的学生，做题时不仅记得题目，还能随时在脑海里“回放”题目的关键细节，从而做出最正确的答案。

1. 研究背景与问题 (Problem)

核心痛点：
现有的视觉 - 语言模型（VLMs）虽然在多模态问答和思维链（CoT）推理方面表现出色，但其推理过程通常是以文本为中心的。

静态上下文： 图像在推理开始时被编码为固定的视觉 Token，随着推理的进行，模型的关注点逐渐转移到生成的文本历史中，导致视觉证据的权重被稀释。
缺乏针对性重访： 模型很少在推理的特定步骤中有针对性地“回看”图像。
现有方案的局限性： 为了解决上述问题，近期工作（如 OpenAI o3 等）引入了外部工具（如缩放、裁剪、导航）来重新获取细粒度细节。然而，这些方法存在两个主要缺陷：
1. 打断推理链： 外部工具生成的新图像视图通常作为额外输入附加在末尾，而非无缝插入到思维链的中间步骤，破坏了推理的连续性。
2. 计算开销与训练复杂： 需要反复进行图像重编码（Re-encoding），且训练模型调用外部工具需要大量数据和复杂的训练流程。

核心假设：
VLM 内部已经包含了足够的视觉信息（通过原始视觉 Embedding 编码）。瓶颈不在于缺乏信息，而在于模型缺乏在推理过程中动态选择并重新利用相关视觉证据的能力。因此，无需生成新图像或调用外部工具，直接提取并注入原始编码中的区域 Embedding 即可实现有效的视觉重访。

2. 方法论 (Methodology)

作者提出了 SIEVE（Self-revisit framework with Iterative Evidence Refinement），一个端到端的自我重访框架。其核心思想是从原始图像编码中提取关键区域的 Embedding，并在推理需要时将其注入到思维链中，无需外部工具或重新编码。

2.1 核心流程

证据发现与缓存 (Evidence Discovery & Caching)：
- 在训练前，通过两阶段过程自动识别任务相关的视觉区域并提取其 Embedding。
- 文本锚点发现： 利用**梯度显著性（Gradient Saliency）**计算输入 Token 对模型预测的影响。高梯度的 Token（通常是关键物体、属性或空间关系）被选为“文本锚点”。
- 视觉证据定位： 在模型中间层（Middle Layers）的隐藏状态中，计算文本锚点与图像 Patch Token 的跨模态相似度（Cosine Similarity）。选取相似度最高的 Patch 区域，聚合其 Embedding 形成“区域快照（Region Snapshots）”并缓存。
- 注：实验表明中间层（Middle Layers）的表示在语义抽象和空间保真度之间取得了最佳平衡。
强化学习训练 (Visually-Grounded RL)：
- 策略优化： 模型在推理过程中学习何时需要“回看”图像。
- 动作空间： 模型可以选择继续生成文本、插入缓存的视觉 Embedding，或直接输出答案。
- 状态定义： 状态 $s_t$ 包含原始图像、历史文本以及之前插入的视觉证据块。
- 奖励函数设计 ( $R$ )： 包含四个部分：
  - 结果奖励 ( $R_{res}$ )： 答案正确性。
  - 格式奖励 ( $R_{format}$ )： 推理链结构是否完整（是否包含必要的嵌入插入步骤）。
  - 嵌入奖励 ( $R_{emb}$ )： 当模型正确回答问题且主动在中间步骤插入了视觉证据时给予奖励（鼓励利用证据而非绕过）。
  - 动作奖励 ( $R_{act}$ )： 防止模型偷懒（如输出空思考）或过早终止，鼓励有意义的推理过程。
推理过程 (Inference)：
- 模型生成思维链。
- 当模型判断需要更多视觉信息时，触发“插入 Embedding"动作。
- 系统从缓存中检索对应的区域 Embedding 并注入到当前的上下文窗口中。
- 模型基于增强的上下文继续推理，直至得出最终答案。

3. 关键贡献 (Key Contributions)

SIEVE 框架： 提出了一种无需外部工具（如裁剪、缩放）即可让 VLM 重访细粒度视觉证据的新范式。通过直接检索和重插入原始编码的区域级 Embedding，实现了轻量级、自包含的视觉重访。
基于显著性的证据发现机制： 设计了一种自动化的两阶段流程，利用梯度显著性识别关键文本锚点，并通过跨模态相似度在中间层定位对应的视觉区域，无需人工标注。
视觉锚定的强化学习管道： 开发了一种数据高效的 RL 训练方法（仅需约 1.5k 样本），教会模型在推理过程中判断何时检索和插入视觉证据。
实证验证： 在多个基准测试和不同模型规模（4B 和 8B）上验证了 SIEVE 的有效性，证明了利用内部表示进行视觉重访的可行性。

4. 实验结果 (Results)

实验在多个基准测试中进行，包括高分辨率推理（V* Bench, HR-Bench）、感知任务（MME-Real-Lite）、逻辑推理（LogicVista, MathVista）及幻觉检测（HallusionBench）。

性能提升：
- 在 V Bench* 和 HR-Bench 上，SIEVE 在 4B 和 8B 模型上均显著优于基线（包括 Vanilla 模型、GRPO 训练模型以及基于工具调用的 Zoom-Refine 等方法）。
- Qwen3-VL-4B 在 V* Bench 上相比 Vanilla 模型提升了 7.85%（总体），在 HR-Bench 上也有显著提升。
- 在 MME-Real-Lite 感知任务上，SIEVE 4B 提升了 5.05%，SIEVE 8B 提升了 5.48%。
- 在 WeMath 数学推理任务上，SIEVE 8B 实现了 11.3% 的显著提升。
- 平均而言，SIEVE 在多个基准上带来了约 8% 的性能提升。
消融实验分析：
- 随机插入 vs. 显著性选择： 如果随机插入 Patch Embedding 而非基于显著性选择的 Embedding，性能会大幅下降。这证明了语义相关性是关键，而非仅仅是增加 Token 数量。
- 层选择： 实验证实中间层（Middle Layers）的 Embedding 在定位关键区域时准确率最高（Information Hit Ratio 最高），早期层太噪，晚期层太偏向任务输出。
- 动作奖励的作用： 引入动作奖励（Action Rewards）有效防止了奖励崩溃（Reward Collapse）和模型输出空思考（Empty Reasoning）的退化行为，显著提高了训练稳定性和推理长度。

5. 意义与总结 (Significance)

范式转变： SIEVE 挑战了“必须通过外部工具重新生成图像视图才能进行视觉重访”的现有范式。它证明了 VLM 内部的隐藏状态（Hidden States）已经包含了足够的细粒度信息，关键在于如何动态地检索和重用这些信息。
效率与可扩展性： 相比工具增强方法，SIEVE 避免了昂贵的图像重编码和外部工具调用，推理延迟更低，且训练数据需求极小（仅需 1.5k 样本），具有极高的可扩展性。
推理连贯性： 通过将视觉证据直接注入思维链的中间步骤，SIEVE 保持了推理过程的连续性，使模型能够像人类一样在思考过程中自然地“回看”关键细节，从而显著减少幻觉并提升复杂推理任务的表现。

总结： 该论文提出了一种高效、内生的视觉推理增强方案，通过挖掘模型内部的视觉信号并配合强化学习，实现了无需外部工具的迭代式证据细化，为未来 VLM 的视觉推理能力发展提供了新的方向。