DeepEyes: Incentivizing "Thinking with Images" via Reinforcement Learning

DeepEyes 是一种通过端到端强化学习训练的大规模视觉语言模型，它无需监督微调冷启动数据即可原生习得“用图像思考”的能力，通过主动感知策略将视觉信息深度融入推理过程，从而显著提升了模型在感知、推理、定位及数学任务上的表现。

要点

这篇论文介绍了一个名为 DeepEyes（深眼）的人工智能模型。为了让你轻松理解，我们可以把传统的视觉语言模型比作一个“只爱读书的近视眼学者”，而 DeepEyes 则像是一个“会主动凑近观察的侦探”。

以下是用大白话和生动比喻对这篇论文的解读：

1. 核心痛点：以前的模型“眼高手低”

想象一下，你给一个只读过很多书但没怎么看过世界的学者（传统大模型）看一张复杂的图表或一张模糊的照片，问他：“这张图里哪个部分的电阻变化最小？”

• 传统做法：学者只能盯着整张图看，然后凭记忆里的文字知识瞎猜。他可能会说：“哦，这看起来像硅，所以选硅。”但他其实根本没看清图里的细节，这就是所谓的“幻觉”（Hallucination）。
• 人类的智慧：如果你问一个侦探，他会怎么做？他会先扫一眼，发现看不清，于是主动凑近（Zoom in），甚至拿出放大镜，仔细查看局部细节，确认后再下结论。

DeepEyes 的目标，就是让 AI 学会像侦探一样，“用图像思考”（Thinking with Images），而不是只靠死记硬背的文字。

2. DeepEyes 是怎么学会的？（不用死记硬背，全靠“实战”）

以前的方法教 AI 这种技能，通常需要人类先写好几万条“看图 - 思考 - 回答”的教科书（这叫监督微调，SFT），这既贵又慢。

DeepEyes 的独门秘籍是“强化学习”（Reinforcement Learning）：

• 比喻：就像教小狗玩球。你不需要给小狗写一本《如何玩球》的说明书。你只需要扔出球，如果小狗主动跑过去把球捡回来，你就给它一块肉干（奖励）；如果它只是站在原地瞎叫，就没有奖励。
• DeepEyes 的训练：
  • 模型面对问题，如果它主动决定“我要放大看看这个角落”，并且最后答对了，系统就给它发“大红包”（奖励）。
  • 如果它懒得动，或者乱放大，就得不到奖励。
  • 关键点：它不需要人类教它“什么时候该放大”，它是通过不断试错，自己悟出了“只有凑近看才能拿高分”的道理。

3. 它学会了什么新技能？（四种“侦探思维”）

在训练过程中，DeepEyes 进化出了四种很像人类的思考模式：

1. 主动搜索（Visual Search）：
   • 场景：找一只藏在草丛里的小猫。
   • 行为：模型发现全图看不清，于是像探照灯一样，主动扫描图像的各个角落，把可能藏着猫的地方放大看。
2. 视觉对比（Visual Comparison）：
   • 场景：比较两张图表哪个波动更小。
   • 行为：它不会凭感觉猜，而是轮流放大图表 A、B、C、D，像拿着放大镜对比一样，仔细数格子、看线条，最后得出结论。
3. 自我确认（Visual Confirmation）：
   • 场景：不确定那个黑乎乎的是不是窗户。
   • 行为：模型心里犯嘀咕：“这看起来像窗户，但不确定。”于是它再次放大，确认了细节后，才敢自信地回答“是”。
4. 消除幻觉（Hallucination Mitigation）：
   • 场景：模型差点把红色的外套看错成黑色的（因为文字训练让它觉得外套通常是黑色的）。
   • 行为：它通过放大查看，发现颜色明明是红的，于是推翻了自己原本基于文字经验的错误猜测，纠正了答案。

4. 实验结果：它有多强？

论文在几个很难的测试上（比如看超高清大图、做数学题、找小物体）测试了 DeepEyes：

• 高分突破：在需要看清细节的超高分辨率测试中，它的表现比之前的顶尖开源模型（如 Qwen2.5-VL）提升了近 19%。
• 更靠谱：它撒谎（幻觉）的次数大大减少，因为它学会了“眼见为实”。
• 越练越强：模型越大（从 70 亿参数到 320 亿参数），它这种“主动观察”的能力就越强，思考过程也更像人类。

5. 总结：为什么这很重要？

这就好比 AI 从“只会背字典的哑巴”进化成了“会动手查资料的实干家”。

• 以前：AI 只能被动地接收图片，然后瞎编乱造。
• 现在（DeepEyes）：AI 拥有了“主动感知”的能力。它知道什么时候该“眯起眼睛”仔细看，什么时候该“退后一步”看整体。

一句话总结：
DeepEyes 通过“实战奖励”机制，教会了 AI 像人类侦探一样，主动凑近观察、仔细比对、反复确认，从而真正做到了“用图像思考”，不再只是纸上谈兵。

技术摘要

DeepEyes 技术总结

1. 研究背景与问题 (Problem)

现有的大型视觉 - 语言模型（VLMs）虽然在多模态理解方面表现出色，但在推理过程中主要依赖文本模态，难以将视觉信息深度整合到推理链条中。

• 核心痛点：人类在推理时习惯“用图像思考”（Thinking with Images），即通过连续的视觉注视点提取信息以辅助决策。然而，现有的 VLMs 大多将感知与推理解耦，或者依赖预定义的固定工作流（Workflow-based）来引入视觉信息，这导致性能次优且泛化能力差。
• 现有局限：
  • 大多数模型缺乏自主决定何时、如何查看图像细节的能力。
  • 现有的多模态思维链（MCoT）方法通常需要大量的监督微调（SFT）数据作为冷启动，或者依赖外部专用模型/工具，缺乏端到端的原生能力。
  • 在高分辨率图像、细粒度定位及幻觉抑制等任务上表现不足。

2. 方法论 (Methodology)

论文提出了 DeepEyes，一个通过端到端强化学习（RL） 训练出的、具备“用图像思考”能力的模型。其核心在于主动感知（Active Perception） 机制，无需冷启动 SFT 或外部专用工具。

2.1 核心架构：交错多模态思维链 (iMCoT)

DeepEyes 采用交错多模态思维链（Interleaved Multimodal Chain-of-Thought, iMCoT）：

• 自主决策：模型在生成文本推理步骤后，自主决定是直接输出答案，还是调用工具（如 image_zoom_in_tool）对图像的特定区域进行裁剪（Zoom-in）以获取更清晰的视觉信息。
• 动态轨迹：推理过程是文本（Text-CoT）与视觉观察（Image Observations）的交错序列。模型将裁剪后的图像作为新的输入，继续推理，直到得出最终结论。
• 原生能力：利用模型原生的视觉定位（Grounding）能力作为内部工具，而非依赖外部 API。

2.2 强化学习策略 (Agentic RL)

• 训练框架：采用 Group Relative Policy Optimization (GRPO) 进行端到端训练。
• 状态定义：状态 $s_t$ 包含累积的文本 token 和图像观察 token。
• 奖励设计 (Reward Design)：
  • 准确性奖励 ($R_{acc}$)：基于最终答案的正确性。
  • 格式奖励 ($R_{format}$)：惩罚结构错误的输出。
  • 条件工具奖励 ($R_{tool}$)：这是关键创新。仅当模型回答正确且至少触发了一次主动感知（如 Zoom-in） 时，才给予额外奖励。
    • 目的：鼓励模型在需要时主动利用视觉信息，同时避免无意义的过度查询（Over-querying）。
• 数据筛选 (Data Selection)：
  • 为了在没有 SFT 冷启动的情况下高效训练，设计了多阶段数据筛选机制。
  • 剔除太简单或太难（模型完全无法回答）的样本。
  • 应用“感知效用过滤器”，仅保留那些通过主动感知（且有真值区域）才能解决的细粒度感知样本，最大化信息增益。

2.3 训练数据构成

训练集由三部分互补数据组成：

1. V 数据集 (47%)*：细粒度视觉感知（自然图像）。
2. ArxivQA (30%)：图表与科学图示（结构化视觉语义）。
3. ThinkLite-VL (23%)：复杂推理任务（算术、常识推理）。

3. 关键发现与训练动态 (Key Findings)

在 RL 训练过程中，模型表现出明显的三阶段进化，从盲目探索走向高效利用：

1. 初始探索阶段 (Steps 0-20)：模型开始尝试调用工具，但策略混乱，定位不准（IoU 低），响应长度波动大。
2. 高频交互阶段 (Steps 20-45)：模型频繁调用视觉工具，试图通过“广撒网”式查询来提高准确率，但效率较低。
3. 高效利用阶段 (Steps 45-80)：模型进化出选择性策略。它仅在必要时调用工具，定位更精准（IoU 高），响应更简洁，实现了视觉感知与内部推理的紧密协同。

涌现的推理模式：

• 视觉搜索 (Visual Search)：扫描不同区域寻找线索。
• 视觉比较 (Visual Comparison)：在不同区域间进行对比。
• 视觉确认 (Visual Confirmation)：通过放大细节消除不确定性。
• 幻觉抑制 (Hallucination Mitigation)：通过重新审视视觉证据来纠正语言先验导致的错误。

4. 实验结果 (Results)

DeepEyes 在多个基准测试中显著优于现有模型（包括 Qwen2.5-VL 7B/32B 及其他 SOTA 方法）：

• 高分辨率基准：
  • V Bench*：7B 模型达到 90.1% 准确率（比 Qwen2.5-VL 7B 提升 18.9%）。
  • HR-Bench：在 4K 和 8K 分辨率下分别提升 6.3% 和 7.3%。
  • 意义：证明了简单的 RL 即可解锁高分辨率视觉推理，无需复杂流水线。
• 通用感知与推理 (MME-RealWorld-Lite)：
  • 7B 模型表现超越 Qwen2.5-VL 32B 版本，显示出更强的真实世界感知能力。
• 定位与幻觉抑制：
  • 在 refCOCO 等定位任务上提升显著。
  • 在 POPE 基准上大幅减少幻觉，证明主动感知能有效验证物体存在性。
• 数学推理：
  • 在 MathVista, MathVerse 等数学推理基准上取得一致提升，表明视觉辅助能增强抽象推理。
• 零样本工具泛化：
  • 仅通过系统提示引入旋转工具（Rotate Tool），无需重新训练，即在旋转 OCR 任务上提升 3.5%，展示了框架的扩展性。

5. 主要贡献 (Contributions)

1. 原生“用图像思考”能力：通过端到端 RL 激励模型自主进行主动感知，无需冷启动 SFT 或外部专用模型，实现了真正的交错多模态思维链（iMCoT）。
2. 策略创新：提出了主动感知数据筛选机制和条件工具奖励策略，有效解决了 RL 训练初期的效率低下和无效查询问题。
3. 揭示训练动态：首次详细记录了模型从“无效探索”到“高效利用”的三阶段进化过程，并观察到多种类人视觉推理模式（搜索、比较、确认、纠错）。
4. 性能突破：在细粒度感知、高分辨率理解及幻觉抑制等关键任务上取得了 SOTA 级别的性能提升。

6. 意义与影响 (Significance)

• 范式转变：DeepEyes 证明了 VLMs 可以通过强化学习自主学会“看”和“思考”的协同，打破了传统工作流依赖的局限。
• 可解释性：模型生成的主动感知轨迹（如 Zoom-in 的坐标和理由）提供了透明的推理过程，有助于理解模型如何消除不确定性。
• 可扩展性：该方法不依赖特定任务的手工设计，能够自然地泛化到新的工具（如旋转、绘图）和复杂场景，为构建更智能、更接近人类认知过程的视觉代理（Visual Agents）提供了新路径。
• 资源效率：无需昂贵的 SFT 数据收集，仅利用问答对和 RL 即可激发高级推理能力，降低了多模态大模型推理能力升级的门槛。

总结：DeepEyes 通过强化学习成功赋予了模型“用图像思考”的本能，使其能够像人类一样主动地、策略性地利用视觉细节来辅助推理，显著提升了多模态任务的性能和可靠性。