RL makes MLLMs see better than SFT

该论文指出强化学习（RL）相比监督微调（SFT）能更显著地优化多模态大模型的视觉编码器，使其产生更强且定位更精准的视觉表征，并据此提出了名为 PIVOT 的高效训练范式，以极低的计算成本实现了超越更大规模预训练模型的视觉能力。

要点

这篇论文讲述了一个关于**多模态大模型（MLLM）**如何“看”世界的有趣故事。简单来说，它发现了一种让 AI 看得更清楚、更聪明的新方法，而且这种方法比传统的“死记硬背”要高效得多。

我们可以把这篇论文的核心内容想象成**培养一个“超级观察员”**的过程。

1. 背景：以前的训练像“填鸭式教学”

过去，我们要让 AI 学会看图说话，通常采用监督微调（SFT）。

• 比喻：这就像老师拿着标准答案，一遍遍教学生：“这张图里有只猫，那是猫。”学生（AI）只能机械地背诵这些答案。
• 问题：虽然学生能背出答案，但他可能并没有真正理解“猫”长什么样，或者在复杂的场景里（比如猫躲在草丛里）就认不出来了。而且，大家一直以为，只要把背后的“大脑”（语言模型）练得足够大，AI 自然就能看懂图，却忽略了教它“眼睛”（视觉编码器）的方法。

2. 发现：强化学习（RL）是“实战演练”

研究人员尝试了一种新方法：强化学习（RL），特别是其中的DPO（直接偏好优化）。

• 比喻：这不再是老师给标准答案，而是让学生做“选择题”。老师展示两张图或两个回答，问学生：“哪个描述更准确？哪个更符合人类的喜好？”
• 过程：学生必须自己去思考、比较，找出哪个是对的，哪个是错的。
• 结果：研究发现，经过这种“实战演练”的 AI，在需要仔细观察的任务（比如读图表、看文字、识别细节）上，表现远超那些只靠“死记硬背”的 AI。

3. 核心秘密：RL 让“眼睛”变得更敏锐

这是论文最惊人的发现：训练方法不仅改变了 AI 的“大脑”，还彻底重塑了它的“眼睛”。

• SFT（死记硬背）的眼睛：看东西比较“散”。就像一个人看画，注意力是分散的，哪里都看一点，但抓不住重点。
• RL（实战演练）的眼睛：看东西非常“聚焦”。就像侦探一样，能精准地锁定问题相关的区域。
  • 实验证据：研究人员把训练好的“眼睛”单独拿出来，让它去识别图片（比如 ImageNet 分类）或分割物体（比如把图里的“人”和“车”分开）。结果发现，经过 RL 训练的“眼睛”，识别准确率更高，分割得更精准。
  • 比喻：SFT 训练的眼睛像是一个拿着放大镜到处乱照的人；而 RL 训练的眼睛像是一个拿着激光笔，能精准点出关键部位的高手。

4. 终极方案：PIVOT（偏好指导的视觉优化）

基于这个发现，作者提出了一个名为 PIVOT 的“食谱”。

• 这是什么？ 它就是一个简单的训练流程：用“偏好数据”（也就是那种“选对选错”的对比数据）去专门训练视觉模型。
• 惊人的效果：
  • 以小博大：用 PIVOT 训练出来的“小眼睛”（比如 4 亿参数的模型），竟然能打败那些经过海量数据训练、参数大得多的“大眼睛”（比如 10 亿参数的模型）。
  • 省钱省力：训练 PIVOT 只需要标准训练 不到 1% 的算力成本。
  • 比喻：这就好比用一套精妙的“特训课程”，让一个普通体重的拳击手，在技巧上击败了体重两倍但只练蛮力的对手。

5. 总结：为什么这很重要？

这篇论文告诉我们，不要只盯着把模型做大（增加参数），更要关注怎么教模型“看”。

• 以前的误区：只要语言模型够强，视觉能力自然就好。
• 现在的真相：如果训练方法不对（只用 SFT），再强的语言模型也救不了那双“看不清”的眼睛。
• 未来的方向：使用 RL（强化学习） 和 PIVOT 方法，我们可以用更少的钱、更小的模型，训练出更聪明、看得更准的 AI。

一句话总结：
这篇论文发现，与其让 AI 死记硬背看图说话，不如让它通过“选对选错”的实战来训练。这样不仅能让它回答问题更聪明，还能让它拥有一双更敏锐、更聚焦的“火眼金睛”，而且成本极低，效果却出奇地好。

技术摘要

这是一篇关于多模态大语言模型（MLLM）训练策略及其对视觉编码器影响的深度研究论文。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现有假设的局限性：当前 MLLM 研究普遍假设模型性能主要继承自其强大的语言模型（LLM）骨干，导致对视觉编码器（Vision Encoder）如何感知图像的理解存在空白。
• 训练范式的转变：MLLM 的训练正从监督微调（SFT）向强化学习（RL，如 DPO）转变。然而，学界缺乏对这两种策略如何重塑视觉编码器及其内部视觉表示的系统性分析。
• 核心问题：
  1. RL（特别是 DPO）与 SFT 相比，在 MLLM 任务上的表现差异如何？
  2. 后训练策略（SFT vs. RL）如何改变视觉编码器的底层视觉表示？
  3. 能否利用 RL 训练出的视觉编码器构建出比现有 SOTA 模型更强大的 MLLM？

2. 方法论 (Methodology)

A. 对比分析：SFT vs. RL (DPO)

• 实验设置：基于 LLaVA-OneVision 架构，使用不同规模的 Qwen2.5 LLM 和 SigLIP2 视觉编码器。
• 训练流程：
  1. Stage 1：多模态投影器预训练 + 全参数基础 MLLM 训练（在 VQA、对话、描述数据上）。
  2. Stage 2：对比两种后训练策略。
     • SFT：仅优化 chosen response（$y_c$）的似然。
     • DPO：利用偏好对（chosen $y_c$ vs. rejected $y_r$），直接优化偏好对齐，无需奖励模型。
• 评估维度：在 16 个基准测试上评估 MLLM 性能，并进一步将视觉编码器从 MLLM 中解耦，单独评估其在 ImageNet 分类和语义分割上的表现。

B. 深度分析：视觉表示的重塑

• 梯度可视化 (Grad-CAM)：分析 SFT 和 DPO 在反向传播过程中传递给视觉编码器的梯度信号分布。
• 表征对齐：测量视觉编码器与不同 LLM 之间的表征相似度。

C. 提出新范式：PIVOT

• 定义：Preference-Instructed Vision OpTimization (PIVOT)。将 RL 训练（DPO）重新定义为一种针对视觉编码器的辅助训练过程。
• 流程：
  1. 使用 LLM Head 对预训练的视觉编码器（如 CLIP, SigLIP, MAE, DINOv2）进行 SFT 和 DPO 微调。
  2. 冻结微调后的视觉编码器，将其作为新的骨干接入 MLLM。
  3. 在下游任务中评估其性能。

3. 关键发现与贡献 (Key Contributions & Findings)

发现 1：RL 在强视觉任务上显著优于 SFT

• 在强视觉相关的 VQA 任务（如 OCR、图表理解、视觉中心任务）中，DPO 训练的 MLLM 性能显著高于 SFT（提升幅度达 +3% 到 +10%）。
• 在弱视觉相关任务（如纯知识问答）中，两者差距较小。
• 数据效率：DPO 在少量数据（3K 样本）下即可超越 SFT 在大量数据（40K 样本）下的表现。

发现 2：RL 重塑了视觉表示 (Reshaping Visual Representations)

• 视觉编码器性能提升：经过 DPO 微调的视觉编码器，在脱离 LLM 后，在 ImageNet 分类和语义分割任务上均优于 SFT 微调的编码器。
• 梯度信号差异：Grad-CAM 显示，SFT 的梯度信号较为分散，而DPO 的梯度信号更集中且精准地指向与问题相关的图像区域。这表明 DPO 通过对比学习（区分优选和拒绝回答）提供了更细粒度的视觉优化信号。
• LLM 规模效应：更大的 LLM 骨干能为视觉编码器提供更强的优化信号，进一步提升视觉表示质量。

发现 3：PIVOT 的卓越性能

• 以小博大：经过 PIVOT 优化的较小模型（如 SigLIP1-So/14 + PIVOT）性能超越了更大、更新且训练更充分的模型（如 SigLIP2-So/16）。
• 超越 SOTA：PIVOT 优化的 SigLIP2-So/16 甚至超越了参数量大 2.5 倍的 SigLIP2-g/16。
• 通用性：该方法适用于多种视觉骨干（CLIP, DINOv2, MAE 等），不仅限于对比学习预训练的模型。
• 成本效益：PIVOT 训练仅需不到标准视觉预训练 1% 的算力成本（约 18 小时，8 张 H100 GPU）。

4. 实验结果 (Results)

• MLLM 基准测试：
  • DPO 在 OCR & Chart VQA 和 Vision-Centric VQA 上比 SFT 分别高出约 +4.2% 和 +2.4%。
  • 在通用 VQA 和知识 VQA 上也有稳定提升。
• 视觉编码器独立评估：
  • ImageNet：DPO 微调的编码器 Top-1 准确率比 SFT 高出约 1.8% - 1.9%。
  • 分割 (Segmentation)：DPO 微调的编码器在 ADE20K 上的 Patch-level Recall 显著更高，生成的分割图与 Ground Truth 对齐更紧密。
• PIVOT 效果：
  • SigLIP2-So/16 + PIVOT (1.5B LLM) 的平均得分达到 55.6%，而原始 SigLIP2-g/16 (1B LLM) 仅为 53.9%。
  • 即使使用更小的 LLM (1.5B)，PIVOT 模型也超越了使用更大 LLM (7B) 的 SFT 模型。

5. 意义与影响 (Significance)

1. 打破“视觉编码器已足够”的迷思：证明了即使是 SOTA 级别的视觉编码器（如 SigLIP2），在 MLLM 场景下仍有巨大的提升空间，且这种提升可以通过高效的 RL 微调实现。
2. 重新定义视觉编码器训练：提出了 PIVOT 这一简单有效的“食谱”，表明利用人类偏好数据（Preference Data）进行视觉表示学习比传统的 SFT 更有效，能产生更局部化、更细粒度的视觉特征。
3. 高效路径：为 MLLM 视觉骨干的进化提供了一条低成本、高效率的路径，无需重新进行大规模预训练，仅需少量偏好数据微调即可实现性能飞跃。
4. 理论洞察：揭示了 RL（特别是 DPO）不仅优化了语言生成，还从根本上改变了模型“看”世界的方式，使其视觉感知更加精准和符合人类偏好。

总结：该论文通过严谨的对比实验和深度分析，证明了强化学习（RL/DPO）在提升 MLLM 视觉感知能力方面优于传统的监督微调（SFT），并据此提出了 PIVOT 方法，成功将现有视觉编码器转化为更强大的 MLLM 骨干，为多模态模型的未来发展指明了新的方向。