💬 NLP

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

本文介绍了 Octopus，这是一个通过通过展开重组（rollout recombination）和响应掩码策略（response-masking strategy）来合成密集自纠错示例，从而提升视觉语言模型的样本效率并稳定训练过程的强化学习框架，并由此诞生了具有最先进性能的 Octopus-8B 模型。

原作者： Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位非常聪明的学生（一个视觉语言模型）如何解决涉及图片和文字的复杂谜题。这个学生很优秀，但有时会在推理过程中犯错。这项研究的目标是教会这个学生一项超能力：自我修正（Self-Correction）。这种能力是指意识到：“等等，我刚才那一步搞错了，”并在同一个回答中立即将其修复，而不是仅仅重新开始瞎猜。

以下是作者 Yi Ding 及其团队如何解决教授这项技能的问题，其解释方式非常通俗易懂。

问题所在：“大海捞针”

通常，当我们使用一种叫做强化学习（Reinforcement Learning, RL）的方法来训练这些 AI 模型时，我们只会在最后给予奖励：“对”或“错”。

问题在于： 模型很难在没有引导的情况下自发学会如何修复自己的错误。这就像是在试图教一个人通过修改作文来学习，但你只在最后告诉他“A”或“F”。他可能会靠猜测，但无法学会识别并修复错误的具体技能。
现实情况： 在标准的训练过程中，有效的“哎呀，我修好了”这类时刻极其罕见。论文发现，模型自然实现自我修正的情况少于 1%。试图从如此稀少的事件中学习，就像是试图通过等待一年一度才出现一次的鲨鱼来学习游泳一样。

解决方案：“章鱼”（Octopus，增强技巧）

作者意识到，尽管模型很少能主动修复自己的错误，但它在同一次训练会话中经常会同时生成错误答案和正确答案。他们将这个解决方案称为 Octopus（章鱼）。

把训练过程想象成一位厨师在熬汤。

标准 RL： 厨师在最后才品尝汤的味道。如果不好喝，他就把它倒掉重新开始。
Octopus： 厨师意识到，在烹饪过程中，他无意间做出了两个版本的汤：一个是太咸的（错的），一个是完美的（对的）。与其把咸的汤扔掉，Octopus 说：“嘿，让我们把这两个配对起来吧！”
神奇之处： 通过将同一次尝试中的“错误路径”和“正确路径”放在一起，并强迫它们并排坐好，模型看到了一个清晰的例子：“这里是错误，这里是修复。”
结果： 他们将一个稀有的“顿悟时刻”转化为了数十个清晰、明确的教训。他们称之为 Rollout Augmentation（展开增强）。这就像是拍下一张错误的照片和一张修复后的照片，然后复印 100 份，让学生可以反复学习，而不需要再去熬 100 锅新汤。

策略：两阶段训练（“遮盖”技巧）

教模型修复错误是很棘手的，因为它可能会感到困惑。它可能会想：“我应该努力第一次就把答案答对，还是应该故意出错以便稍后修复它？”这被称为“冲突”。

为了解决这个问题，作者使用了一种带有特殊“遮盖”技术（遮住答案的部分）的 两阶段训练 方法：

第一阶段：“修复课”。
- 模型被告知忽略其答案的第一部分（错误部分）。
- 它只被允许从第二部分（修正部分）中学习。
- 类比： 想象一位老师遮住了数学题的前半部分，只根据学生在后半部分如何纠正错误来进行评分。这确保了学生学习的是“修复的技能”，而不会因为试图立即让前半部分变得完美而分心。
第二阶段：“大师课”。
- 一旦学生擅长了修复错误，老师就会揭开第一部分。
- 现在，模型学习如何兼顾两者：第一次就把答案答对，以及如果失误了如何进行修复。
- 类比： 现在学生参加完整的考试。因为他们在第一阶段练习过如何修复错误，所以当他们犯错时不太容易惊慌，并且能够更快地恢复。

结果：更快、更聪明

该论文介绍了一个名为 Octopus-8B 的模型。

性能： 它成为了同规模中最好的开源模型，在涉及数学、图表和通用知识的 7 项测试中击败了其他顶尖模型（如 Qwen3-VL-Thinking）。
效率： 由于 Octopus 会回收利用训练数据（重复使用“错误”和“正确”的配对），它的学习速度更快。它仅使用了之前最优秀方法 72% 的训练时间，就取得了更好的结果。

总结

论文认为，要让 AI 更聪明，我们不应该只是等待它偶然学会如何修复错误。相反，我们应该通过将其错误与成功配对来制造这些学习时刻。通过这样做，并将“修复”技能与“回答”技能分开教学，AI 会成为一个更稳健、具备自我修正能力的思考者。

核心要点： 你不需要更多的数据；你需要重新排列现有的数据，使教训变得更加清晰。

技术摘要：通过 Rollout 增强学习视觉-语言模型的自我修正能力

问题陈述

具有推理能力的视觉-语言模型（VLMs）在复杂任务中表现出了令人印象深刻的性能，通常会展现出一种涌现的“自我修正”（例如“啊哈时刻”）行为，即模型会在单个响应内修正其推理过程。然而，目前的强化学习结合可验证奖励（RLVR）范式难以显式地教授或控制这种能力。

核心挑战在于有效自我修正信号的极端稀疏性。在标准的 RL 训练中，自我修正行为（特别是从错误到正确的推理转换，即 错 $\rightarrow$ 对）仅会罕见且隐式地出现。现有的试图通过提示词工程或奖励塑造来鼓励反思的方法，仍然依赖于这些稀疏且不受控的涌现行为。此外，尝试使用标准二元奖励对直接推理和自我修正进行联合优化的做法，往往会导致奖励作弊（模型故意生成错误的初始响应以触发平庸的修正）和模式崩溃（mode collapse），从而导致训练不稳定。

方法论：Octopus 框架

为了解决这些挑战，作者提出了 Octopus，这是一个旨在通过 Rollout 增强来合成密集、显式自我修正样本的框架，且不会增加额外的计算开销。该方法由三个主要部分组成：

1. 特定于修正的 Rollout 增强

作者观察到，在标准的 RL Rollout 组（针对单个输入生成的 $n$ 个响应集合）中，正确和错误的轨迹经常共存。Octopus 不再等待模型自发生成 错 $\rightarrow$ 对 的序列，而是通过重新组合现有的 Rollout 来显式构建这些配对。

机制： 给定 $n$ 个 Rollout，系统将一个 Rollout 中的前修正响应（ $o_1$ ）与另一个 Rollout 中的后修正响应（ $o_2$ ）进行配对。这种组合配对可以生成 $n^2$ 个潜在样本。
分类： 这些配对分为四类：错 $\rightarrow$ 对（正样本）、对 $\rightarrow$ 对（正样本）、对 $\rightarrow$ 错（负样本）以及 错 $\rightarrow$ 错（负样本）。
采样策略： 为了确保训练稳定性，框架从这个增强后的池中选择平衡的正负样本混合（例如，当 $n=8$ 时，从生成的 64 个配对中选择 16 个平衡样本）。这通过复用 Rollout 提高了样本效率，并通过平衡优势分布（advantage distribution）稳定了优化过程。

2. 响应掩码策略（两阶段训练）

为了解决学习直接推理与自我修正之间的冲突，作者引入了一个带有响应掩码策略的两阶段训练流水线：

第一阶段（仅学习自我修正）： 模型被训练以改进后修正响应（ $o_2$ ），同时将前修正响应（ $o_1$ ）视为固定上下文。损失函数对 $o_1$ 中的所有 Token 进行掩码处理，并应用 KL 散度约束以保持 $o_1$ 接近参考模型。这隔离了自我修正的学习信号，防止模型通过降低 $o_1$ 的质量来人为提升修正信号，从而实现“奖励作弊”。
第二阶段（协同进化推理与修正）： 模型同时优化这两种能力。至关重要的是，作者应用了选择性取消掩码：仅当修正 Token 前后的正确性保持一致时（即 对 $\rightarrow$ 对 或 错 $\rightarrow$ 错），才会对 $o_1$ 进行取消掩码（从而进行更新）。对于表现出有效自我修正的样本（错 $\rightarrow$ 对）， $o_1$ 保持掩码状态，以防止梯度强化初始错误。

3. 冷启动数据构建

在 RL 训练之前，采用监督微调（SFT）冷启动阶段来教授模型特定的输出格式（ $o_1 \oplus \langle sc \rangle \oplus o_2$ ）。作者发现，混合采样（即 $o_1$ 从策略模型采样，而 $o_2$ 从更强的教师模型采样）优于分布内采样，因为它避免了熵崩溃，并为初始化提供了更高质量的修正示例。

核心贡献

识别稀疏性： 本文指出，在标准 RL Rollout 中，有效的自我修正信号极其稀疏（通常占比 <1%），并证明了这些信号可以通过配对现有的正确和错误轨迹来使其稠密化。
Octopus 增强： 一个通过重新组合 Rollout 来合成密集自我修正示例的新颖框架，在不增加额外生成成本的情况下提高了样本效率和训练稳定性。
解耦优化： 一种响应掩码策略，成功地将自我修正的学习与直接推理的学习解耦，避免了联合优化相关的奖励作弊和不稳定问题。
Octopus-8B 模型： 一个具备推理能力的 VLM，在同等规模的开源模型中达到了最先进（SoTA）的性能。

结果

所提出的 Octopus-8B 模型在 7 个基准测试（包括 MathVista, MathVerse, WeMath, HallusionBench, MMStar, MMMU, 和 CharXiv）上进行了评估。

性能： Octopus-8B 实现了 71.7% 的平均准确率，相比基础的 Qwen3-VL-8B-Instruct 提升了 9.5 个百分点，相比官方推理增强变体（Qwen3-VL-8B-Thinking）提升了 1.2 个百分点。它也超越了最强的 RLVR 基准模型（GSPO）1.0 个百分点。
效率： 尽管通过增强使用了每步 16 个 Rollout，但 Octopus 每步所需的训练时间仅为最佳 RLVR 基准（使用 16 个 Rollout 的 GSPO）的 0.72 倍，因为它复用了仅 8 个 Rollout 的生成结果。
消融实验： 去除增强会导致性能显著下降（4.3 个百分点），证实了增益源于丰富的自我修正信号而非仅仅是增加样本量。去除第一阶段会导致 1.9 个百分点的下降，验证了解耦学习的必要性。
测试时扩展性（Test-Time Scaling）： 该模型展示了可控的自我修正能力；在推理时附加额外的 <sc> Token 可以进一步提高准确率和 Token 效率，表明该能力是可泛化且可扩展的。
泛化能力： 在视觉-语言数据上训练的模型同时也提升了在纯文本基准（AIME2024, MMLU-Pro）上的表现，表明自我修正是一种模态无关的策略。

重要性与主张

本文声称，自我修正对于稳健的 VLM 推理而言是一项关键能力，但由于信号稀疏和优化冲突，很难通过 RL 进行显式学习。通过提出 Octopus，作者证明了：

从策略样本（Rollout）中合成结构化监督是提高性能并降低训练成本的一个有前景的方向。
显式学习自我修正不仅能产生更准确的模型，还能使训练更高效，并具备测试时扩展的能力。
所提出的响应掩码策略为解决单次 RL 中目标纠缠的常见问题提供了解决方案，实现了直接推理与修正的协同进化，而不会发生模式崩溃。

这项工作为开源 VLM 建立了新的基准，表明可控的自我修正可以被有效地、高效地学习，从而不再仅仅依赖于涌现行为。