Empowering Small VLMs to Think with Dynamic Memorization and Exploration

本文提出了 DyME 框架，通过动态平衡监督微调（SFT）与强化学习（RLVR）并引入视觉监督机制，有效解决了小尺度视觉语言模型（SVLMs）在训练思考能力时面临的记忆伪迹与探索不稳定问题，从而显著提升了其在专有任务中的性能与可靠性。

要点

这篇论文提出了一种名为 DyME（动态记忆与探索）的新方法，旨在让小型视觉语言模型（SVLMs）学会“思考”。

为了让你更容易理解，我们可以把训练这些 AI 模型想象成教一个小学生做复杂的数学应用题。

1. 背景：为什么“小学生”学不会？

现在的 AI 界有两种主流的教学方法，但它们对“小学生”（小型模型）来说都有问题：

• 方法一：死记硬背（SFT，监督微调）

  • 做法：老师把标准答案和解题步骤（比如“先找图里的数字，再相减”）直接写在黑板上，让学生背下来。
  • 问题：对于“小学生”来说，黑板上的步骤太长了，全是文字，他们记不住，或者记混了。结果就是，他们虽然背下了“解题步骤”的样子，但看到新图时，根本看不懂图里的数字，“假思考”（Pseudo thinking traces）——看起来在推理，其实是在瞎编。

• 方法二：放手试错（RLVR，强化学习）

  • 做法：老师不给答案，让学生自己试着解题。做对了给奖励，做错了扣分。
  • 问题： “小学生”基础太弱，一开始根本不知道从哪下手。他们可能会乱猜，或者因为太害怕扣分而不敢尝试，导致**“优势崩塌”**（Advantage collapse）——模型学废了，或者学偏了，怎么教都教不会。

以前的做法：通常是先让学生背几天书（SFT），再让他们去试错（RL）。但这就像让一个还没学会走路的孩子直接去跑马拉松，中间那个“切换点”很难把握，稍微不对，孩子就摔倒了。

2. 核心方案：DyME（智能教练）

这篇论文提出的 DyME 就像是一位超级智能的教练，他不再死板地按“先背后练”的顺序教，而是根据学生每一秒的表现，动态调整教学策略。

核心机制：动态切换（Dynamic Switching）

教练手里有一个“开关”，时刻盯着学生的表现：

• 情况 A：学生完全懵了，或者乱写一通（所有尝试都错了）

  • 教练动作：立刻切换到 “记忆模式”（SFT）。
  • 怎么做：教练直接把标准答案和步骤喂给学生：“看！这里应该先找 2010 年的数据，再找 2012 年的，然后相减。”
  • 目的：防止学生乱猜，确保他们至少能跟上节奏，稳住基础。

• 情况 B：学生至少做对了一次，或者思路对了（有正确的尝试）

  • 教练动作：立刻切换到 “探索模式”（RLVR）。
  • 怎么做：教练说：“好，你刚才那步对了！现在你自己试着用不同的方法再解一道类似的题，看看能不能举一反三。”
  • 目的：鼓励学生去探索，培养真正的推理能力，而不是死记硬背。

比喻：这就像教孩子骑自行车。孩子摔倒了（全错），教练就扶着他走（SFT）；孩子骑稳了（有对的），教练就松手让他自己骑一会儿（RL），看看能不能骑得更远。DyME 就是那个反应极快、知道何时扶、何时松手的教练。

3. 额外大招：视觉监督（Visual Supervision）

除了动态切换，DyME 还有一个“独门秘籍”：视觉检查员和修正员。

• 问题：小型模型经常“幻觉”，比如看图时把"36"看成"63"，或者编造图里根本没有的东西。
• DyME 的做法：
  • 视觉检查员（Checker）：在学生解题时，拿着放大镜对照原图。如果学生说“图里有 5 个苹果”，但图里只有 3 个，检查员就会扣分。
  • 视觉修正员（Refiner）：如果学生做对了，教练会把学生的解题过程“精修”一下，把图里具体的数字、颜色、位置都加进去，变成更完美的“标准答案”，下次再教给学生。

比喻：这就像学生做题时，旁边有个拿着原图的助教。助教不仅看答案对不对，还盯着学生是不是真的看图了。如果学生瞎编，助教就纠正；如果学生做对了，助教就把他的思路整理得更清晰，变成新的教材。

4. 结果：小模型也能变“学霸”

实验证明，用 DyME 训练后：

• 小型模型（原本只有几亿参数，像小学生）在图表理解、几何题、医疗问答等任务上，成绩大幅提升。
• 它们不再只会“背答案”，而是真的学会了看图、提取数据、逻辑推理。
• 甚至，训练后的小模型表现能媲美那些巨大的、昂贵的模型（LVLMs，像大学生或研究生）。

总结

这篇论文的核心思想就是：不要指望小模型能像大模型一样“自学成才”或“死记硬背”。

我们需要一种灵活的教学法（DyME）：

1. 看情况教学：不会就教（记忆），会了就练（探索）。
2. 盯着图教学：时刻检查学生是不是真的在看图，防止瞎编。

通过这种方法，我们让那些便宜、小巧、适合在手机或边缘设备上运行的小型 AI 模型，也能拥有强大的“思考”能力，真正解决实际问题。

技术摘要

这是一篇发表于 ICLR 2026 的论文《EMPOWERING SMALL VLMS TO THINK WITH DYNAMIC MEMORIZATION AND EXPLORATION》（通过动态记忆与探索赋能小型视觉语言模型进行思考）的技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
现有的让视觉语言模型（VLMs）具备“思考”能力（即生成思维链 CoT）的训练范式，主要依赖于大规模 VLMs（LVLMs）。然而，小型 VLMs（SVLMs，通常参数量小于 1B）在资源受限的边缘设备部署中至关重要，但它们无法直接受益于现有的训练方法：

• 监督微调 (SFT) 的局限性： 现有的 CoT 数据通常冗长且包含大量与视觉无关的文本。SVLMs 容量有限，强行记忆这些长文本会导致其视觉 grounding 能力受损，产生“伪思考痕迹”（Pseudo thinking traces），即模型学会了格式但无法真正理解图像。
• 强化学习 (RLVR) 的局限性： 基于可验证奖励的强化学习（如 GRPO）鼓励模型探索。但 SVLMs 指令遵循能力较弱，难以生成符合严格格式的输出，导致奖励信号不稳定，引发优势崩溃 (Advantage Collapse)，即模型性能急剧下降。
• 现有混合方法的缺陷： 简单的两阶段训练（先 SFT 后 RL）或静态加权混合，依赖于人工设定的超参数。由于 SVLMs 容量极小，这种静态平衡的窗口极窄，极易失败。

目标： 开发一种新的训练范式，能够在不依赖强大基础模型的前提下，赋予 SVLMs 可靠的思考能力，平衡“记忆”与“探索”的矛盾。

2. 方法论 (Methodology)

论文提出了 DyME (Dynamic Memorize–Explore) 训练范式，其核心在于动态切换机制和视觉监督模块。

2.1 动态记忆 - 探索机制 (Dynamic Memorize–Explore)

DyME 在每一个优化步骤中，根据模型当前的生成表现，动态决定采用 SFT（记忆模式）还是 GRPO（探索模式）：

• 决策逻辑：
  • 探索模式 (GRPO)： 如果模型生成的回答中至少有一个通过了规则验证（即答案正确），则进入探索模式。利用组相对策略优化（GRPO）计算优势函数，鼓励模型在已知可行解的基础上进行多样化探索。
  • 记忆模式 (SFT)： 如果模型生成的所有回答都错误（或无法解析），则自动切换回 SFT 模式。此时使用标准交叉熵损失，强制模型向 Ground Truth（真值）学习，提供低方差、稳定的梯度信号，防止训练崩溃。
• 优势： 这种基于状态的动态切换（State-driven switching）无需人工设定超参数，能够自适应地维持 SVLMs 学习过程中的稳定性，避免优势崩溃和伪思考痕迹。

2.2 协同视觉监督机制 (Synergistic Visual Supervision)

为了进一步提升性能，DyME 引入了一个包含视觉检查器 (Visual Checker) 和 视觉精炼器 (Visual Refiner) 的闭环系统：

• 视觉事实提取 (Visual Facts, $I_c$)： 利用外部工具或大模型从图像中提取细粒度的视觉元素（对象、属性、状态）。
• 视觉检查器 (Checker)： 在 RL 阶段，评估模型生成的思维链是否包含正确的视觉事实，并据此给予额外的奖励（Thinking Reward），确保思考过程是“基于图像”的。
• 视觉精炼器 (Refiner)： 在 SFT 阶段，利用检查器筛选出的高质量探索轨迹，结合视觉事实 $I_c$，动态重构 Ground Truth 数据。这使得 SFT 的目标不再是原始的粗糙文本，而是经过增强、结构化的、包含丰富视觉信息的思维链。

3. 关键贡献 (Key Contributions)

1. 首个针对 SVLMs 的思考能力训练范式： 提出了 DyME，显著降低了对基础 VLM 初始容量的依赖，使小型模型也能具备可靠的推理能力。
2. 动态切换机制解决权衡难题： 通过动态在 SFT 和 RLVR 之间切换，有效解决了 SVLMs 面临的“伪思考”和“优势崩溃”问题，实现了图像 grounded 的思考。
3. 视觉监督增强： 设计了检查器 - 精炼器框架，将视觉事实注入到训练目标中，提升了模型在低质量数据上的鲁棒性。
4. 广泛的实证有效性： 在三个截然不同的领域（医疗 VQA、图表理解、几何解题）进行了验证，仅使用数千个训练样本，DyME 训练出的 SVLMs 性能即可媲美甚至超越部分大型 VLMs。

4. 实验结果 (Results)

• 性能提升：
  • 在 SmolVLM-500M 上，DyME 使其在 ChartQA 等任务上的平均性能从 49.9% 提升至 55.6% (+5.7%)。
  • 相比之下，传统的 SFT 将 SmolVLM 性能降至 44.1%，RLVR 降至 44.0%，两阶段训练降至 45.4%。
  • 在 LLaVA-OV-S 和 InternVL2-S 上也观察到了显著且一致的性能提升。
• 数据效率与成本：
  • DyME 仅需数千个样本即可达到显著效果。
  • Full DyME 使用开源模型（Qwen2.5-14B）生成的监督数据，其性能（67.5%）甚至能媲美使用昂贵 GPT-4o 数据训练的 Pure DyME（68.5%），证明了其摆脱对私有昂贵数据依赖的能力。
• 消融实验：
  • 移除“记忆模式”会导致性能灾难性下降（从 55.4% 降至 43.9%），证实了 SFT 在 SVLMs 训练中的必要性。
  • 移除“视觉监督”模块（检查器/精炼器）也会导致性能显著下降，证明了视觉 grounding 对 SVLMs 的重要性。
• 泛化性： 该方法不仅适用于视觉任务，在纯文本推理（GSM8K）上也验证了有效性，且能扩展到更强的基座模型。

5. 意义与影响 (Significance)

• 边缘计算与私有化部署： 为在资源受限设备（如手机、嵌入式设备）上部署具备高级推理能力的 AI 模型提供了切实可行的解决方案。
• 打破“大模型依赖”： 证明了小型模型通过巧妙的训练策略（动态平衡记忆与探索）可以弥补容量不足，不再盲目追求参数量的堆砌。
• 训练范式创新： 提出的动态切换机制为未来处理小模型训练中的不稳定性问题提供了新的思路，特别是针对 SFT 与 RL 难以兼顾的痛点。
• 实用价值： 在医疗诊断、图表分析等对准确性和可解释性要求极高的专业领域，DyME 使得小型专用模型成为大型通用模型的有力替代者。

总结： 这篇论文通过 DyME 范式，成功解决了小型视觉语言模型难以进行有效推理的难题，通过动态平衡“记忆”与“探索”，并辅以视觉监督，实现了在低资源、小参数模型上的高性能推理，具有重要的学术价值和实际应用前景。