💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1 是一个强化学习框架，它通过应用过程级监督来鼓励在复杂的推理轨迹中持续使用视觉证据，从而缓解多模态大语言模型中的长上下文视觉遗忘问题。

原作者： Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人通过观察一张复杂的图片来破解谜题。你对机器人说：“看着这张图，告诉我发生了什么。”起初，机器人像是一个高度戒备的侦探，专注地盯着照片中的每一个细节。但随着机器人开始说话，开始写下它那冗长的、循序渐进的思考过程时，奇怪的事情发生了。随着它说话的时间越长，它似乎就越彻底地忘记了那张图片。它开始依赖于自己之前的言语，根据故事通常会如何发展来猜测图片中“可能”有什么，而不是基于图片中“实际”存在的内容。对于新一代的“多模态大语言模型”（MLLMs）——即能够看图并阅读的 AI 系统——来说，这是一个问题：它们在处理复杂推理方面变得越来越强，但它们也有一个缺陷：当它们的“思维链”变得越来越长时，它们会遭受“视觉遗忘”之苦。它们会偏离视觉证据，导致即便图片中包含真相，它们也会给出错误的答案。科学家们对此非常关注，因为如果这些 AI 模型无法在思考过程中“紧盯目标”，它们就无法胜任诸如解决带有图表的数学题或理解医学扫描图等严肃任务。

于是，Remember-R1 登场了，这是一种聪明的全新训练方法，旨在让机器人的眼睛无论故事变得多么长，都能始终紧盯着图片。把 AI 的推理过程想象成一次漫长的公路旅行。在过去，研究人员试图通过不断停车向司机重新展示地图（重新引入图像）来解决遗忘问题，但这既缓慢又笨拙。还有人尝试让司机列出一份他们“认为”自己看到了什么的清单，稍后再进行核对，但这就像是在检查一份代笔笔记，而不是在检查真实的道路。Remember-R1 采取了不同的方法。它不是改变行程或增加停靠点，而是扮演一个坐在后座的严厉而又乐于助人的教练，在司机驾驶的过程中不断通过“奖励”进行耳语。

该论文提出了一种名为 Remember-R1 的系统，它使用一种称为强化学习的技术来训练这些模型。其核心思想是直接监督模型的“思维过程”，而不仅仅是评判最终答案。研究人员设计了三种特定的“奖励”来鼓励模型保持对图像的关注：

“关键词猎手”奖励（The "Keyword Hunter" Reward）： 如果模型在推理过程中明确提到了它在图像中发现的具体标注细节（例如“蓝色球体”或“微型立方体”），它就会获得积分。这就像一场游戏，司机每经过一个特定的地标并准确命名，就能获得奖金，从而确保他们不是在凭空捏造。
“记忆守护者”奖励（The "Memory Keeper" Reward）： 如果模型在对话变长时开始减少对图像的注意力，该奖励会对模型进行惩罚。目标是保持“视觉注意力”从第一步到最后一步的稳定，防止模型陷入一种仅依赖自身文本的白日梦中。
“聚光灯”奖励（The "Spotlight" Reward）： 这确保了模型不仅仅是在随机地看图；它必须将注意力集中在真正回答问题的图片部分。如果问题是关于一辆红色的车，那么模型会将“聚光灯”对准红车而非背景中的树木，并因此获得奖励。

作者在两种不同规模的 AI 模型（30 亿和 70 亿参数）上测试了 Remember-R1，涵盖了包括数学、逻辑和通用视觉理解在内的七个基准测试。结果表明，这种方法是有效的。使用 Remember-R1 训练的模型表现始终优于未经训练的模型和其他现有方法。例如，在 MathVista 基准测试中，3B 模型的分数从 51.90 提升到了 65.50，7B 模型则从 62.30 跳升至 69.80。

至关重要的是，论文表明这种进步不仅仅在于最后得到正确答案，更在于模型“如何”得到答案。通过分析模型的“注意力”，研究人员发现 Remember-R1 减缓了模型遗忘图像的速度。标准模型往往在推理过程过半时就会对图片失去兴趣，而 Remember-R1 模型能让目光更久地固定在视觉证据上。论文明确排除了在推理过程中向模型“重示图像”是最佳解决方案的观点，指出这种做法成本太高且会破坏推理的连贯性。相反，他们认为，通过这些特定的奖励来训练模型维持自身的视觉焦点，才是更有效的路径。

简而言之，Remember-R1 表明，通过奖励 AI 模型在整个思维过程中成为优秀的“视觉侦探”——即通过识别关键词、保持记忆新鲜度和聚焦正确位置——我们可以阻止它们忘记正在观察的对象。这不仅让它们在数学或逻辑方面变得更聪明，更让它们成为了更可靠的观察者，确保它们漫长而复杂的叙述始终植根于所见图片的真相之中。

技术摘要：Remember-R1

问题陈述

多模态大语言模型（MLLMs）正越来越多地在复杂任务中利用长链式思考（CoT）进行推理。然而，当前模型中存在一个关键弱点，即长上下文视觉遗忘（long-context visual forgetting）。随着推理序列的增长，模型往往会减少对视觉证据的依赖，转而更多地依赖于前序步骤中累积的文本上下文。这导致了一种漂移现象，即推理链偏离了视觉事实，尤其是在多步数学、逻辑和空间推理任务中。

现有的缓解策略分为两类，但均存在局限性：

视觉重引入（Visual Re-introduction）： 在推理过程中将图像或区域重新插入上下文。虽然有效，但这增加了推理成本（计算和内存），并可能导致推理过程碎片化。
视觉声明代理（Visual Claim Proxies）： 在训练期间插入中间视觉声明。这引入了“代理任务差距（proxy-task gap）”，因为监督是应用于辅助交互，而非发生遗忘的原始推理轨迹本身。

目前缺乏能够对原始推理轨迹进行直接监督的方法，以约束视觉证据的使用和维持，且不改变推理过程。

方法论：Remember-R1

作者提出了 Remember-R1，这是一个强化学习（RL）框架，旨在通过对目标推理展开过程（rollout）应用过程级监督来缓解视觉遗忘。该框架在运行过程中无需修改推理程序。

1. 数据标注

为了实现过程级监督，作者使用结构化视觉证据标注增强了 ViRL39K 数据集：

视觉关键词提取： 使用 Qwen-VL-Max 从图像中提取一组简短且具有落地性的词汇单元（物体、属性、数量、空间短语）。
关键区域框标注： 识别与回答问题相关的特定图像区域（边界框）。
验证： 通过人工验证确保关键词和边界框的质量。最终数据集包含 38,657 个标注样本。

2. 奖励设计

Remember-R1 将“对视觉证据的持续依赖”分解为三个互补的方面，每个方面对应一个特定的过程级奖励：

视觉词汇奖励 ( $r_{voc}$ )： 鼓励在整个推理轨迹中明确提及标注的视觉关键词。
- 机制： 计算位置加权匹配关键词的剪切平均值。它不仅奖励关键词的存在，还奖励它们在生成过程中后期阶段的出现，防止模型仅在开始阶段提到视觉事实。
视觉记忆奖励 ( $r_{mem}$ )： 鼓励视觉注意力在后续推理步骤中保持持久。
- 机制： 测量生成步骤 $t$ 时分配给视觉 Token 的聚合注意力质量 ( $\Omega(t)$ )。奖励基于生成窗口末期与初始窗口的平均注意力差异。它惩罚随着响应变长而出现的显著视觉注意力衰减。
视觉关键区域奖励 ( $r_{region}$ )： 鼓励持续关注与问题相关的图像区域。
- 机制： 计算分配给标注的关键区域框相对于总视觉注意力的比例。它使用时间加权平均，为后续步骤分配更高权重，以确保模型在整个推理过程中始终专注于相关区域。

3. 强化学习优化

总奖励结合了标准的答案正确性奖励 ( $r_{acc}$ ) 与上述三个视觉过程奖励：
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
策略使用**群体相对策略优化（GRPO）**进行优化，通过采样响应组来计算归一化优势。

核心贡献

过程级监督框架： 本文提出了一种研究视觉遗忘的新方法，通过直接监督原始推理展开过程，避免了重引入带来的推理成本以及基于声明方法的代理差距。
三维度奖励设计： 作者设计了三个特定的奖励，分别针对视觉关键词的覆盖度、视觉注意力的随时间持续性以及注意力向问题相关区域的定位能力。
实证验证： 该方法在两种模型规模（3B 和 7B）及七个多样化基准测试上进行了验证，展示了在推理能力、通用多模态能力和视觉感知方面的持续提升。

实验结果

作者在 Qwen2.5-VL-3B 和 Qwen2.5-VL-7B 基座模型上，针对七个基准测试进行了评估：

数学与逻辑推理： MathVision, MathVista, LogicVista。
通用多模态能力： MMVet, MMMB, MMStar。
视觉感知： RealWorldQA。

主要发现：

性能增益： Remember-R1 一致地优于基座模型以及近期的面向推理的模型（如 Ocean-R1, VLAA-Thinking）和先前的视觉遗忘缓解方法（如 DeepSketcher, TVC）。在 MathVista（3B 提升 +13.60，7B 提升 +7.50）和 MMVet 上观察到了显著改进。
视觉接地分析： 注意力比例分析显示，虽然所有模型都表现出视觉注意力随时间下降的趋势，但 Remember-R1 展示了显著更慢的下降速度，特别是在生成的中间和后期阶段。
消融实验： 移除任何一个过程级奖励都会导致各基准测试性能下降。
- 移除 $r_{voc}$ 会导致视觉关键词提及减少且推理能力减弱。
- 移除 $r_{mem}$ 会导致注意力衰减加快。
- 移除 $r_{region}$ 会降低对相关区域的关注，导致所有任务类型的准确率下降。
与仅准确率 RL 的对比： 仅使用答案正确性 ( $r_{acc}$ ) 进行训练的变体虽有提升，但逊于完整的 Remember-R1，这表明仅靠最终答案监督不足以在长上下文中维持视觉接地。

意义与主张

本文声称 Remember-R1 通过直接监督遗忘发生的轨迹上视觉证据的使用，有效地缓解了长上下文视觉遗忘。其意义在于证明了：

过程级强化学习可以在不改变推理程序或增加推理成本的情况下提高推理性能。
维持对视觉证据的依赖不仅是关于提及关键词，更是关于在整个生成过程中保持注意力的持久性和对相关区域的聚焦。
这些改进在不同模型规模和任务类型上具有泛化性，表明直接监督推理轨迹是实现长程多模态推理的一个极具前景的方向。

作者总结道，他们的方法有助于模型在生成展开的过程中更好地维持对视觉证据的依赖，在不增加计算开销的前提下，解决了当前 MLLM 的一个根本性局限。