💻 computer science

EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

本文提出了名为 EvoLMM 的自进化框架，通过从单一基座模型实例化生成器与求解器两个协作智能体，利用内部一致性进行连续自奖励学习，从而在无需任何标注数据或外部奖励模型的情况下，显著提升了大型多模态模型在数学推理任务上的表现。

原作者： Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

发布于 2026-03-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Omkar Thawakar, Shravan Venkatraman, Ritesh Thawkar, Abdelrahman Shaker, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EvoLMM 的新方法，它的核心目标是让大型多模态模型（既能看图又能读文的 AI）在没有人类老师、没有标准答案、也没有外部打分系统的情况下，自己教自己变强。

为了让你更容易理解，我们可以把整个过程想象成**“一个 AI 同时扮演两个角色：出题老师和解题学生”，并且它们是在一个没有标准答案的迷宫**里进行自我进化。

1. 以前的困境：依赖“老师”和“参考答案”

以前的 AI 训练就像学生备考：

需要题库：人类老师必须准备好成千上万张图，并配上完美的题目和答案（比如“这张图里有 3 个苹果”）。
需要红笔批改：每次做题后，需要人类或另一个专门的系统来打分，告诉 AI“做对了”还是“做错了”。
缺点：这非常耗时、昂贵，而且一旦遇到没有标准答案的新领域（比如复杂的数学推理），AI 就学不动了。

2. EvoLMM 的创意：AI 的“自我博弈”

EvoLMM 抛弃了人类老师，它让同一个 AI 模型分裂成两个“人格”（虽然底层代码是一样的，但在训练时扮演不同角色）：

角色 A：出题人 (Proposer)
- 任务：看着一张随机图片（比如一张复杂的图表或几何图），自己编一个数学或逻辑问题。
- 挑战：它不能编太简单的（比如“图里有几个圆？”），也不能编太难的（比如“请证明这个定理”），否则“学生”就学不到东西。它需要找到**“有点挑战但能解决”**的甜蜜点。
角色 B：解题人 (Solver)
- 任务：根据出题人编的问题，尝试给出答案。
- 关键技巧：它不只答一次，而是连续答 5 次。
- 自我打分：如果这 5 次答案里，有 4 次都说了“答案是 42"，只有 1 次说“答案是 100"，那么 AI 就会认为“答案 42"大概率是对的。这种**“大家意见一致”的程度，就是它的“自我奖励”**。

3. 核心魔法：连续奖励 (Continuous Rewards)

这是这篇论文最厉害的地方。

以前的做法（离散奖励）：就像考试只有“及格”和“不及格”。如果 5 次答案里有 3 次对、2 次错，以前的系统可能会直接判“不及格”，给 0 分。这会让 AI 很沮丧，不知道该怎么改进。
EvoLMM 的做法（连续奖励）：就像**“评分制”**。
- 如果 5 次答案有 5 次一致，给 100 分。
- 如果有 3 次一致，给 60 分。
- 即使只有 2 次一致，也给 30 分。
- 比喻：这就像学骑自行车。以前如果摔倒了就完全没奖励；现在只要你能多保持平衡一秒，系统就给你一点“鼓励分”。这种平滑的反馈让 AI 能一步步微调，而不是在“全对”和“全错”之间跳来跳去。

4. 进化过程：从“乱猜”到“专家”

整个训练过程就像是一个自动生成的课程表：

初期（乱猜阶段）：
- 出题人随便编题，解题人答得乱七八糟，大家意见很不统一。
- 但因为有了“连续奖励”，即使只有一点点共识，AI 也能收到微弱的信号，开始慢慢调整。
中期（磨合阶段）：
- 出题人发现编太简单的题，解题人答得太快且一致，奖励反而不高（因为太简单没学到东西）。
- 出题人开始尝试编稍微难一点的题，逼迫解题人深入思考。
- 解题人为了拿高分，开始整理思路，答案变得越来越一致。
后期（专家阶段）：
- 出题人专门挑那些**“需要多步推理”**的难题（比如看图里的趋势变化，再结合几何知识）。
- 解题人已经学会了严密的逻辑链条，能稳定地给出正确答案。
- 结果：模型在没有人类干预的情况下，自己学会了如何看图、如何推理，甚至在数学图表理解上超过了原本的基础模型。

5. 为什么这很重要？

无限扩展：以前学东西需要人类准备数据，现在只要有图片（哪怕是互联网上随便抓的图），AI 就能自己生成题目、自己练习、自己变强。
更聪明：实验证明，用这种方法训练的 AI，在数学图表、科学推理等需要逻辑的任务上，准确率提升了 2%~3%。在 AI 领域，这已经是巨大的进步。
未来潜力：这标志着 AI 开始走向**“自主进化”**。就像人类通过不断试错和反思来学习一样，AI 不再只是被动地接受人类灌输的知识，而是开始主动探索未知。

总结一句话：
EvoLMM 就像给 AI 安排了一场**“没有裁判的辩论赛”**，让它在不断的自我提问、自我回答、自我反思中，通过“大家意见越一致，分数越高”的机制，自己把自己训练成了逻辑推理大师。

这是一份关于论文 《EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards》 的详细技术总结。

1. 研究背景与问题 (Problem)

近年来，大型多模态模型（LMMs）在视觉感知和推理任务上取得了显著进展，但现有的训练流程存在两个主要瓶颈，限制了其自主性和可扩展性：

对人工标注数据的依赖：大多数方法需要大量人工 curated 的问答对（QA pairs）或元数据。
对外部奖励模型的依赖：现有的自我改进（Self-improvement）方法通常依赖外部定义的奖励模型（如人类标注的正确性、知识蒸馏的奖励网络）或启发式评估器。

核心问题：能否在完全无监督（无任何标注数据、无外部奖励模型、无元数据）的情况下，仅利用原始图像，让大型多模态模型自主提升其推理能力？现有的自进化方法（如基于离散多数投票的奖励）在多模态场景下往往因为早期训练阶段答案的高度多样性而导致奖励信号稀疏、训练不稳定，甚至导致模型崩溃。

2. 方法论 (Methodology)

作者提出了 EvoLMM，一个完全无监督的自进化框架。该框架从单个基础模型实例化出两个协同角色：提议者 (Proposer) 和 求解者 (Solver)，通过连续自我奖励机制 (Continuous Self-Rewarding) 进行闭环训练。

核心组件与流程：

角色分解：
- Proposer (提议者)：从无标签的原始图像中生成多样化的、基于视觉的数学问题。
- Solver (求解者)：尝试回答 Proposer 生成的问题。
连续自我一致性奖励 (Continuous Self-Consistency Reward)：
- 这是本文的核心创新。不同于传统的离散“多数投票”（只有完全一致才给奖励），EvoLMM 使用连续奖励信号。
- Solver 奖励 ( $r_{sol}$ )：基于模型自身生成的 $N$ $N$ 个答案样本的一致性程度。
  - 计算公式结合了答案的似然度 $p(y_i|x, q)$ 和长度惩罚。
  - 即使没有完全一致的答案，只要存在部分共识（Partial Consensus），也能获得有意义的梯度信号，避免了早期训练中的奖励稀疏问题。
- Proposer 奖励 ( $r_{prop}$ )：基于 Solver 回答的熵 (Entropy)。
  - 使用高斯带通奖励函数，奖励那些让 Solver 处于“中等不确定性”（即问题既非太简单也非不可解）的问题。
  - 这促使 Proposer 自动调整问题难度，形成一个隐式的课程学习（Curriculum Learning），随着 Solver 能力的提升，问题难度逐渐增加。
训练优化：
- 采用 REINFORCE 策略梯度算法进行联合优化。
- 引入 KL 散度正则化，防止模型在自我进化过程中偏离预训练的基础能力（避免灾难性遗忘或模式崩溃）。
- 使用移动平均基线（Moving-average baselines）来减少方差。

3. 关键贡献 (Key Contributions)

首个完全无监督的多模态自进化框架：
- EvoLMM 能够在没有任何人类标注、元数据或外部奖励模型的情况下，仅利用原始图像提升 LMM 的推理能力。
- 通过 Proposer-Solver 的闭环设计，实现了从“生成问题”到“解决问题”再到“自我评估”的完整自进化循环。
连续自我奖励机制：
- 提出了一种基于多采样答案一致性的连续奖励信号，取代了以往基于离散多数投票或语义相似度评分的方法。
- 该机制提供了平滑的梯度，即使在模型存在视觉不确定性时也能提供稳定的优化信号，有效缓解了多模态推理中的训练不稳定性。
隐式课程学习 (Implicit Curriculum)：
- 通过熵引导的 Proposer 奖励，模型自动学习生成难度适中（中等熵值）的问题，避免了生成过于简单或无解的问题，从而引导 Solver 进行结构化推理的逐步进化。

4. 实验结果 (Results)

作者在多个数学视觉推理基准上进行了广泛评估，基线模型为 Qwen2.5-VL-7B。

性能提升：
- 在 ChartQA 上，准确率从 84.00% 提升至 86.70% (+2.7%)。
- 在 MathVista 上，从 68.46% 提升至 70.52% (+2.06%)。
- 在 ScienceQA 上，从 88.30% 提升至 89.50% (+1.2%)。
- 在 MathVision, MathVerse, AI2D 等多个基准上均取得了 1% - 3% 的显著提升。
对比实验：
- 离散奖励 vs. 连续奖励：使用离散多数投票奖励的变体几乎无法带来提升，甚至导致性能下降，证明了连续奖励在多模态场景下的必要性。
- 微调策略：LoRA 微调策略表现最佳，全参数微调（Full Fine-tuning）在无监督设置下容易导致过拟合和性能回退。
泛化性与扩展性：
- 模型无关性：在 InternVL3-8B, Gemma3-12B, Llama-3.2-11B 等不同架构的模型上均取得了类似的性能提升。
- 规模扩展：在 Qwen2.5-VL-72B 上，绝对增益更大（ChartQA 从 88.20% 提升至 91.04%），表明该方法能充分利用大模型的推理潜力。
- 零样本泛化：在 RefCOCOg, DocVQA 等未参与训练的开放领域任务上，自进化模型也表现出一致的提升。

5. 意义与影响 (Significance)

迈向自主智能：EvoLMM 展示了 LMM 可以在没有人类干预的情况下，通过内部一致性信号自我完善，为构建完全自主的多模态智能体提供了新的范式。
解决数据瓶颈：该方法摆脱了对昂贵且难以获取的标注数据的依赖，使得在缺乏标注数据的领域（如特定科学图表、罕见视觉场景）训练高性能模型成为可能。
训练稳定性：提出的连续奖励机制解决了多模态自我进化中常见的训练不稳定和奖励稀疏问题，为未来的自监督多模态学习提供了坚实的基线。
课程学习涌现：证明了无需人工设计课程，模型可以通过内部反馈机制自发地形成从易到难的学习路径。

总结：EvoLMM 通过创新的连续自我奖励机制和双角色协同架构，成功实现了大型多模态模型在完全无监督条件下的自我进化，显著提升了视觉数学推理能力，为未来开发更自主、可扩展的 AI 系统开辟了新路径。代码和模型已开源。