💻 computer science

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

LaViDa-R1 是一种统一的多模态扩散语言模型，通过在其创新的后训练框架内整合监督微调和多任务强化学习，提升了推理能力，并在多种视觉理解与生成任务中展现出强大的性能。

原作者： Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Shufan Li, Yuchen Zhu, Jiuxiang Gu, Kangning Liu, Zhe Lin, Yongxin Chen, Molei Tao, Aditya Grover, Jason Kuen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常有才华的艺术家，他既能画画，也能写故事。这位艺术家名叫 LaViDa-O，他很擅长听从指令，但当被要求解决棘手的谜题或解释为什么做出某种选择时，他有时只是在瞎猜或者匆忙给出答案。

这篇论文介绍了一种新的训练方法，叫做 LaViDa-R1。请不要把它仅仅看作是在教这位艺术家新的知识，而是在教他如何思考。这就像是给艺术家戴上了一顶“思考帽”，强迫他停下来、勾勒出推理过程、检查自己的工作，然后才展示出最终的杰作。

以下是他们是如何实现的，使用了几个简单的类比：

1. “统一健身房”（统一后训练）

通常情况下，如果你想训练一个 AI 擅长数学，你只会给它展示数学题。如果你想让它擅长编辑照片，你会只给它展示照片编辑任务。这就像是让一名学生在早上上数学课，下午上摄影课，但从未让他们将这两种技能结合起来。

LaViDa-R1 把所有内容都放在了一个巨大的“健身房”里。它同时在数学、照片编辑、图像物体识别和回答问题等多种任务上训练模型。论文声称，这种“统一”的方法让模型在各个领域都变得更聪明，而不仅仅是一个单一领域的专家。

2. “强制答案”技巧（当学生卡壳时）

想象一下艺术家正在尝试解决一道数学题。他尝试了三次，但三次答案都是错的。在普通的训练环节中，老师只会说“再试一次”，艺术家可能会感到沮丧或学不到任何东西，因为他不知道自己到底哪里错了。

LaViDa-R1 使用了一种叫做**强制答案（Answer-Forcing）**的技巧。

场景： 模型未能解决问题。
技巧： 老师在纸张的最末端秘密地写下了正确答案。
魔力： 因为这个模型是基于“扩散（diffusion）”模型构建的（其原理是通过填充空白来工作），所以它可以通过查看末尾的正确答案，反向推导出中间缺失的推理步骤。
结果： 模型学会了：“哦，如果我想得到这个答案，我需要这样去思考。”它凭空创造出了一个完美的“思维过程”来教导自己。

3. “树搜索”（探索森林）

有时候，并没有一个可以用来核对的单一“正确答案”（比如当你编辑一张照片使其看起来“更有热带风情”时）。模型只能猜测什么看起来更好。

如果模型尝试了 10 次，而这 10 次效果都不好，它就无法获得有用的反馈。
LaViDa-R1 使用了树搜索（Tree Search）。

想象模型开始了一段旅程，并走了 10 条不同的路径。
它会检查哪条路径看起来最好。
它不会从头开始，而是选择那条最好的路径，往回退一点，然后从那个特定的点再次分支，尝试 10 个新的变体。
这就像一个徒步旅行者意识到：“我走的这条路很棒，”于是他回到那个点，然后从那里尝试 10 个新的方向，而不是重新从山脚开始。这有助于他更快地找到最佳解决方案。

4. “平衡计分卡”（更好的评分）

在训练这些模型时，计算机必须计算一个猜测到底有多“好”。通常，这种计算是混乱且不均衡的——就像一位老师在批改试卷时，有些题目由于意外被计为 10 分，而另一些却只计为 1 分。

论文引入了一个互补似然估计器（Complementary Likelihood Estimator）。

可以将其看作一种确保模型回答中的每一个词都能得到公平评分的系统。
它使用答案的两种不同“视角”来确保推理过程中的任何部分都不会被忽略。这防止了模型因反馈不均衡而产生困惑。

结果：他们取得了什么成就？

论文声称，通过使用这些技巧，LaViDa-R1 在以下方面有了显著提升：

视觉数学： 解决涉及图片和图表的数学问题。
物体定位（Object Grounding）： 根据复杂的描述在图片中找到特定物体（例如：“找到那个不太可能是球员的人”）。
图像编辑： 根据指令改变照片（例如：“将这座森林小屋变成海滨别墅”），通过首先对需要改变的内容进行推理来实现。

简而言之： 论文提出了一种新的训练多模态 AI（既能看又能读）的方法，让它在“开口说话前先思考”。通过混合不同类型的任务、利用正确答案作为引导来强制模型从错误中学习，并使用智能搜索策略，他们创造出了一个比以往版本更擅长推理的模型。

技术摘要：LaViDa-R1

问题陈述

扩散语言模型（dLLMs）已成为自回归（AR）模型的有力替代方案，具有双向上下文、并行解码以及文本与图像统一生成范式等优势。然而，将 dLLM 的推理能力扩展到通用多模态场景面临着几个关键挑战，现有方法尚未完全解决这些问题：

任务特异性： 当前的推理型 dLLM 通常专注于狭窄领域（如数学推理），并且需要特定任务的微调，缺乏一个用于多样化多模态任务（如图像编辑和目标检测/定位）的统一框架。
训练不稳定： 将强化学习（RL）应用于 dLLM 容易导致模型崩溃。此外，引入 KL 散度正则项虽然旨在防止崩溃，但往往会阻碍探索并降低任务性能。
训练信号消失： 对于复杂任务，模型在训练期间可能无法生成高质量样本，导致奖励信号极低或为零。这在在线策略（on-policy）RL 设置中尤其成问题，因为如果一组样本中的所有样本都获得低奖励，基于组的优势计算（advantage computation）将产生零优势。
难以处理的似然估计： 与 AR 模型不同，dLLM 无法精确计算序列似然。现有的估计方法（例如蒙特卡洛采样）经常面临未掩码（unmasked）标记丢失信号或标记梯度不平衡的问题，从而导致训练不稳定。

方法论

本文提出了 LaViDa-R1，这是一个基于新型统一后训练框架构建的多模态、通用型推理 dLLM。该方法集成了三个核心组件：

1. 统一后训练目标

LaViDa-R1 引入了一个统一的策略梯度目标，无缝结合了监督微调（SFT）、在线强化学习（RL）和自我蒸馏（Self-Distillation）。

公式化： 作者观察到，诸如在线 GRPO、SFT 和 Best-of-N 蒸馏等目标都可以用统一的形式表示： $J_{Unified}(\theta) = \frac{1}{N} \sum A_i \log \pi_\theta(y_i|x_i)$ 。
SFT 作为正则化： 该框架使用 SFT 正则化项取代了 KL 散度项（后者需要参考模型且会阻碍探索），从而实现了在不使用参考模型的情况下，在预训练分布之外进行动作空间探索，同时防止崩溃，显著降低了计算成本。
加权聚合： 框架使用加权平均法聚合来自不同目标（例如 GRPO 和自我蒸馏）的优势，从而实现同步优化而无需重新采样。

2. 引导式展开生成（Guided Rollout Generation）

为了解决当模型无法生成高质量输出时出现的训练信号消失问题，LaViDa-R1 采用了两种引导生成机制：

答案强制（Answer Forcing）： 对于具有可验证标准答案的任务（如数学推理、目标定位），如果模型在一组样本中未能生成正确答案，系统会将标准答案标记注入到一个全掩码序列中。然后，它利用 dLLM 的双向修复（inpainting）能力，在以正确答案为条件的条件下生成合成的推理轨迹。这确保了即使在初始生成较差的情况下也能获得高质量的训练信号。
树搜索（Tree Search）： 对于没有标准答案的任务（如图像编辑），该框架利用树搜索算法。它生成初始样本组，选择奖励最高的轨迹，并从该最佳样本的中间扩散状态开始分支，以生成新的样本。这种迭代扩展增加了有效组的大小，并提高了找到高奖励轨迹的概率。

3. 互补掩码似然估计器

为了解决 dLLM 中序列似然估计的挑战，作者提出了一种新型估计器：

机制： 该方法不使用标准的蒙特卡洛采样，而是使用两个具有**互补掩码（complementary masking）**的样本。如果一个样本掩盖了一组标记，第二个样本则掩盖其互补集合（即解开第一个样本所掩盖的部分，反之亦然）。
权重分配： 不同于以往使用权重函数 $w(t) = 1/t$ 的工作，LaViDa-R1 使用统一权重 $w(t) = 1$ 。
优势： 这种方法确保了序列中的每个标记在两个样本中都被精确统计一次，防止了重要标记被忽略。它还避免了由 $1/t$ 权重引起的标记梯度不平衡问题，该权重会不成比例地偏向在早期扩散步骤中被掩盖的标记。

核心贡献

统一的多模态推理框架： LaViDa-R1 是首个通过 RL 将推理能力扩展到广泛多模态任务（包括视觉数学推理、视觉问答、重推理需求的目标定位和图像编辑）的统一模型。
稳定的统一后训练： 本文引入了一种实用的后训练范式，通过使用 SFT 取代 KL 正则化，实现了稳定的探索并防止了模型崩溃，且无需参考模型的计算开销。
引导生成算法： 开发了“答案强制”和“树搜索”机制，有效缓解了复杂任务中在线 RL 固有的训练信号消失问题。
改进的似然估计： 提出的带有统一权重的互补掩码估计器，与现有的基于 MC 的方法相比，为 dLLM 训练提供了更稳定、更准确的梯度信号。

实验结果

广泛的实验表明，LaViDa-R1 在多种基准测试中表现强劲，优于基础模型（LaViDa-O）和 SFT 基线：

视觉数学推理： 在 MathVista (+3.10) 和 MathVerse 上有显著提升。
视觉问答： 在 ChartQA (+1.70) 和 MMMU-Pro 上取得进展。
重推理需求的目标定位： 在 Lisa-Grounding 数据集上大幅提升，与基础模型相比，P@0.5 增加了 37.50 点。
图像编辑： 在 ImgEdit 基准测试上表现提升（总分 +0.10），展示了超越监督模式进行探索的能力。
纯语言任务： 在 GSM8K 和 Math500 上有显著收益，表明统一的推理训练也有助于纯语言能力。

重要性与主张

本文声称，LaViDa-R1 代表了统一多模态理解、生成与推理的重要一步。通过成功地将多样化任务整合到单个具备推理能力的 dLLM 中，该工作解决了当前多模态模型的碎片化问题。作者强调，其统一的后训练策略（结合了 SFT 和 RL 且不含 KL 散度）为增强扩散模型的推理能力提供了一条更稳定、更高效的路径。

这项工作强调，推理型 dLLM 可以利用全局可见性来共同建模推理轨迹和最终输出，从而实现自回归模型难以实现的整体细化。尽管论文承认了一些局限性——例如目前 dLLM 在推理性能上与最先进的 AR MLLM 之间仍存在差距，以及缺乏高效的 dLLM 推理框架——但作者认为，所提出的方案为未来的规模化扩展和探索更复杂的多模态推理任务奠定了坚实的基础。