💻 computer science

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV 是一个统一的大型多模态模型，它通过由时间相似性路由器引导的紧凑视觉更新范式来取代全图像生成，从而提升推理效率和性能，并由名为 StructCoT 的新型大规模交错推理数据集提供支持。

原作者： Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一位机器人朋友玩一场复杂的“西蒙说”（Simon Says）游戏，但你不只是在听，你还得在白板上画出游戏的每一个步骤，向你的朋友展示发生了什么。

旧的方法：过度绘画的艺术家
目前，大多数试图解决图像问题（比如破解迷宫或数学谜题）的高级 AI 模型，其工作方式就像一个非常细致但效率略低的艺术家。假设游戏开始时，画面是一个桌子上放着一个杯子。

第 1 步： AI 画出了整个桌子和杯子。
第 2 步： 游戏规则说：“把杯子向左移动。”然而，AI 会擦掉整个白板，然后重新画出整个桌子，包括杯子、桌腿、背景和阴影，仅仅是为了展示杯子移动了一英寸。
第 3 步： “旋转杯子。”AI 擦掉一切，再次重新画出整个桌子。

这种做法被称为“全图生成”（full-image generation）。作者认为这是一种巨大的能量和空间浪费。这就像每当你想要修改句子中的一个词时，都要重写整本字典一样。AI 花费了大量时间在重新绘制那些根本没有改变的东西上，这使得它速度变慢，有时还会导致细节出错（比如因为它忘了杯子之前的样子，而不小心改变了杯子的颜色）。

新的方法：DeltaV，“贴纸”艺术家
论文介绍了一种名为 DeltaV 的新模型。DeltaV 不会重新绘制整个场景，它更像是一个聪明的贴纸艺术家。

第 1 步： 它画出桌子和杯子（即“基础状态”）。
第 2 步： 当杯子需要移动时，DeltaV 不会重画桌子。它只是画出一个显示杯子向左移动的小“贴纸”，并把它贴在原来的位置上。它忽略了桌腿和背景，因为这些部分并没有改变。
第 3 步： 当杯子旋转时，它只需添加一个微小的“旋转贴纸”。

这种方法被称为视觉更新（visual updates）。论文指出，通过只绘制变化的部分（即“增量”，Delta），AI 节省了大量的劳动。在测试中，这种方法在不降低图像质量的前提下，将“绘图标记”（用于创建图像的数字墨水）的数量平均减少了 55.6%。

智能“停止”按钮：TSIM 路由
你可能会问：“如果变化很大怎么办？如果整个场景都爆炸了怎么办？”
DeltaV 有一个内置的智能管理者，叫做 TSIM 路由（TSIM Router）。你可以把它想象成一个监督员，负责观察新场景与旧场景之间的差异有多大。

如果变化很小（比如移动一个杯子），监督员会说：“只用几个贴纸就行。”
如果变化巨大（比如整个房间都变了），监督员会说：“好吧，多用一些贴纸以确保准确。”

研究人员通过检查 AI 重建图像的能力来衡量这一点。他们发现，如果他们在某个点之后继续增加标记，图像并不会变得更好。因此，TSIM 路由会在“额外投入”不再产生回报时停止添加标记。这确保了 AI 在处理简单步骤时不会浪费时间，而在处理复杂步骤时也不会偷工减料。

训练场：StructCoT
为了教会 DeltaV 如何这样做，研究人员不能只使用旧的益智书。他们构建了一个庞大的新训练集，名为 StructCo-T。

它包含 105 万个样本。
它涵盖了 44 种不同类型的任务，从逻辑谜题、数学问题到机器人规划和科学问题。
论文认为，以往的数据集规模太小，或者只专注于迷宫等特定领域，而 StructCoT 为 AI 提供了更广泛的关于视觉状态如何随时间变化的教育。

结果：奏效了吗？
论文报告称，当测试 DeltaV 时：

它在多模态推理问题上的表现比旧的“重画一切”方法高出 3.3%。
尽管 DeltaV 是一个较小的模型（20 亿参数），但它在这些推理任务上平均击败了规模大得多的开源模型，领先幅度达 8.4%。
它在外部基准测试中也比同类模型 Qwen3-VL-2B 高出了 5.9%。

论文排除的可能性
作者非常明确地指出哪些做法是行不通的。他们明确反对“在每一步推理中都需要生成一张完整的、高分辨率图像”的观点。他们认为，尝试这样做会产生“视觉标记冗余”（浪费数字墨水），并且实际上会干扰 AI 的推理能力，因为它会被重新绘制无关紧要的事物所分心。他们还指出，虽然这种方法对于推理非常出色，但对于需要极细微特征的任务（比如发现一颗微小的尘埃），全图生成可能仍然是必要的。

底线
论文表明，AI 推理的未来不在于一遍又一遍地绘制整个世界。相反，它在于思考“什么是变化的？”通过专注于更新内容，DeltaV 变得更快、更高效，并且在解决复杂谜题方面比那些沉重的、进行全图绘制的同类模型表现得更加出色。

以下是关于论文《DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models》的技术摘要详细翻译：

问题陈述

目前的统一多模态大模型（ULMMs）在尝试交错式多模态推理时，通常会将中间视觉状态生成为完整的图像。这种范式引入了两个关键的低效问题：

视觉标记冗余（Visual-Token Redundancy）： 连续的推理步骤通常共享大量的视觉内容。为每一步都生成一张完整的图像，会导致重复对未改变的区域进行建模，从而导致视觉标记相对于文本推理步骤产生巨大的开销。
监督信号稀释（Diluted Supervision）： 通过在每一步重建整个状态，学习信号被分散到了持久的内容和驱动推理的稀疏且关键的变化之中。这使得优化过程偏向于低层级的重建，而非对于推理至关重要的状态转换。

现有方法要么将视觉信息压缩为潜变量标记（牺牲了可解释性），要么依赖于工具增强型流水线（缺乏端到端耦合）。即使在统一模型内部，像素级生成的计算成本也往往超过了语义推理，从而限制了其可扩展性。

方法论：DeltaV

作者提出了 DeltaV，这是一个将交错式推理重新定义为视觉状态转换过程（而非独立的完整图像生成）的 ULMM 框架。DeltaV 并不预测第 $t$ 步的 $Z_t$ （完整状态），而是预测 $\Delta Z_t$ （视觉更新），并以历史状态为条件。

1. 基于视觉更新的统一自回归建模
DeltaV 将推理轨迹 $Y$ 分解为一个初始视觉状态 $Z_0$ 和一系列变长的视觉更新标记 $\Delta Z_t$ 的序列：
$Y = \{Z_0, X_1, \Delta Z_1, X_2, \Delta Z_2, \dots\}$
其中 $X_t$ 代表文本标记。这种公式化将学习目标从状态重建转向了转换建模，迫使模型仅关注推进推理轨迹所需的视觉证据。

2. TSIM-Tok：感知变化的标记化技术
为了实现这一点，DeltaV 引入了 TSIM-Tok，这是一种由两个核心组件组成的视觉分词器（Tokenizer）：

TSIM 路由（Temporal Similarity Router，时间相似度路由）： 该模块根据视觉变化的幅度动态分配每个更新的标记预算。它通过将当前视觉特征与之前状态的加权历史进行比较来计算**时间相似度（TSIM）**得分。权重考虑了时间接近度（近期的状态更重要）和信息容量（拥有更多标记的状态提供更丰富的参考）。
- 路由使用离线校准程序将 TSIM 得分映射到标记预算。它拟合一条将标记数量与重建保真度（SSIM）联系起来的曲线，并选择边际收益低于阈值的预算点。这确保了复杂的改变获得更多标记，而微小的更新获得较少标记。
视觉更新表示模块（Visual Update Representation Module）： 该模块使用可学习查询将视觉状态编码为基础标记（ $Z_0$ ）和变长更新标记（ $\Delta Z_t$ ）。它以 $Z_0$ 和所有先前的更新（ $\Delta Z_{<t}$ ）为条件生成 $\Delta Z_t$ ，从而在不重新生成稳定内容的情况下确保时间一致性。

3. StructCoT 数据集
意识到现有的交错式推理数据集在规模和领域多样性方面存在局限，作者构建了 StructCoT。

规模： 105 万个样本。
覆盖范围： 44 个任务领域，分为七个推理类别：战略规划、空间/具身规划、逻辑/抽象推理、数学/算法推理、科学/领域推理、视觉搜索以及图像修复/拼图。
目的： 为学习可泛化的视觉更新模式和推理结构提供广泛的监督。

核心贡献

DeltaV 框架： 首个明确将交错式推理公式化为以更新为中心的视觉状态建模的统一多模态推理框架。它用紧凑的、感知变化的视觉更新取代了全图生成。
TSIM 路由： 一种新颖的机制，它将标记分配与实际的视觉变化幅度对齐，通过在边际重建收益递减时停止标记分配，从而减少冗余。
StructCoT 数据集： 一个大规模、多样化的数据集，旨在支持可泛化的以更新为中心的多模态推理，显著扩大了现有基准测试的覆盖范围。

实验结果

实验在 Zebra-CoT 数据集（用于消融实验和领域内评估）以及外部基准测试（用于泛化性评估）上进行。

效率： 与全图生成相比，视觉更新范式在不损害重建保真度的前提下，平均减少了 55.6% 的新生成的视觉标记。
推理性能：
- DeltaV 比全图生成基准在多模态推理方面提升了 3.3%。
- 在领域内评估（Zebra-CoT 和 StructCoT）中，DeltaV-2B 模型比规模大得多的开源模型平均高出 8.4%。
- 在外部多模档推理与理解基准测试中，DeltaV-2B 超越了同规模的 Qwen3-VL-2B 5.9%。
消融研究：
- 标记分配： TSIM 路由（基于斜率的方法）优于随机预算分配和基于数值的阈值法，证实了边际效用是更优的预算标准。
- 重建一致性： 定性分析显示，全图模型容易出现“语义漂移”（例如，跨步骤的身份或形状变化），而 DeltaV 通过将更新锚定在历史信息上，保持了视觉状态的一致性。
- 泛化性： 与纯文本基准相比，视觉更新训练提高了在通用理解基准（如 MMBench, MathVista）上的表现，表明模型学习到了可迁移的多模态表示。

意义与主张

论文声称，当前交错式推理的瓶颈不在于像素级生成本身，而在于将每一个推理步骤都视为全图生成任务的范式。通过转向视觉状态转换的视角，DeltaV 实现了：

更高的效率： 通过仅对变化进行建模，大幅降低了标记开销。
更好的推理信号： 将监督集中在驱动推理的稀疏且关键的变化上，而非冗余内容。
更强的一致性： 减轻了多步推理链中的误差累积和语义漂移。

作者总结道，DeltaV 为通往统一多模态智能提供了一条更高效且更具泛化性的路径，并指出未来的系统应根据任务需求自适应地选择中间表示（紧凑更新 vs 全图 vs 外部工具）。

问题陈述

方法论：DeltaV

核心贡献

实验结果

意义与主张

类似论文