🤖 machine learning

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

本文引入了自纠错耦合马尔可夫跳跃过程（SC-CMJP）和无需训练的 $\texttt{CO}_\texttt{2}\texttt{Jump}$ 采样器，通过在每一步中动态耦合模态的自纠错机制，实现图像理解与生成的并行处理，在发布三个新的大规模数据集的同时，在多模态推理和编辑任务上达到了最先进的性能。

原作者： Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在白板前观察一位大师级教师。他们不仅仅是在说话和绘画，而是同时进行这两者。当他们勾勒出一条曲线时，他们的言语随之描述它；当他们解释一个概念时，他们的手也会调整绘图以与之匹配。如果他们在素描中犯了错，他们会立即擦掉并重画，同时修正他们的句子。这正是人类创造力运作的方式：理解与创造是一个单一且交织的循环，而非两个独立的步骤。

长期以来，人工智能一直试图模仿这一点，但通常做得非常笨拙。大多数人工智能系统就像一条严格的流水线：首先写出一个完整的故事或计划，然后才尝试根据该计划画出一幅图。如果计划中有错误，图片也会继承这个错误，而且人工智能无法回头去修正计划，因为计划已经“完成”了。这篇题为《并发图像理解与生成》（Concurrent Image Understanding and Generation）的论文，深入探讨了人工智能的一个特定领域——掩码扩散模型（Masked Diffusion Models）。可以将这些模型想象成一场“猜图游戏”，人工智能从一张空白、充满噪声的画布开始，逐个标记地逐渐揭示图像。这篇论文提出了一个宏大的问题：如果人工智能能同时编写描述并绘制图像，让两者实时相互纠正，就像那位在白板前的老师一样，情况会如何？

研究人员引入了一个名为自纠正耦合马尔可夫跳跃过程（Self-Correcting Coupled Markov Jump Processes, SC-CMJP）的新框架。要理解这一点，请想象两个朋友正在一起解一个谜题。在旧的人工智能方法中，朋友 A（文本）会喊出一个猜测，而朋友 B（图像）会尝试根据它进行绘画，但直到最后，他们都听不到对方最新的想法。如果朋友 A 在中途意识到自己犯了错，他无法告诉朋友 B 停止绘制那部分内容。

这篇论文提出了一种新的交流方式。他们称之为 CO2Jump。它运作起来就像一场动态的舞蹈，两个朋友在不断地向对方低语。如果文本分支开始致力于一个与图像分支所见不符的描述，系统就有一个特殊的“撤销”按钮。它可以立即“重新掩码”（擦除）一个已确定的标记并重试。这就是“自纠正”的部分。“耦合”部分意味着他们不仅仅是轮流行动，还会权衡彼此的置信度。如果文本对某个细节非常确定，它就会引导图像；如果图像非常确定，它就会引导文本。他们在每一步都在进行协商。

团队在三个截然不同的挑战中测试了该方法。首先，他们尝试了图像编辑，即人工智能需要根据文本提示（如“在这条路径上增加一名徒步旅行者”）对照片进行修改。他们还测试了迷宫求解和数织（Nonograms）（即根据数字线索填充网格的逻辑谜题），其中文本答案（路径或填充的单元格）与视觉网格必须完美匹配。为了实现这一点，他们创建了三个大规模的新数据集：JEdit-1M（100 万个编辑对）、JMaze-200K（20 万个迷宫）和 JNono-200K（20 万个数织）。

结果表明，这种“边说边画”的方法比旧的“先写后画”方法效果更好。在实验中，CO2Jump 采样器不仅生成了更好的图像，还生成了更好的图像文本描述。最令人兴奋的发现是，人工智能解决问题的步骤越多，它的表现就越好。与其他在达到一定程度后就会撞墙或产生混乱的方法不同，这个耦合系统似乎在思考得越久时变得越聪明，文本和图像在每一步都在互相帮助以完善答案。论文表明，通过允许人工智能“重新掩码”自己的错误并实时倾听另一半的声音，它能够以一种此前所缺失的协调水平来解决复杂的视觉谜题并编辑照片。这是迈向人工智能不再仅仅是执行指令，而是实现统一、自纠正循环式理解与创造的一步。

技术摘要：通过自纠错耦合马尔可夫跳跃过程实现并发图像理解与生成

问题陈述

人类的认知将理解与生成整合为一个紧密耦合的循环；例如，一位教师在白板上绘图时，会同时进行讲解与素描，这两种模态相互塑造。然而，目前的人工智能系统通常将这些过程分离。即使是在理论上适用于并行多模态生成的掩码扩散模型（MDMs）中，现有的采样器也无法实现真正的并发性。它们要么交替解码不同模态，要么在仅共享历史状态的并行分支中更新模态，缺乏在单个步骤内实现的瞬时跨模态反馈。此外，标准的 MDMs 存在无法“重掩码”（remask）的问题：一旦一个标记被提交（去掩码），就无法被修正。这导致了持久性的跨模态矛盾，即文本描述与图像内容发生背离，反之亦然，且在采样轨迹中缺乏自我纠错机制。

方法论

作者引入了自纠错耦合马尔可夫跳跃过程（SC-CMJP），该框架将联合生成建模为一个统一的随机过程，其中各模态在每一个去噪步骤中都在积极地协商其承诺。

核心框架：SC-CMJP

SC-CMJP 将联合生成重新表述为一个生灭过程（birth-death process），其中一个模态的转移速率是另一个模态置信度的泛函。

耦合转移速率： 一个模态的去掩码进度会根据另一个模态的置信度进行调整。具体而言，图像标记的转移速率取决于文本模态的去掩码置信度，并由通过单次前向传播提取的跨模态注意力进行加权。
重掩码跳跃： 为了解决标准 MDMs 的不可逆性，该框架引入了“重掩码”跳跃（受 ReMDM 启发）。这允许已提交的标记在跨模态证据与之矛盾时，重新回到掩码状态 ( $\mathbf{m}$ )。这使该过程从单向的去掩码转变为双向的生灭过程，具备了撤回错误的能力。

CO2Jump 采样器

为了在不改变架构或引入辅助评估器的情况下实例化 SC-CMJP，作者提出了 CO2Jump（自纠错耦合跳跃），这是一种无需训练、单次前向传播的采样器。

通过链式法则分解的非对称评分： 采样器通过因子分解来近似联合逆后验 $p(z_{text}, z_{image} | z_t)$ 。文本更新依赖于自身置信度，而图像更新则以最新的文本状态为条件。由于第二次前向传播成本过高，CO2Jump 利用当前步骤的隐藏表示和跨模态注意力 ( $A_{image \to text}$ ) 来近似最新的文本状态。
基于熵的门控： 一个动态门 $\lambda$ 用于确定对跨模态信号的信任程度。 $\lambda$ 由两个模态的预测不确定性（香农熵）之比推导而来。如果图像处于混沌状态（高熵），它会转向文本信号；如果文本存在不确定性，图像则依赖自身的信念。
死亡与出生跳跃：
- 死亡（重掩码）： 置信度得分最低的耦合标记将被还原为掩码状态。
- 出生（去掩码）： 得分最高的掩码标记将被揭示，并根据重掩码配额进行调整，以维持噪声进度表。
共享百分位数排名： 为了处理文本与图像之间的词表规模差异，得分在进行混合之前，会在各自模态内被归一化为经验百分位数排名。

核心贡献

统一随机过程： 本文提出了首个将图像理解与生成建模为具有内置自纠错功能的单一统一随机过程（SC-CMJP）的方法。
CO2Jump 采样器： 一种新颖的、无需训练的采样器，每步仅需一次前向传播，利用跨模态注意力和熵门控耦合来动态解决矛盾。
新语料库与基准测试： 作者策划并即将发布三个大规模联合多模态生成数据集：
- JEdit-1M： 包含 100 万个具有像素级对齐场景图和推理轨迹的图像编辑对。
- JMaze-200K： 包含 20 万个具有算法真值的迷宫求解任务。
- JNono-200K： 包含 20 万个数织（Nonogram/Picross）谜题。
  这些数据集包含了分布内（in-distribution）和分布外（OOD）的基准测试。
经验缩放： 研究表明，跨模态耦合的收益会随去噪轨迹不断累积，其性能随去噪步数的增加呈单调增长。

结果

作者在图像编辑和视觉推理任务中，将 CO2Jump 与三个基线模型（标准 MDM、ReMDM 和 MMaDA-Parallel）进行了对比评估。

图像编辑 (JEdit-1M)： CO2Jump 取得了最佳的联合性能。在扩展的 ImgEditBench 上，它在落地理解指标（mAP@0.5:0.95）上超越了强大的顺序接地模型（Qwen3-VL-8B），实现了 0.369 的整体 mAP，而该顺序基线为 0.360。至关重要的是，CO2Jump 是唯一一个在函数评估次数（NFE）从 8 增加到 512 时，图像编辑质量与理解能力均表现出单调提升的采样器，而基线模型则出现停滞或退化。
视觉推理 (JMaze & JNono)： CO2Jump 在分布内和 OOD 分割上均取得了最高的联合准确率。值得注意的是，在数织的 OOD 网格尺寸测试中，CO2Jump 保持了性能（准确率 0.175），而基线模型性能大幅下降（MDM 降至 0.050）。
消融实验： 移除“共享百分位数排名”导致编辑保真度下降最大。移除“基于熵的门控”降低了目标 mAP，表明该门控在采样后期发挥作用。移除“自纠错”（重掩码）导致理解能力（mAP）下降最为显著，证实了撤回跨模态矛盾的能力对于联合一致性至关重要。

意义与主张

本文声称 CO2Jump 成功地为人工系统实现了人类认知的“耦合循环”，即文本与图像共同创作答案，而非顺序生成或独立生成。其主要意义在于证明了跨模态耦合会在轨迹中产生复合效应：不同于会发生漂移或饱和的独立采样器，耦合过程允许系统迭代地完善其方案，即文本规划编辑，图像在同一个去噪循环内执行编辑。作者断言，该框架具有模态无关性，并为未来音频、视频及结构化输出的工作奠定了基础，尽管目前的研究是专门针对文本和图像进行的。