💻 computer science

STBridge: Shared-Target Alignment for Bridging Understanding and Generation in UMMs

本文介绍了 STBridge，这是一个共享目标对齐框架，通过监督微调和强化学习策略将两项任务都对齐到一个共同的目标状态，从而在统一多模态模型的视觉理解与生成之间架起桥梁，缩小其语义鸿沟，进而确保生成的编辑内容能够始终与描述性指令保持一致。

原作者： Ye Wang, Hongjun Wang, Hao Fang, Tongyuan Bai, Zuwei Long, Peixian Chen, Wei Liu, Weibo Gu, Xing Sun, Rui Ma

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ye Wang, Hongjun Wang, Hao Fang, Tongyuan Bai, Zuwei Long, Peixian Chen, Wei Liu, Weibo Gu, Xing Sun, Rui Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机可以观察一张图片并准确地告诉你它看到了什么，然后，又能同样轻松地根据你的话语画出一幅全新的画作。这就是“统一多模态模型”（Unified Multimodal Models, UMMs）的梦想。把这些模型想象成既是超级聪明的艺术家，又是资深艺术评论家的存在。它们被期望拥有一个能够胜任两项工作的单一大脑：理解视觉世界（就像评论家描述一幅画作一样）以及创造视觉世界（就像艺术家绘制一个新场景一样）。长期以来，科学家们认为，如果他们只是构建一个既能做这两件事的大型、强大的计算机大脑，它自然就会在两方面都变得出色。但问题在于：仅仅因为大脑是一个整体，并不意味着大脑的两侧能够完美地进行沟通。有时，模型的“评论家”部分可能会描述一个红色的猫，但其“艺术家”部分却可能画出一条蓝色的狗。它们都在根据相同的指令工作，但对于最终结果应该长什么样，却无法达成共识。这篇论文旨在解决描述与绘画之间的这种尴尬沉默，试图教会模型确保其文字和图像讲述的是完全相同的故事。

这项研究背后的研究人员来自吉林大学和腾讯优图实验室，他们决定通过一场关于图像的“西蒙说”（Simon Says）游戏来调查这种“对齐差距”。他们给模型一张初始图片和一个简单的指令，比如“添加一辆自行车”。然后，他们要求模型做两件事：首先，写一段详细的描述，说明新图片应该是什么样子的（即“目标描述”）；其次，实际画出那幅新图片。随后，他们将描述与绘画进行对比，以观察它们是否匹配。他们发现，即使是最聪明的现有模型也经常出现脱节现象。模型可能会写出完美的自行车描述，却忘了把它画出来；或者画出了自行车，描述的内容却完全不同。这就像一位厨师写了一份巧克力蛋糕的食谱，却不小心烤出了一个披萨；或者一位翻译写出了完美的法语句子，说话时却用了西班牙语。

为了解决这个问题，团队发明了一种名为 STBridge（共享目标对齐，Shared-Target Alignment）的新型训练方法。想象一下你正在教一名学生同时成为作家和插画家。与其让他们分别练习写作和绘画，不如强迫他们在处理同一个目标时同时进行。在 STBridge 中，“目标”是一个特定的视觉状态。模型必须首先用文字描述这个目标，然后立即将这些文字作为蓝图来绘制图像。这就像是给艺术家一个严格的剧本：“你必须完全按照你打算画出的样子来描述场景，然后你必须完全按照你描述的样子去绘画。”如果描述与绘画不符，模型就会得到一个“差评”。

研究人员并没有止步于一次课程，而是使用了三步走的“训练营”。首先，他们使用监督微调（SFT）向模型展示了数千个描述与匹配图像相辅相成的例子，从而建立起基础的联系。接着，他们通过两个阶段使用强化学习（一种通过试错和奖励来学习的方法）。在第一阶段，他们奖励模型写出更好、更准确的关于其想要进行的改变的描述。在第二阶段，他们冻结了写作部分，仅针对那些完美匹配改进后描述的图像进行绘画奖励。这确保了模型不仅仅是通过随机猜测碰运气，而是真正学会了如何协调它的两个大脑。

结果非常令人印象深刻。当他们在各种挑战中测试 STBridge 时，模型的各项表现都得到了显著提升。在检查模型对视觉细节理解能力的 BLINK 测试中，得分提升了 5.15 分。在针对复杂图像编辑的 RISE 测试中，进步是巨大的，分数飙升了 21.00 分。或许最重要的一点是，他们测量了模型的文字与图像的匹配程度。在使用这种新训练方法之前，模型的描述与绘画仅在 57.4% 的情况下达成一致。而在使用 STBridge 之后，这种一致性飙升到了 90.0%。

论文指出，仅仅构建一个更大、更复杂的计算机大脑，并不足以让这些模型实现真正的统一。相反，你必须明确地教它们将它们的理解和生成锚定在同一个“目标状态”上。通过强迫模型描述它即将创造的东西，并随后精确地创造出它所描述的内容，STBridge 弥合了计算机所想与所作之间的鸿沟。这提醒我们，对于计算机要实现真正的创造力和可靠性，其文字与图像需要成为最好的朋友，而不是擦肩而过的陌生人。

技术摘要：STBridge

问题陈述

统一多模态模型（UMMs）旨在将视觉理解与视觉生成集成到单一架构中。然而，架构的统一并不保证语义的一致性。存在一个关键的“理解-生成对齐差距”（understanding-generation alignment gap），即模型可能在文本中正确描述了目标状态（理解），但在生成图像时却出现了视觉上的不一致（生成），反之亦然。

作者指出，现有的 UMMs（如 BAGEL）往往无法围绕共同的用户意图来协调这两种能力。具体而言，在图像编辑任务中，模型表现出三种常见的失败模式：

生成缺失（Generation Miss）： 模型正确描述了预期的编辑内容，但未能将其在视觉上实现。
理解缺失（Understanding Miss）： 模型生成了正确的图像，但未能在其文本输出中描述已实现的改变。
信息覆盖不足（Insufficient Information Coverage）： 两类输出都捕捉到了粗粒度的意图，但在细粒度细节（实体、属性、空间关系和局部细节）上存在分歧。

目前的方法通常将理解和生成作为独立的输出目标进行优化，缺乏一种明确的机制将这两条路径锚定到一个共同的目标状态上。

方法论：STBridge

为了弥补这一差距，作者提出了 STBridge（共享目标对齐，Shared-Target Alignment），这是一个后训练框架，它将理解和生成视为同一个目标视觉状态的两种模态表达。其核心公式涉及一个共享目标 $I_t$ （编辑后的图像），该目标作为语义锚点。理解路径将此目标表达为目标描述词（target caption, $c^*_t$ ），而生成路径则将此目标实现为编辑后的图像（ $I_t$ ）。

STBridge 采用了三阶段的后训练流程：

1. 共享目标对齐（监督微调）

此阶段建立目标描述词与目标图像之间的对应关系。

数据： 使用 PickNano-250K 数据集，并辅以由 VLM（Qwen3.5-35B-A3B）生成的描述目标图像的目标描述词进行增强。
目标： 模型被训练通过源图像 $I_s$ 和指令 $x$ 来预测目标描述词 $c^*_t$ （使用交叉熵损失），然后基于 $I_s$ 、 $x$ 和 $c^*_t$ 生成目标图像 $I_t$ （使用流匹配损失/flow-matching loss）。
目标： 将文本目标表达和视觉目标实现绑定到同一个共享目标上，防止它们被学习为无关的输出。

2. 目标表达优化（强化学习）

此阶段通过精炼文本表达，以确保其准确捕捉与编辑相关的差异。

数据： 一个包含 15.3K 个样本的混合集，包括转换后的视觉理解数据（例如，将深度、接地、对应关系等任务转化为编辑风格的输入）以及原生图像编辑数据。
奖励机制： 引入了 差异奖励（Diff Reward）。该机制不再测量全局的描述词-图像相似度（这可能会被未改变的背景区域所主导），而是由 VLM 推断候选描述词相对于源图像所隐含的视觉差异，并将此推断出的差异与源图像与目标图像之间的真实差异进行比较。
算法： 使用群体相对策略优化（GRPO）来优化目标描述词策略，同时保持图像生成分支冻结。

3. 目标实现优化（强化学习）

此阶段优化视觉生成，以忠实地实现精炼后的目标描述词。

过程： 冻结目标描述词策略。生成分支以预测的目标描述词为条件来生成编辑后的图像。
奖励机制： 使用由 VLM 评判器评估的面向实现的编辑奖励（Realization-oriented Editing Reward）。该奖励聚合了五个维度：编辑成功度、指令细节忠实度、源内容保留度、视觉质量和整体偏好。通过一个门控机制确保只有在编辑成功且源内容得到保留时才会给予高分。
算法： 使用 MixGRPO 来优化生成分支。

核心贡献

诊断对齐差距： 本文识别并量化了 UMMs 中理解与生成之间的失配问题，证明了仅靠架构统一不足以实现语义一致性，特别是在细粒度维度上。
STBridge 框架： 提出了一个共享目标对齐框架，将目标描述词生成和图像编辑统一为同一个目标状态的两种表达，从而建立了一个明确的语义锚点。
三阶段后训练： 设计了一个循序渐进的训练程序（SFT 结合两个 RL 阶段），逐步实现目标表达与视觉实现的对齐。
新颖的奖励设计： 引入了用于精炼目标表达（侧重于编辑相关的变化）的 差异奖励（Diff Reward），以及用于优化视觉保真度的多维度 面向实现的奖励（Realization-oriented Reward）。

实验结果

STBridge 在视觉理解、图像生成和图像编辑基准测试中针对 BAGEL 初始化模型进行了评估。

视觉理解： STBridge-RL 取得了显著提升，包括在 BLINK 上 +5.15，在 OddGridBench 上 +5.14，以及在 MMVP 上 +2.70。这表明对齐目标表达与实现有助于纯理解任务。
图像生成： 在 WISE 基准测试（知识驱动生成）中，STBridge-RL 将总分提高了 +1.20，其中在空间（Space, +10.33）和生物（Biology, +21.50）领域增益显著。
图像编辑：
- ImgEdit： 总分提升了 +0.46。
- RISE： 在复杂的知识引导编辑任务中表现出大幅提升，总分从 15.80% 提高到 36.80%（+21.00）。
对齐分析： 对模型的目标描述词与生成的图像之间一致性的直接评估显示，对齐分数从 0.5740（BAGEL）上升至 0.9000（STBridge-RL），其中在细粒度属性和空间关系方面的提升最为明显。

意义与主张

本文主张，共享目标对齐是弥合 UMMs 中理解与生成之间差距的一种有效的后训练策略。结果表明：

将理解和生成视为独立的输出会导致语义分歧。
通过强制执行一个共享的目标状态（通过目标描述词和目标图像），可以在模型所描述的内容与其所生成的内容之间建立起可训练的关系。
这种方法不仅提高了编辑性能，还提升了通用的视觉理解和基于知识的生成能力，这表明“共享目标通道”提供了一个强大的训练信号，能够使整个多模态能力受益。

作者总结道，虽然架构统一是必要的一步，但语义统一需要像 STBridge 这样的显式对齐机制，以确保模型的语言输出和视觉输出都受相同的目标语义支配。