💻 computer science

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

本文介绍了 GAS，这是一个通过使用带有“下一嵌入预测”（Next Embedding Prediction）作为辅助监督的解耦生成分支来增强多模态大语言模型中零推理开销视觉理解能力的训练框架，旨在不损害最终推理架构的前提下优化共享的视觉表示。

原作者： Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位才华横溢的学生如何理解一幅复杂的画作。传统上，你会展示给他们看，然后让他们写一段描述。他们学会了如何谈论这幅画，但却从未真正需要去“画”它。这就是当今大多数“多模态大语言模型”（MLLMs）的工作方式：它们非常擅长描述图像、回答关于图像的问题，甚至解决基于视觉的谜题。然而，由于它们仅被训练去“谈论”图像，它们有时会错过那些微小而精确的细节——比如某个特定物体究竟在哪里，或者人群中隐藏了多少件物品。它们掌握了“大意”，但在“细节”上可能会失手。

现在，想象一种不同的方法：如果为了帮助他们更好地理解，你也要求他们去“重构”这幅画呢？听起来这像是额外的工作量，你可能会担心尝试绘画会分散他们学习描述的注意力。但如果，你可以将绘画纯粹作为一种秘密的训练练习呢？你可以强迫他们的脑力去关注每一个像素和空间关系，以确保画作准确，但一旦训练完成，你就把绘画工具全部扔掉。学生将获得一种超强的理解能力，因为他们从绘画练习中获益，但之后再也不需要进行绘画。这就是被称为 GAS（生成作为辅助监督）的一种新方法的内核思想。

问题所在：谈论 vs. 看见

目前的 AI 模型就像是从未拿过画笔的艺术评论家。它们的训练目标是预测句子中关于图像的下一个词。虽然这让它们成为了优秀的对话者，但也留下了视觉上的鸿沟。它们没有对于精确形状、边界或空间关系的直接“肌肉记忆”。论文指出，通过仅仅训练它们去“谈论”，我们正在错失一个巨大的视觉学习宝库。以往试图通过让模型既能谈论又能绘画（统一模型）来修复这一问题的尝试往往以失败告终，因为“绘画”部分太重，拖慢了模型的速度，或者因为它们绘画的方式（使用不同类型的数字“像素”）与它们的思考方式不匹配，导致了困惑而非提升。

解决方案： “幽灵”绘画课

GAS 背后的研究人员想出了一个聪明的技巧。他们构建了一个特殊的训练框架，让 AI 在执行其正常理解任务的同时，学习如何“绘画”（更准确地说，是预测图像数字表示的下一部分）。

以下是他们是如何实现的，使用了两层楼房的比喻：

共享的地基（主干/Trunk）： 无论是“理解型”AI 还是“绘画型”AI，都共享相同的底层楼层。这是处理原始视觉信息的地方。
分叉（MoT 架构）： 当信息向上移动时，房子发生了分叉。一条路径通向“理解”房间（AI 在这里回答问题），另一条平行的路径通向“绘画”房间。
秘密武器（NEP）： 在绘画房间里，AI 并不是在尝试创作一幅用于画廊的美丽画作。相反，它使用了一种称为**下一嵌入预测（Next Embedding Prediction, NEP）**的技术。你可以把它想象成 AI 正试图根据收到的指令，去猜测构成图像的下一个“数字乐高积木”。它不是在尝试成为艺术家，而是在尝试成为视觉数据的精确建筑师。
神奇的迁移： 尝试预测这些精确视觉块的行为，迫使共享的地基（底层楼层）变得极其细腻且锐利。它学会了比以前更好地保留视觉信息。
零开销的转折： 这是最棒的部分。一旦训练结束，整个“绘画”房间就会被拆除。AI 保留了它学到的超锐利地基，但它不再拥有绘画的额外空间或工具。当你稍后向它提问时，它的回答速度与之前一样快，但拥有了更敏锐的视觉。论文证实这增加了零推理开销——这意味着它不会让 AI 变得更慢或更臃肿。

他们的发现

团队在 20 亿和 40 亿参数的模型上进行了测试。他们不仅仅是猜测；他们进行了广泛的实验，以观察这种“绘画练习”是否真的有助于“理解”技能。

更擅长细节： 使用 GAS 训练的模型在需要精确视觉的任务上表现得显著更好，例如计数物体、判断空间关系（例如：“灯比电视更近吗？”）以及理解复杂的图表。例如，在计数测试中，2B 模型从 87.7 跃升至 90.1，4B 模型达到了 90.8。
适用于任何阶段： 他们在全新的 AI 模型、已经过预训练的模型以及已经经过微调的模型上都进行了测试。在每种情况下，“绘画练习”都有所帮助。它对全新的模型最为有效，但即使是已经很强大的成熟模型也得到了提升。
并非所有的绘画都平等： 他们发现绘画任务的类型至关重要。仅仅要求 AI “画一只猫”并没有带来太多帮助。但要求它根据复杂的指令进行绘画——比如“分割图像中的这个特定部分”或“根据逻辑原因编辑这个物体”——会迫使 AI 进行深度思考。正是这些“认知型”绘画任务，真正强化了理解能力。
“幽灵”分支是关键： 他们证明了，如果不用他们特殊的“混合专家转换器”（Mixture-of-Transformers）设计将绘画路径与理解路径分开，AI 的理解能力实际上会变差。绘画任务会干扰 AI。这种分离对于让视觉学习“渗透”进基础而不干扰思考过程至关重要。

为什么这很重要

论文表明，我们不需要构建庞大、缓慢且既能谈论又能绘画的 AI 系统来获得更好的视觉能力。相反，我们可以将“生成”的过程作为一种秘密的训练工具。通过在训练期间迫使 AI 以一种特定的、结构化的方式预测视觉细节，我们可以在不让 AI 变慢的前提下，获得一个视觉更敏锐的模型。

研究人员发现，这种方法在不同的模型规模和训练阶段都有效，这表明它是提升视觉智能的一种可靠方式。他们还展示了 AI 并未丧失其文本推理能力；事实上，其文本推理能力也略有提升。论文总结道，生成引导式训练是实现更强多模态理解的一条实用且高效的路径，解决了如何让 AI “看得更清”而不使其“变慢”的问题。

技术摘要：GAS（生成作为辅助监督）

问题陈述

多模态大语言模型（MLLMs）通过将视觉输入编码为文本 Token 进行自回归推理，在视觉理解任务（如描述、VQA）中取得了显著成功。然而，这种范式仅依赖于纯文本监督（下一 Token 预测），这引入了两个关键局限性：

表达能力瓶颈： 自然语言无法精确编码细粒度的视觉细节，例如精确的空间关系、像素级边界或物理动态。因此，在更深层的 LLM 层中，视觉表示往往会衰减，导致几何和结构信息的丢失。
数据利用不足： 现有的架构无法有效地利用视觉密集型数据（如分割掩码、图像编辑）进行训练，从而错失了大量的细粒度监督资源。

虽然统一多模态模型（UMMs）试图联合训练理解与生成，但它们面临着尚未解决的冲突：

推理开销： 大多数 UMM 在推理时仍保留生成参数，从而增加了延迟和内存成本。
目标冲突： UMM 中的生成目标通常是针对合成质量而非理解能力进行优化的，这导致由于冲突的优化压力，理解任务会出现性能平台期或退化。
缺乏机制说明： 现有工作通常只报告聚合性的增益，却未阐明生成是如何促进理解的，或者哪些中间表示最适合此类监督。

方法论：GAS 框架

作者提出了 GAS（Generation as Auxiliary Supervision，生成作为辅助监督），这是一个将视觉生成重新解释为辅助监督而非部署目标的训练框架，旨在丰富用于理解的视觉表示。该框架由三个核心部分组成：

1. 下一个嵌入预测 (NEP)

GAS 没有使用离散的视觉 Token 化或扩散目标（这些会产生不连续的表示空间），而是将生成公式化为在与 LLM 主干网络完全相同的表示空间内进行的连续视觉嵌入自回归预测。

目标： 模型预测源自冻结的 Vision Transformer (ViT) 和视觉-语言投影器的目标图像嵌入 ( $z_{tgt}$ )。
损失函数： 生成损失是在连续空间中通过计算预测值与真实值之间的余弦距离来计算的，其重点在于增强结构化表示，而非追求逼真的像素合成。
稳定性： 使用投影器权重的指数移动平均（EMA）来生成稳定的目标嵌入，以防止联合训练过程中的监督漂移。

2. 混合 Transformer (MoT) 架构

为了解决生成目标与理解目标之间的冲突，GAS 采用了解耦架构：

共享主干 (Shared Trunk)： 模型的底层（直到分割层 $l_{split}$ ）由理解和生成分支共享。
并行分支：
- 理解分支 (Understanding Branch)： 继续通过上层网络，仅由文本交叉熵损失进行优化。
- 生成分支 (Generation Branch)： 由从主干初始化的独立 Transformer 层组成，仅由 NEP 损失进行优化。
机制： 来自生成损失的梯度流回共享主干，利用细粒度的视觉细节来精炼中间隐藏状态 ( $H_{l_{split}}$ )。这些经过增强的状态随后被输入到上层理解层中，使其能够适应并利用这些特征，而不会直接受到生成梯度的干扰。
零推理开销： 至关重要的是，整个生成分支（包括参数和视觉头）在训练后会被丢弃。部署的模型在架构和成本上与标准的仅理解型 MLLM 完全一致。

3. 系统化数据构建

作者构建了一个包含约 1000 万个生成样本的数据集，涵盖五个类别和 15 个子任务，通过自动化的、无需人工标注的流水线生成：

类别： Grounding（定位）、Segmentation（分割）、Image Editing（图像编辑）、Visual Chain-of-Thought（视觉思维链/Visual-CoT）以及 Text-to-Image（文生图/T2I）。
设计原则： 选择任务的标准是基于它们与理解能力的潜在认知依赖性。例如，Visual-CoT 需要生成中间视觉证据来支持推理，这迫使模型开发出精确的空间和逻辑能力，而这是仅靠文本训练所缺失的。
流水线： 利用开放词汇标签（RAM++）、检测（Grounding DINO）和基于 LLM 的指令合成，在无需人工标注的情况下创建高质量、难度可控的数据。

核心贡献

零开销迁移： 连续 NEP 监督与可移除的 MoT 生成分支相结合，使得生成学习可以以严格零推理开销的方式迁移到部署模型中。
任务相关性假设： 论文证明，具有更强潜在相关性的生成任务（如 grounding、segmentation）带来的增益最大。结合多样化的任务可以提供互补的改进，特别是在感知和计数基准测试方面。
系统化分析： 通过广泛的消融实验和表示层诊断，论文阐明了生成何时以及为何能提供帮助：
- 它在所有训练阶段（从零开始、预训练和 SFT）都具有益处。
- 它需要特定的架构隔离（MoT）和目标设计（NEP）；仅仅添加生成数据或使用共享主干会导致性能下降。
- 它增强了深层网络中的视觉信息保留，并使注意力机制更加聚焦于任务相关区域。

结果

在基于 Qwen3-VL 的 2B 和 4B 参数主干网络上进行的评估显示，GAS 相比仅理解型的基线模型表现出持续的提升：

空间与计数： 在 CountBenchQA（例如 2B 规模下提升 2.4 点）和 CV-Bench 上有显著提升，这直接归功于 grounding 和 segmentation 任务。
推理： 在 MathVista、DynaMath 和 VisuLogic 上有所改善，这与 Visual-CoT 和编辑任务有关。
泛化能力： GAS 在多个基准测试中优于或匹配了参数量更大的统一模型（如 BAGEL 7B+7B, Emu3 8B），同时保持了更小的参数量和零推理成本。
文本推理： 该框架保留并略微提升了纯文本推理能力（ZebraLogic, MMLU-Redux），表明生成监督不会削弱语言推理能力。

重要性与主张

论文声称，生成引导的训练是实现更强多模态理解的一条切实路径，且不会带来统一模型的部署惩罚。其主要意义在于：

将训练与推理解耦： 证明了生成可以纯粹作为训练时的正则化项来精炼视觉表示，而不是作为必需的推理能力。
机制洞察： 提供了证据，表明收益来自于增强的空间表示和改进的信息保留，而非仅仅是增加数据量。
可扩展性： 证明了自动化、无需标注的合成数据可以有效地将生成任务扩展到理解任务中，为未来如何在不牺牲推理效率的前提下利用庞大的视觉数据潜力提供了蓝图。

作者总结道，尽管生成目标与理解目标可能存在冲突，但通过精心设计的辅助监督框架（GAS），可以利用前者来显著增强后者，从而以标准文本生成模型的效率实现最先进的视觉理解水平。