🤖 AI

UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

本文介绍了 UniSpace，这是一个统一的多模态框架，它通过采用一种新颖的补丁重参数化（Patch Reparameterization）技术，克服了语义视觉编码器中细粒度细节丢失的问题，使得单个冻结的基于 ViT 的模型能够在无需独立 VAE 通路的情况下，同时实现高保真度的图像理解、生成和编辑。

原作者： Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinbo Yan, Limeng Qiao, Jie Qin, Junyan He, Feize Wu, Guanglu Wan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教会一个机器人如何观察世界。长期以来，科学家们一直为这些机器人构建了两种独立的“眼睛”。第一只眼睛是一个语义编码器（Semantic Encoder），它就像一位超级聪明的艺术评论家。它看到一张猫的照片，能瞬间识别出：“这是一只坐在地毯上的、毛茸茸的橘色猫科动物。”它完美地理解了图像的意义和故事。然而，如果你要求这位艺术评论家仅凭笔记从头重画这只猫，它会失败得一塌糊涂。因为它太专注于宏观图景，以至于忘记了胡须的具体弧度或橘色的特定色调。

第二只眼睛是一个重建编码器（Reconstruction Encoder），它就像一台超精细的复印机。它能记住每一个像素、每一处阴影和每一处纹理。如果你要求它重画这只猫，它会做得非常完美。但如果你问它：“这是什么？”它可能只会回答：“这是一堆有颜色的像素，”而无法理解这是一只猫。

多年来，为了让机器人既能理解图像又能生成或编辑图像，工程师们不得不同时使用这两只眼睛，并将它们的输出缝合在一起。这就像是在开车时，一只脚踩着油门，另一只脚踩着刹车。这篇名为 UniSpace 的论文提出了一个大胆的问题：我们能否构建仅仅一只既能完美胜任这两个工作的“眼睛”？我们能否在不让那位超级聪明的艺术评论家变成一个盲目的复印机的前提下，对其进行微调，使其不会忘记细节？

核心理念：调整“镜头”，而非“大脑”

UniSpace 的研究人员发现了一个令人惊讶的事实。他们发现艺术评论家的“大脑”（神经网络的深层）其实一直都没问题。问题不在于大脑，而在于图像观察信息的镜头（图像块嵌入/patch embedding）。原始的镜头旨在过滤掉微小细节以专注于意义，这实际上模糊了精细的线条。

为了解决这个问题，他们引入了一个巧妙的技巧，叫做图像块重参数化（Patch Reparameterization）。想象一下，艺术评论家戴着一副眼镜。原来的眼镜看书名很棒，但看清书页上的微型字体却很糟糕。研究人员并没有扔掉眼镜和大脑，而是在第一副眼镜旁边添加了第二副特殊的镜头。这副新镜头专门经过调校，用于捕捉那些微小的、模糊的细节。然后，他们将两副镜头的视野结合成一个超级强大的信息流。

其结果是一个既保留了原有的“理解这是只猫”的大脑能力，又能记住“这只猫左耳有一道抓痕”的系统。这个单一的信息流成为了 UniSpace——一个统一的视觉语言，在这里，理解、生成和编辑图像都在同一个空间内发生。

他们是如何测试的：“单眼”实验

团队不仅建立了一个理论，还构建了一个庞大的机器人大脑来进行测试。他们采用了一个预训练的“艺术评论家”（具体是一个名为 Qwen-ViT 的模型），并应用了他们新的双镜头技术。随后，他们训练了一个拥有 80 亿参数的巨型模型（称为 UniSpace），让它利用这个单一的视觉流来完成三种不同的任务：

理解： 观察图像并回答相关问题。
生成： 根据文本描述创造出一张全新的图像。
编辑： 对现有图像进行修改（例如将猫变成狗，或将背景改为海滩），同时保持图像其余部分的完美。

结果令人印象深刻。在图像编辑领域——机器人在改变其中一部分而不破坏整体方面通常表现挣扎——UniSpace 在标准测试 ImgEdit 上得分 4.28。这击败了其他类似规模的模型，如 SenseNova-U1（得分为 3.90）和 BAGEL（3.20），甚至接近了一个拥有 320 亿参数的巨型模型 Emu3.5（4.41）。

在根据文本生成图像方面，UniSpace 展示了它良好的复杂指令遵循能力。在名为 OneIG-Bench 的测试中，它取得了 0.547 的双语平均分，略微领先于竞争对手。它在 DPG-Bench（一个针对密集、详细提示词的测试）上也获得了 86.49 分，显示出它处理物体间复杂关系的能力比许多其他统一模型都要强。

他们排除了什么：“纠缠”陷阱

这个故事中最重要的部分之一是研究人员没有做的事情。他们首先测试了一个更简单的想法：如果我们不把“意义”和“细节”分开，而是直接把它们揉成一大堆混乱的数据会怎样？他们称之为“纠缠”（entangled）表示法。

他们发现，这种混乱的方法是一个陷阱。虽然机器人仍然可以理解图像，并且仍然可以从真实照片中重建图像，但当尝试从头生成一张新图像时，它会彻底失败。机器人的大脑过于专注于“意义”，以至于忘记了绘制写实图像所需的“细节”。论文指出，仅仅将这两类信息混合在一起是不够的；你需要将它们保持独立但又相互连接，就像高速公路上的两条车道，并行运行却互不碰撞。这就是为什么他们特定的图像块重参数化方法——即保留用于意义的原始路径，并添加一条单独的细节路径——至关重要。

总结

UniSpace 表明，我们并不一定需要为了让机器人能够看见、理解和创造而从头开始构建全新的、巨大的大脑。相反，我们可能只需要改变如何将信息喂给我们现有的脑部。通过重新调校“镜头”以引入更多细节，同时保持“大脑”对意义的专注，他们创造了一个可以完成所有工作的单一统一系统。

作者谨慎地指出，虽然这是一个巨大的进步，但该系统尚未达到完美。它在面对仅做一件事情的专业化模型（例如只负责编辑图像或只负责理解图像的模型）时，仍略显逊色。然而，对于一个试图在一个框架内完成所有工作的 80 亿参数模型来说，其表现是非常强劲的。它证明了单一的、统一的视觉空间是 AI 未来的可行路径，有望取代那些笨重的、多部分的系统，转而使用更优雅、更高效的方式。

UniSpace 技术摘要：统一视觉表示与可扩展多模态建模

1. 问题陈述

语义视觉编码器（如 SigLIP、CLIP）已成为多模态理解和图像生成中语义调节的标准视觉接口。然而，这些编码器针对语义抽象和对齐进行了优化，导致其最终的 token 会丢弃细粒度的视觉细节。这导致像素级的可恢复性较差，使其不足以胜任高保真图像生成和保持参考特征编辑等对重建敏感的任务。

目前的统一多模态模型尝试通过结合独立的视觉空间来解决这一问题：一个用于理解的语义编码器和一个独立的变分自编码器（VAE）潜空间，用于生成和编辑。虽然这些模型在架构层面是统一的（例如使用共享的主干网络），但在视觉表示层面仍然是碎片化的。这种碎片化增加了系统的复杂性，并阻碍了单一视觉接口同时支持语义理解、细粒度重建和生成式建模。

这项工作提出的核心问题是：是否可以在不引入单独 VAE 通路的情况下，基于预训练的语义 Vision Transformer (ViT)，在单个视觉表示空间内实现理解、生成和编辑。

2. 方法论

2.1 核心洞察：补丁嵌入（Patch Embedding）瓶颈

作者首先研究了为什么预训练的语义 ViT 无法忠实地重建图像。通过诊断实验（图 1），他们证明了瓶颈不在于冻结的 Transformer 块本身，而是在于原始的补丁嵌入（patch embedding）。

观察： 当预训练的语义 ViT（如 SigLIP2）的补丁嵌入被替换为随机初始化的线性投影时（同时保持所有 Transformer 块冻结），深层特征的像素级可恢复性（PSNR）显著提高（+3.70 dB）。
结论： 预训练的补丁嵌入驱动了表示向语义抽象化发展，从而抑制了低层视觉变化。如果输入参数化允许，冻结的 Transformer 块本质上是有能力携带像素细节的。

2.2 补丁重参数化（Patch Reparameterization）

为了利用这一洞察，作者引入了补丁重参数化，这是一种极简的适配方法，在保留预训练语义路径的同时，在同一个冻结的主干网络内增加了一个具备重建感知能力的路径。

双路径：
1. 语义路径： 保留原始预训练补丁嵌入 ( $P_s$ ) 以保持语义表示 ( $T_s$ )。
2. 重建路径： 引入一个新的、可学习的重建感知补丁嵌入 ( $P_r$ )，该嵌入由 $P_s$ 初始化。它通过相同的冻结 Transformer 块以产生重建 token ( $T_r$ )。
显式 Token 融合： 作者没有使用会导致表示“纠缠”（导致生成解码失败）的隐式 MLP 融合方法，而是采用了显式通道分解（Explicit Channel-wise Decomposition）。
- 重建 token $T_r$ 通过一个可学习的线性层 $W_r$ 被投影到较低的维度 ( $d_r$ )。
- 语义 token $T_s$ 和压缩后的重建 token $\tilde{T}_r$ 在通道维度上进行拼接，形成统一表示 $T_u$ 。
- 这确保了重建组件在生成训练期间可以直接被访问。

2.3 训练目标

该统一表示使用**平衡流匹配（Balanced Flow-Matching）**目标进行训练。

重建训练： 重建感知组件（ $P_r, W_r$ ）和 ViT 解码器被优化以重建输入图像，而原始语义路径保持冻结。
生成建模： 模型使用条件流匹配来预测统一表示的速度。一项关键创新是平衡损失（balanced loss），它通过每个组件（语义 vs 重建）的维度来归一化预测误差，并分配显式权重（对于重建， $\lambda_r = 0.75$ ）。这防止了语义组件主导生成先验，确保模型能够同时学习建模语义结构和细粒度细节。

2.4 UniSpace：扩展至统一多模态模型

作者将此表示扩展为 UniSpace，这是一个基于 Qwen3-8B 主干的 8B 参数混合 Transformer 专家（MoT）模型。

架构： UniSpace 使用经过补丁重参数化的 ViT 作为其唯一的视觉接口。它消除了对单独 VAE 编码器或潜空间的需求。
路由： 它采用硬路由来分离任务：
- 理解专家（Understanding Expert）： 处理文本和参考图像 token ( $T_u$ ) 用于视觉问答。
- 生成专家（Generation Expert）： 处理加噪视觉 token 用于文本生成图像和图像编辑。
- 共享自注意力（Shared Self-Attention）： 允许两个专家之间的交互，保持无瓶颈的上下文。
统一训练： 模型在文本生成图像、基于指令的图像编辑以及视觉理解数据的混合数据上进行训练，通过三个分辨率阶段（256, 512, 1024）进行渐进式课程学习，最后进行监督微调（SFT）。

3. 主要贡献

补丁重参数化： 一种技术手段，证明了通过仅修改补丁嵌入而不重新训练 Transformer 块，就可以使冻结的预训练语义 ViT 适应并保留细粒度视觉信息。
统一视觉编码器： 创建了一系列编码器（PR-SigLIP2, PR-DINOv2, PR-Qwen-ViT），它们为理解、重建和生成提供了平衡的表示。
UniSpace： 一个 8B 统一多模态模型，在单个视觉空间内执行理解、生成和编辑，无需单独的 VAE 路径，验证了重参数化表示的可扩展性。

4. 实验结果

4.1 统一分词器评估

高保真重建： PR-DINOv2 在 ImageNet-1K 上的 rFID 为 0.14，PSNR 为 30.84，显著优于原始 RAE（rFID 0.57, PSRE 18.86），并能与 FLUX-VAE 等专门的 VAE 相媲美，同时保留了语义能力。
多模态理解： 重参数化分词器并未损害语义理解。PR-SigLIP2 和 PR-Qwen-ViT 在 LLaVA-v1.5 基准测试中分别获得了 64.37 和 68.94 的平均分，达到或略微超过了其原始语义基准。
生成-重建权衡： 该方法建立了一个有利的运行点，在实现强生成指标（无 CFG 时 gFID 为 2.10）的同时，保持了高重建保真度，这是在潜空间生成模型中通常难以实现的平衡。

4.2 系统级评估 (UniSpace)

图像编辑： 在 ImgEdit 基准测试中，UniSpace (8B) 取得了 4.28 的综合得分，大幅超越了同规模的统一模型如 SenseNova-U1 (3.90) 和 BAGEL (3.20)，并接近了规模大得多的 Emu3.5 (4.41) 的性能。它展示了强大的指令遵循能力以及在编辑任务中保持细粒度细节的能力。
文本生成图像： 在 OneIG-Bench 上，UniSpace 取得了 0.547 的双语平均分，优于 Emu3.5 和 SenseNova-U1。在 DPG-Bench 上，它得分 86.49，显示出强大的密集提示词遵循能力，特别是在关系约束方面。
定性结果： 视觉对比显示，与其他统一模型相比，UniSpace 生成的图像与提示词的对齐度更高，细节更丰富，且在复杂的编辑场景中伪影更少。

5. 意义与主张

论文声称，统一视觉能力并不需要从头开始训练新的视觉主干。相反，通过重参数化现有语义编码器中信息进入的方式，可以在单个冻结参数空间内暴露更广泛的视觉信息（包括语义和像素级信息）。

UniSpace 的意义在于它证明了单个视觉表示空间可以有效地取代传统双接口方案（语义 ViT + VAE）在大型多模态系统中的地位。通过将理解、生成和编辑整合到一个冻结且可重用的视觉分词器中，作者表明：

高保真重建与语义理解并非互斥。
统一的视觉空间可以在 8B 规模下支持实用的、基于指令的图像编辑和文本生成图像。
通过显式分解，可以避免以往统一表示中的“纠缠”性质，从而实现更好的生成建模。

作者保持了谦逊的态度，指出虽然统一表示保留了原始编码器的能力，但系统级性能在标准 VLM 基准测试上的表现并不是主要的优化目标，且模型主要针对生成和编辑任务进行优化。他们承认，如果不进行调整，共享编码器无法在不可能损害生成能力的情况下自由更新用于理解任务，这为未来的研究方向指明了方向。