💻 computer science

WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens

WinTok 是一种混合视觉分词器，它通过将源自预训练基础模型的可学习语义分词与像素分词相结合，从而解耦理解与生成任务，在显著少于现有统一方法所需的训练数据下，于两项任务中均实现更优越的性能。

原作者： Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiwei Guo, Shaobin Zhuang, Zhipeng Huang, Canmiao Fu, Chen Li, Jing Lyu, Yali Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人同时完成两项截然不同的工作：用文字描述一幅图片（理解），以及从零开始重绘这幅图片（生成）。

问题在于，这两项工作需要不同的“语言”。

要描述一幅图片，机器人需要高层次、抽象的概念（例如“一只悲伤的狗”或“阳光明媚的海滩”）。它不需要知道每个像素的确切颜色。
要重绘一幅图片，机器人需要低层次、精确的细节（例如天空中蓝色的确切色调，或毛发的纹理）。它并不关心狗的“悲伤”情绪，只关注像素。

旧方法：“万事通，无一精”的策略
之前的尝试试图强迫机器人使用同一套“令牌”（数字构建块）来完成这两项工作。这就像要求一位厨师用同一把刀既切蔬菜又进行精细的外科手术。结果是妥协：机器人在描述方面表现尚可，在绘图方面表现尚可，但在任何一方面都从未达到卓越。

新方案：WinTok（“专业团队”策略）
这篇论文介绍了WinTok，这是一个新系统，通过赋予机器人两套既协同工作又保持独立的工具集来解决这一问题。这就像一支拥有两个专业小组的施工队：

像素团队（艺术家们）： 该团队负责处理“像素令牌”。他们就像一支专注于精细细节、纹理和色彩的画家团队。他们唯一的工作是确保最终图像与原始图像完全一致。他们非常擅长生成。
语义团队（哲学家们）： 该团队负责处理“可学习令牌”。他们就像一支艺术评论家团队，审视整幅画面并总结核心思想（“这是一只狗”，“它很快乐”）。他们不关心笔触，只捕捉含义。他们非常擅长理解。

它们如何协同工作：“非对称蒸馏”
这里是巧妙之处：如何在不从零开始训练数年的情况下，教会“哲学家们”（语义团队）变得如此聪明？

作者使用了一种称为非对称令牌蒸馏的技术。想象一位著名的世界级艺术评论家（一个预训练的“基础模型”）看着一幅图片，并将图像的“精髓”低声告诉机器人的语义团队。机器人的团队倾听、学习，并试图模仿这位专家的见解。

转折： 这位专家并不教导“艺术家们”（像素团队）任何新东西；他们只需继续做他们擅长的事（描绘细节）。
结果： 语义团队因为向专家学习而成为意义的掌握者，而像素团队则继续保持细节的掌握者。它们并肩工作，互不干扰。

成果：双赢
由于两个团队拥有清晰、独立的角色，机器人无需做出妥协。

对于理解： 它利用语义团队的总结来回答诸如“这张照片里是谁？”或“情绪如何？”之类的问题。在分类任务上，它比之前的最佳系统提高了 11.2%。
对于生成： 它利用像素团队的细节来重绘图像。其重建质量与最佳系统一样好，但它使用的训练数据要少得多（5000 万张图像，而非 10 亿张）。

一言以蔽之
WinTok 就像一家不再试图让一位厨师包揽所有工作的餐厅。相反，它聘请了一位副厨师，这位副厨师在切菜和摆盘（生成）方面表现出色；还聘请了一位美食评论家，这位评论家在描述风味和食材（理解）方面表现出色。通过让他们发挥各自最擅长的能力，这家餐厅提供的食物（图像）和撰写的评论（描述）比以往任何时候都要好，同时使用的食材（数据）却更少。

WinTok 技术摘要

问题陈述
统一多模态模型旨在单一的自回归框架内弥合视觉理解与生成之间的鸿沟。然而，这些任务对视觉分词提出了相互冲突的要求。视觉理解需要高层、连续的语义抽象来捕捉抽象概念，而视觉生成则依赖底层、离散的 token 以确保精确的像素重建和高保真合成。现有方法面临两难困境：

双编码器：为每个任务使用单独的分词器虽可避免冲突，但引入了显著的模型复杂度，且未能实现真正的统一。
统一编码器：强制同一组 token 同时处理语义抽象和像素重建，会导致优化冲突，造成性能权衡，使得两项任务均无法达到最优结果。

方法论：WinTok
作者提出了 WinTok，这是一种简洁的混合分词器，旨在解耦视觉理解与生成目标，同时保持统一的架构。其核心创新在于利用单一统一编码器内的两种不同 token 类型，显式地分解任务：

混合分词架构：
- 统一编码器：一个视觉 Transformer (ViT) 接收输入图像。
- 像素 Token：编码器从输入图像块生成像素 token。这些 token 保留了丰富的局部细节，并针对视觉生成进行了优化。
- 可学习语义 Token：引入一组可学习的 token 作为额外输入送入统一编码器。这些 token 经过优化以捕捉用于视觉理解的高层全局语义。
- 融合：像素 token 与可学习 token 被拼接并由统一编码器处理，使其能够自适应地整合互补的上下文信息。
非对称 Token 蒸馏：
为了使随机初始化的可学习 token 具备强大的判别能力，作者引入了一种非对称 Token 蒸馏机制：
- 一个预训练的视觉基础模型（例如 SigLIP2）充当“语义教师”。
- 教师模型从输入图像中提取语义 token。
- 对教师的 token 和模型的可学习 token 均应用全局池化，以获得全局向量。
- 余弦相似度损失引导可学习 token 的优化，使其继承教师的语义知识，从而在不要求教师模型参与生成流程的情况下，有效转移表征能力。
训练目标：
- 语义损失：最小化池化后的可学习 token 与教师语义 token 之间的距离。
- 像素损失：像素 token 通过多码本量化 (MCQ) 模块进行量化，并利用解码器进行重建。优化过程包括像素重建损失、码本学习损失、感知损失和对抗损失。

主要贡献

通过可转移 Token 实现解耦：WinTok 利用可学习 token 进行语义抽象，利用像素 token 进行重建，从而解决了理解与生成之间的固有冲突，避免了双编码器的复杂性。
非对称蒸馏：该方法使可学习 token 能够从基础模型继承强大的语义表征，在增强理解能力的同时不损害生成保真度。
高效性：与强大的基线模型相比，该方法以更少的训练数据（5000 万张图像）和更小的码本规模实现了高性能。

实验结果
在 10 个基准测试上的评估表明，WinTok 在重建、理解和生成方面均表现出一致的改进：

重建与分类：在 ImageNet-1K 验证集上，WinTok 实现了 82.0% 的 Top-1 分类准确率，超越了强基线 UniTok 11.2%。尽管使用了大幅更少的训练数据（5000 万 vs. 10 亿）和更小的码本容量（ $2^{48}$ vs. $2^{96}$ ），其重建质量仍保持竞争力，rFID 为 0.41，与 UniTok 相当。
多模态理解：与大语言模型 (Qwen3-8B) 集成后，WinTok 在 POPE 基准测试上比 UniTok 高出 3.3%，并在 GQA、TextVQA 和 MMBench 上取得了具有竞争力的结果。
视觉生成：在文生图任务 (GenEval 和 DPG-Bench) 中，WinTok 优于 UniTok (GenEval 上为 0.76 vs. 0.59)，并展现出与大规模扩散模型及其他自回归系统相媲美的性能。
消融研究：实验证实，增加可学习 token 的数量可提升两项任务的性能。此外，逆转角色（使用可学习 token 进行重建）会严重降低性能，这验证了将语义与像素职责分离的具体设计选择。

意义与主张
论文主张，WinTok 通过有效平衡视觉理解与生成的不同需求，为统一多模态建模提供了有前景的方向。通过可转移 token 将这些目标分解，WinTok 实现了“双赢”的性能，两项任务均从中受益，而无需双架构的开销。作者指出，尽管当前实现受限于 5 千万样本的数据集和特定的架构选择，但这种混合编码策略为未来的研究提供了灵活的基础，特别是在扩展训练语料库和协同设计统一架构方面。

WinTok 技术摘要

类似论文