🤖 AI

Mutual Enhancement Between Global Tokens and Patch Tokens: From Theory to Practice

受信息熵启发，本文提出了 TaTok，这是一个具有理论基础的自适应图像分词框架，它通过结合全局令牌与动态过滤算法来消除冗余和信息损失，从而在图像质量和推理速度方面取得显著提升，实现了最先进的性能。

原作者： Xiusheng Huang, Xin Jiang, Jun Zhao, Kang Liu, Yequan Wang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiusheng Huang, Xin Jiang, Jun Zhao, Kang Liu, Yequan Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一条有严格字符限制的文字消息，将一张繁华城市街道的高清照片发送给朋友。

旧方法（现有方案）：
大多数现有图像系统就像一台僵硬的复印机。它们将整个城市街道切割成千上万个大小相等的微小方形瓦片。随后，无论瓦片内容如何，它们都试图用相同数量的细节来描述每一个瓦片。

问题所在： 如果某个瓦片显示的是空无一物的蓝天，系统就会浪费宝贵的字符去描述“蓝色、蓝色、蓝色”。但如果某个瓦片展示了一张复杂且细节丰富的面孔，它却可能因字符耗尽而让面孔变得模糊。
结果： 你要么在空白区域浪费空间（冗余），要么在繁忙区域丢失重要细节（信息损失）。

新解决方案（TaTok）：
这篇论文介绍了TaTok，一种更智能的将图像“翻译”为数据的方法。它基于信息科学（熵），运用两大核心技巧来解决上述问题。

1. “全局摘要”（全局令牌）

想象你再次描述这条城市街道。与其仅仅罗列瓦片，不如先写下一句强有力的话，捕捉整个场景的整体氛围：“这是一个阳光明媚的日子，位于高楼林立的繁忙市中心。”

工作原理： TaTok 添加了一个特殊的“全局令牌”，充当这句摘要。它承载宏观上下文（天空、整体布局、主要主题）。
为何有效： 由于系统已经知晓“大局”，便无需在每个瓦片中重复描述天空而浪费空间。它可以将有限的字符集中在每个具体位置的独特细节上。这解决了信息缺失的问题。

2. “智能过滤器”（动态令牌过滤）

现在，假设你有 1,000 个瓦片需要描述。旧方法会试图描述全部 1,000 个。而 TaTok 则像一位目光敏锐的编辑。

工作原理： 它审视每一个瓦片，问道：“鉴于我已有‘全局摘要’，这个特定瓦片是否提供了任何新内容？”
- 如果瓦片只是更多的蓝天（摘要已涵盖），过滤器会将其丢弃。
- 如果瓦片包含独特细节（如某人的特定面孔或彩色招牌），过滤器会将其保留。
结果： TaTok 可能只需发送 56 个高价值描述，而非 1,000 个。它根据瓦片所含“新”信息的多少，动态决定保留多少个瓦片。这解决了**空间浪费（冗余）**的问题。

神奇组合

TaTok 将这两个概念融合为一个无缝系统：

全局令牌填补空白，确保图像不失其神韵。
动态过滤剔除枯燥部分，防止图像过于臃肿。

成果

论文声称，这种方法是一次巨大的升级：

质量更优： 重建后的图像更清晰、更准确（质量指标提升了 1.3 倍）。
速度更快： 由于发送的数据片段大幅减少，计算机生成图像的速度快了 8.7 倍。
高效性： 它仅需少于 60 个“令牌”（数据片段）即可表征通常需要数百个令牌的图像，且不丢失重要细节。

简而言之： TaTok 不再将图像的每个部分同等对待。相反，它像一位聪明的编辑，先撰写精彩的摘要，然后仅保留最有趣的细节，从而生成一幅既更小又更清晰的图片。

技术摘要：TaTok——理论驱动的自适应图像分词

1. 问题陈述

当前的离散图像分词方法对于长图像序列处理和统一多模态模型至关重要，但其存在两个根本性的理论缺陷，根源在于将固定的压缩率僵化地应用于信息密度可变的图像：

信息不足：现有的仅基于图像块（patch）的分词方案无法完全捕捉全局语义和结构信息。基于数据处理不等式和率失真理论的理论分析证明，确定性的图像块划分和量化会导致不可消除的重构损失下界（ $D_{min} > 0$ ）。因此，仅使用局部图像块令牌无法完全恢复高频细节和连续灰度信息。
信息冗余：自然图像表现出强烈的局部平稳性和非局部语义相关性。当这些图像被 Vision Transformer (ViT) 编码器处理时，这些相关性会导致图像块令牌之间存在显著的互信息重叠。这种冗余增加了计算复杂度（自注意力机制的扩展为 $O(N^2)$ ），并通过块状伪影或过度平滑降低了重构质量，然而现有方法往往缺乏在牺牲质量的前提下消除冗余的原则性机制。

现有方法试图分别解决这些问题——使用分层聚合来获取全局上下文，或使用启发式规则进行稀疏选择——但未能提供一种协同的、具有理论依据的解决方案，以同时建模全局信息并剪枝冗余。

2. 方法论：TaTok 框架

作者提出了 TaTok，这是一个理论驱动的自适应图像分词框架，将全局信息建模和动态冗余剪枝统一到一个端到端可训练的系统中。

2.1 全局令牌增强（解决信息不足）

为了补偿仅基于图像块方案固有的信息损失，TaTok 引入了一个可学习的全局令牌（ $g$ ）。

理论基础：借鉴互信息理论，作者证明（引理 3.1）通过在令牌序列中增加一个近似图像整体信息 $G(x)$ 的全局令牌 $g$ ，可以增加令牌序列与原始图像之间的互信息： $I(x; [g; z]) = I(x; z) + I(x; g | z)$ 。
影响：定理 3.2 表明，这种增强降低了重构损失的理论下确界（ $\epsilon'_{inf} < \epsilon_{inf}$ ），从而允许使用更少的令牌实现高保真恢复。全局令牌被优化以最小化条件熵 $h(G(x) | g)$ ，直接增强增强序列的互信息。

2.2 动态令牌过滤 (DTF)（解决冗余）

为了消除冗余，TaTok 采用了一种基于累积条件熵的动态令牌过滤 (DTF) 算法。

机制：DTF 不采用固定数量的令牌，而是自适应地选择满足预定义信息要求所需的最小图像块令牌数量（ $N$ ）。
选择标准：图像块令牌根据其条件熵 $H(z_i | g)$ 进行排序，该熵量化了在给定全局令牌的情况下每个图像块贡献的独特信息。
约束：选择过程满足双重约束：
1. 最小信息约束：累积信息必须达到源自率失真理论的阈值 $T$ 。
2. 信息损失率约束：丢失的独特信息比例不得超过预定义比率 $\epsilon$ 。
过程：该算法按独特信息降序累积令牌，直到满足约束条件，确保仅保留信息丰富的图像块。

2.3 去分词与训练

重构：选出的前 $N$ 个图像块令牌与全局令牌拼接，形成增强序列。该序列经过量化后输入解码器（扩展的 ViT）以重构图像。为了与原始图像块数量对齐，序列会用可学习的掩码令牌进行填充。
损失函数：该框架使用复合损失进行端到端训练：
- 重构损失 ( $L_{rec}$ )：像素级均方误差 (MSE)。
- 量化损失 ( $L_{commit}$ )：使增强令牌与码本对齐。
- 全局语义对齐损失 ( $L_{glob}$ )：最小化全局令牌与图像整体信息之间的条件熵。

3. 主要贡献

理论缺陷证明：本文利用信息论严格证明，现有的离散分词器受限于不可消除的信息不足（源于率失真约束）和固有的信息冗余（源于图像相关性）。
统一框架 (TaTok)：提出了首个端到端可训练的分词器，统一了可学习的全局令牌和动态过滤机制。从理论上证明了与仅基于图像块的方案相比，这种组合降低了重构损失下界。
自适应效率：TaTok 根据信息丰富度而非固定网格分配令牌，在不牺牲质量的情况下实现了卓越的压缩效果。

4. 实验结果

实验在 ImageNet 256×256 图像生成和重构任务上进行。

重构质量：TaTok 仅使用 56.4 个令牌（码本大小 4096）即实现了 1.51 的重构 FID (rFID)。这优于最先进的方法，如 ViT-VQGAN（1024 个令牌，rFID 1.28）和 TiTok-B-57（57 个令牌，rFID 1.75），证明了每个令牌的信息保留能力更优。
生成质量：配合 MaskGIT-ViT 生成器，TaTok 实现了 1.89 的生成 FID (gFID)，超越了 MaskGIT-VQGAN（gFID 6.18）和 TiTok-B-64（gFID 2.48）。
效率：TaTok 展示了比标准基线 4.5 倍 的压缩率提升。在推理速度方面，与 MaskGIT-VQGAN (9.7 样本/秒) 相比，其吞吐量提升了 8.7 倍 (A100 上为 94.3 样本/秒)，同时使用的参数显著更少 (1.77 亿 vs 38 亿)。
消融研究：
- 全局令牌：实验证实，添加全局令牌显著改善了重构效果（使用 16 个令牌时，rFID 从 2.17 降至 1.51），验证了“信息不足”的假设。
- 冗余：随机或按位置截断 50% 的图像块令牌导致的 rFID 下降微乎其微，证实了高冗余性。然而，移除超过 50% 会导致质量崩溃，验证了自适应选择的必要性。
- 过滤策略：TaTok 基于熵的选择策略显著优于随机、均匀或固定位置（前/后 N 个）的采样策略。

5. 意义与主张

本文主张 TaTok 为当前分词器的“一刀切”压缩策略提供了一种理论健全的替代方案。通过率失真理论显式建模信息密度与令牌数量之间的权衡，TaTok 实现了：

紧凑且准确的表示：使用更少的令牌实现最先进的生成质量。
可扩展性：为多模态模型中的高效长序列处理提供了基础。
新见解：该工作揭示了边缘图像块令牌通常携带不成比例的位置信息，这一发现扩展了对二维空间数据如何编码为一维令牌序列的理解。

作者将 TaTok 定位为不仅仅是渐进式的改进，而是向自适应、信息论驱动的令牌分配的转变，解决了限制离散视觉分词器效率的信息不足和冗余这两个核心瓶颈。