🤖 machine learning

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

该论文提出了一种名为 InfoTok 的信息论正则化方法，通过基于信息瓶颈原理的互信息约束，在统一多模态大模型中实现了共享视觉 Token 化机制在压缩效率与任务相关性之间的最优平衡，从而在不增加额外训练数据的情况下同时提升了图像理解与生成性能。

原作者： Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 InfoTok 的新方法，旨在解决当前“全能型”人工智能（既能看图说话，又能看图画画）模型中的一个核心痛点。

为了让你轻松理解，我们可以把整个故事想象成**“一个忙碌的翻译官”和“一个有限的行李箱”**。

1. 背景：全能翻译官的困境

想象你有一个超级聪明的翻译官（这就是现在的多模态大模型，MLLM）。他的工作有两个：

看图说话（理解）：给你看一张复杂的风景照，他需要告诉你“这是山，那是水，云很白”。这需要他抓住核心意义（语义）。
看图画画（生成）：给你看一张风景照，他需要画出一张一模一样的新图。这需要他记住每一个细节（比如树叶的纹理、光影的微小变化）。

问题出在哪里？
现在的翻译官只有一个**“行李箱”**（这就是论文说的“共享 Token 空间”）。无论他是去“理解”还是去“画画”，他都必须把图片塞进这个行李箱里，然后带着箱子去工作。

如果箱子装满了细节（比如树叶的纹理），他画画时很完美，但去“理解”时，因为箱子太满，他没时间思考“这是山还是树”这种大道理，导致理解能力变差。
如果箱子只装大意（比如“这是一座山”），他理解能力很强，但去“画画”时，因为缺了细节，画出来的山像纸片一样，没有质感。

以前的做法是：要么给翻译官配两个箱子（一个装细节，一个装大意），但这太笨重且浪费资源；要么硬塞一个箱子，结果就是“顾此失彼”。

2. 核心观点：容量受限的视角

这篇论文的作者提出了一个非常聪明的视角：这个行李箱的容量是有限的，而且翻译官的脑子（算力）也是有限的。

作者认为，在这个有限的空间里，并不是所有信息都同等重要。

高熵的噪音（比如树叶上随机的灰尘、光线偶尔的闪烁）：这些信息很难利用，而且占地方，应该扔掉。
可复用的结构（比如山的形状、人的轮廓、物体的位置关系）：这些信息既对“理解”有用，也对“画画”有用，是真正的宝藏。

InfoTok 的核心思想就是： 在把图片塞进行李箱之前，先做一个**“信息筛选”**。我们要把那些没用的噪音过滤掉，只把最精华、最通用的“结构宝藏”装进去。

3. 解决方案：InfoTok（信息正则化）

作者给这个筛选过程起名叫 InfoTok。它就像给翻译官戴上了一副**“智能眼镜”，这副眼镜基于一个叫做“信息瓶颈”（Information Bottleneck）**的理论。

这副眼镜有三个功能，就像三个过滤器：

压缩过滤器（Compactness）：
- 比喻：就像整理行李时，把那些“虽然好看但没用”的装饰品（高熵噪音）扔出去。
- 作用：强迫模型只保留最核心的信息，不让行李箱被垃圾信息塞满。
任务过滤器（Sufficiency）：
- 比喻：确保扔东西的时候，别把“护照”和“地图”扔了。
- 作用：保证留下的信息足够让翻译官完成“看图说话”和“看图画画”两个任务。
对齐过滤器（Alignment）：
- 比喻：确保行李箱里的东西，翻译官能跟“文字语言”顺畅地交流。
- 作用：让视觉信息和语言信息更合拍，避免“鸡同鸭讲”。

4. 怎么做到的？（技术上的“魔法”）

理论上，要计算“哪些信息有用”非常难，就像要计算“这堆沙子到底有多少粒”一样，几乎算不过来。

作者用了两个聪明的数学工具（VIB 和 HSIC）来近似这个计算。你可以把它们想象成**“智能估重器”**：

它们不需要知道每一粒沙子的具体位置，而是通过统计规律，告诉模型：“嘿，这部分信息太乱了，扔掉；那部分信息很关键，留下。”
这样，模型在训练时就能自动学会：“少记点杂乱的细节，多记点通用的结构。”

5. 结果如何？

作者把这个方法应用到了三个现有的顶级模型（Harmon, OpenUni, Show-o2）上。

没有增加任何新数据：就像没有给翻译官买新书包，也没有给他看更多的书，只是教了他**“怎么整理行李”**。
效果惊人：
- 看图说话更聪明了（因为抓住了重点）。
- 看图画画更逼真了（因为保留了关键的结构和细节，去掉了干扰）。
- 图 3 的对比显示：用 InfoTok 后，模型能更准确地听懂指令（比如“把红球放在蓝球左边”），画出来的图也更符合逻辑。

总结

这篇论文就像是在告诉 AI 开发者：

“别再拼命给模型塞更多数据或造更大的模型了。与其让模型‘什么都记’，不如教它**‘学会遗忘’**——忘掉那些无用的噪音，只记住那些对理解和创作都至关重要的核心结构。”

InfoTok 就是这套**“学会遗忘”**的整理术，它让 AI 在有限的资源下，变得更聪明、更全能。

这是一篇关于**统一多模态大语言模型（Unified MLLMs）中视觉 Token 化（Visual Tokenization）**的学术论文总结。论文提出了一种名为 InfoTok 的新框架，旨在解决统一模型中图像理解与图像生成任务对视觉表示需求冲突的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

统一 MLLMs 的挑战：当前的统一多模态大模型试图在一个框架内同时实现图像理解（Image Understanding）和图像生成（Image Generation）。核心组件是共享视觉 Tokenizer，它将高维图像映射为有限的 Token 序列供大语言模型（LLM）处理。
现有方法的局限性：
- 需求冲突：图像理解需要语义抽象（Semantic Abstraction），而图像生成依赖细粒度的感知细节（Perceptual Detail）。
- 架构驱动而非理论驱动：现有的共享 Token 设计（如扩大词表、对齐嵌入）主要依赖架构调整和端到端任务损失，缺乏明确的准则来规定共享 Token 应保留哪些信息。
- 容量受限视角：在有限的计算和表示预算下，Tokenizer 作为一个“计算受限的学习者”，如果 indiscriminately（不加区分地）压缩，会浪费预算在难以利用的高熵噪声和冗余细节上，而忽略了可复用的结构化信息。
核心问题：如何在有限的 Token 预算下，显式地控制信息流，使共享 Token 既能保留理解所需的语义结构，又能保留生成所需的感知细节，同时抑制冗余？

2. 方法论 (Methodology)

论文提出了 InfoTok，一种基于信息瓶颈（Information Bottleneck, IB）原理的信息正则化视觉 Token 化机制。

2.1 核心思想：容量受限视角 (Capacity-Constrained Perspective)

将共享 Tokenizer 视为在有限预算下的计算受限学习者。目标是将表示预算优先分配给可复用的结构（如语义实体、组合线索），而非高熵的视觉变化或冗余。

2.2 信息正则化目标 (Information-Regularized Objective)

InfoTok 将 Token 化建模为图像 ( $I$ )、共享 Token ( $Z$ ) 和任务输出 ( $Y$ ) 之间的信息流控制问题。基于 IB 原理，定义了以下优化目标（针对理解 $u$ 和生成 $g$ 分支）：

$\mathcal{L}_{IB} = I(\tilde{Z}; I) - \beta I(\tilde{Z}; Y^{GT}) - \alpha I(\tilde{Z}; T)$

其中包含三个关键项：

紧凑性 (Compactness)： $I(\tilde{Z}; I)$ 。最小化 Token 与原始输入图像之间的互信息，以抑制冗余的高频细节和噪声，强制 Token 保持紧凑。
充分性 (Sufficiency)： $I(\tilde{Z}; Y^{GT})$ 。最大化 Token 与任务真实标签（理解文本或生成图像）之间的互信息，确保保留任务关键信息。
对齐性 (Alignment)： $I(\tilde{Z}; T)$ 。最大化 Token 与文本嵌入之间的互信息，增强跨模态一致性，确保视觉 Token 与语言空间兼容。

2.3 可计算的实现 (Tractable Instantiations)

由于直接计算高维互信息是不可行的，论文提出了两种可微的依赖估计器来实现上述目标：

变分信息瓶颈 (VIB)：通过变分后验分布 $q_\phi(\tilde{Z}|I)$ 和重参数化技巧，将互信息项转化为 KL 散度上界和似然下界。
希尔伯特 - 施密特独立性准则 (HSIC)：作为一种基于核的非参数依赖度量，作为 VIB 的替代方案，无需显式密度建模。

2.4 训练策略

微调阶段：在预训练的统一 MLLM 基础上进行微调，不引入额外数据。
蒸馏约束：引入蒸馏损失 $L_{distill}$ ，将正则化后的任务特定投影 Token ( $\tilde{Z}$ ) 的信息结构回传给共享编码器 Token ( $Z$ )，确保编码器本身被有效约束。
总损失函数： $\mathcal{L}_{Total} = \mathcal{L}_{MLLM} + \lambda \mathcal{L}_{InfoTok}$ 。

3. 主要贡献 (Key Contributions)

提出容量受限视角：首次从计算受限学习者的角度审视共享 Token 化，指出显式准则对于分配预算至可复用结构而非高熵噪声的必要性。
构建信息理论目标 (InfoTok)：基于 IB 原理，形式化了共享 Token 学习的目标，通过互信息约束显式控制压缩、任务相关性和跨模态对齐。提供了 VIB 和 HSIC 两种实用的可微实现。
广泛的实验验证：将 InfoTok 集成到三个具有代表性的统一 MLLM（Harmon, OpenUni, Show-o2）中。实验表明，无需额外训练数据，仅通过正则化即可显著提升理解与生成性能。
理论与实证分析：提供了理论证明（基于数据处理不等式），说明任务特定投影不会增加互信息，因此对投影层的约束能有效作用于共享编码器。通过频域分析（CKA）证实 InfoTok 确实保留了低频结构信息并抑制了高频噪声。

4. 实验结果 (Results)

基准测试表现：
- 图像理解：在 UniBench, GQA, SEED, POPE, MME, MMV2, MMMU 等基准上，InfoTok 微调后的模型（如 InfoTok-Harmon, InfoTok-Show-o2）在多个指标上取得显著提升，部分性能甚至超越参数量更大的模型（如 Show-o2-7B）。
- 图像生成：在 Geneval, Geneval++, WISE 等生成基准上，InfoTok 显著提升了指令遵循能力（如属性绑定、位置关系）和整体图像质量（FID 降低）。
消融实验：
- 组件有效性：紧凑性 (C) 和充分性 (S) 是核心提升来源；对齐 (A) 和蒸馏 (D) 进一步增强了稳定性和跨模态一致性。
- 估计器鲁棒性：VIB 和 HSIC 两种实现均能带来一致的性能提升，证明方法不依赖于特定的互信息估计器。
- 数据效率：仅需 0.5M - 1.5M 数据即可达到最佳效果，无需大规模额外数据。
- 对比其他正则化：相比熵正则化（导致性能下降）和 Token Dropout（导致性能大幅下降），InfoTok 是唯一能同时提升理解和生成性能的方法。
定性分析：可视化结果显示，InfoTok 生成的图像在遵循复杂指令（如“红色圆圈在左，蓝色在后”）方面表现更好，且减少了冗余细节。

5. 意义与影响 (Significance)

范式转变：InfoTok 证明了在统一 MLLM 中，除了单纯增加模型规模（Scaling）或调整架构外，基于信息论的原则性信息控制是提升性能的关键路径。
通用设计工具：该方法不依赖特定架构，可作为即插即用的正则化模块，适用于各种共享 Token 的统一模型，为解决“理解 vs 生成”的表示冲突提供了通用解决方案。
理论指导实践：将信息瓶颈理论成功转化为可操作的训练目标，为未来设计更高效、更稳定的多模态表示学习奠定了理论基础。

总结：InfoTok 通过引入信息瓶颈原理，显式地调节了共享视觉 Token 中的信息流，在有限的 Token 预算下实现了语义抽象与感知细节的最佳平衡，显著提升了统一多模态大模型在理解和生成任务上的综合表现。