Communication-Inspired Tokenization for Structured Image Representations

本文提出了受人类通信启发的 COMiT 框架，通过迭代观察局部图像并动态更新离散令牌序列，在单一 Transformer 模型中实现了具有对象中心结构和语义对齐的图像表示，从而显著提升了组合泛化与关系推理能力。

要点

这篇论文介绍了一种名为 COMiT（Communication-inspired Tokenization，受通信启发的图像分词）的新方法。为了让你轻松理解，我们可以把传统的图像识别方法比作“拍快照”，而 COMiT 则像是一场“生动的描述游戏”。

🎨 核心比喻：从“拍快照”到“讲故事”

想象一下，你手里有一张复杂的照片（比如一个公园，里面有长椅、狗、人和树）。

• 传统方法（旧模式）：
  就像是一个照相机。它把照片切成几千个极小的方块（像素块），然后把这些方块全部打包扔给电脑。电脑看到这些方块，虽然能拼回原图，但它很难分清哪些方块属于“狗”，哪些属于“树”。它看到的是一堆杂乱的纹理，就像把一本百科全书撕碎了扔给你，让你凭感觉去猜内容。这种方法擅长“还原图片”，但不擅长“理解图片”。

• COMiT 方法（新模式）：
  就像是一个正在描述这幅画的画家。

  1. 先看一眼全局：画家先扫视一眼整个公园（全局图）。
  2. 逐步聚焦：然后，他决定先描述那只狗（局部特写），接着描述长椅，再描述树。
  3. 边看边记：每看一个局部，他就在脑子里更新一下对整幅画的记忆。
  4. 最终复述：最后，他根据脑子里更新好的记忆，把整幅画重新画出来。

COMiT 的核心思想就是：让 AI 像人类一样，通过“一步步观察”和“不断更新记忆”来理解图像，而不是把图像一次性压扁。

---

🧠 它是如何工作的？（三个关键步骤）

1. 像侦探一样“逐块扫描” (Attentive Tokenization)

传统的 AI 是一次性看完所有东西。COMiT 则像侦探一样，它手里拿着一张“待办清单”（潜变量消息）。

• 它先随机看图片的一小块（比如只看那只狗）。
• 然后它把看到的狗的信息，更新到它的“记忆卡片”上。
• 接着，它再看另一块（比如长椅），把长椅的信息也加到“记忆卡片”上，同时可能会调整之前对狗的记忆（比如“哦，原来狗是在长椅旁边的”）。
• 这个过程重复几次，直到它看遍了图片的关键部分。

比喻： 就像你在拼拼图，但你不是把整盒拼图倒出来，而是每次只拿几块，拼好一部分，再拿几块，边拼边调整之前的布局。

2. “既是说话者，又是听众” (Homogeneous Communication)

大多数 AI 模型有两个部分：一个负责“编码”（把图变成代码），一个负责“解码”（把代码变回图）。这就像一个人写日记，另一个人读日记。
COMiT 很特别，它只用一个大脑。

• 它既是那个“说话的人”（观察图片并更新记忆），也是那个“听话的人”（根据记忆把图片画出来）。
• 这种设计模仿了人类：当我们描述一个场景时，我们的大脑同时在处理“观察”和“回忆”两个任务，这能让记忆更清晰、更有条理。

3. “语义对齐” (Semantic Alignment)

为了让 AI 真的“懂”图片，而不仅仅是“背”图片，作者给它请了一位“老师”（一个已经训练好的强大 AI，叫 DINOv2）。

• 在训练过程中，COMiT 会偷偷看这位老师的笔记，确保自己脑子里的“记忆卡片”里的概念（比如“狗”、“树”）和老师的概念是对得上的。
• 但这只是辅助，真正的魔法在于它“一步步观察”的过程，这让它能把不同的物体清晰地分开，而不是混成一团。

---

🚀 为什么这很重要？（它带来了什么好处？）

1. 更懂“物体”和“关系”：
   以前的方法，AI 很难分清“狗在椅子上”和“椅子在狗上”的区别，因为它看到的是一堆乱码。COMiT 因为是一步步看的，所以它能清楚地知道：“哦，先看到了椅子，然后看到了狗，狗在椅子上面。”这让它在处理复杂场景时更聪明。

2. 更强的“举一反三”能力：
   如果让 AI 画一只“在月球上骑自行车的猫”，以前的方法可能会画得很奇怪，因为它没学过这种组合。但 COMiT 因为学会了把“猫”、“自行车”、“月球”作为独立的模块来理解，所以它能更好地把新东西组合起来（这叫组合泛化）。

3. 可解释性：
   你可以看到 COMiT 的“注意力图”（它在看哪里）。你会发现，它的“记忆卡片”里的每一个 token（代码块）都精准地对应图片里的一个物体（比如一个 token 专门代表“鸟的翅膀”，另一个代表“鸟的嘴”）。这就像给 AI 的大脑做了个 X 光片，我们能看懂它在想什么。

🌟 总结

这篇论文提出了一种受人类沟通启发的新方法。它不再把图像看作一堆死板的像素，而是看作一个需要逐步探索和理解的故事。

• 旧方法：把书撕碎，让你猜内容。
• COMiT：像讲故事一样，先讲大背景，再讲细节，边讲边修正，最后让你能完美复述这个故事。

这种方法让 AI 在理解图像结构、推理物体关系方面迈出了一大步，未来可能让 AI 更聪明地处理视频、机器人视觉等需要“理解世界”的任务。

技术摘要

论文技术总结：面向结构化图像表示的通信启发式分词 (Communication-Inspired Tokenization for Structured Image Representations)

1. 研究背景与问题 (Problem)

现代多模态系统（如 Transformer 架构）越来越倾向于将图像转换为离散的一维 Token 序列进行处理。然而，现有的图像分词器（Image Tokenizers）主要面临以下局限性：

• 优化目标单一：大多数现有方法（如 VQ-VAE, VQ-GAN, TiTok 等）主要优化重建质量和压缩率。
• 语义结构缺失：由于过度关注局部纹理和压缩，学习到的 Token 往往捕捉的是局部补丁统计信息，而非对象级的语义结构。
• 下游任务受限：这种缺乏结构化语义的 Token 表示，导致模型在需要组合泛化（Compositional Generalization）和关系推理（Relational Reasoning）的下游任务中表现不佳。Token 之间的语义信息往往是纠缠的，难以被解释或定位到具体的物体。

核心问题：如何设计一种分词机制，不仅能重建图像，还能生成具有结构化、可解释、以对象为中心的离散 Token 序列，从而更好地服务于多模态推理？

2. 方法论 (Methodology)

作者提出了 COMiT (Communication-inspired Tokenization)，一种受人类通信过程启发的新型图像分词框架。其核心思想是将图像编码视为一个迭代的“通信与重建”博弈过程。

2.1 核心设计原则

1. 注意力与序列分词 (Attentive and Sequential Tokenization)：

   • 模型不一次性处理整张图像，而是像人类描述场景一样，按顺序观察图像的局部裁剪（Crops）。
   • 在每一步，模型观察一个新的局部区域，并递归更新其离散的潜在消息（Latent Message）。
   • 这个过程允许模型逐步整合信息，并在有限的 Token 预算下，优先保留高语义信息，丢弃冗余细节。

2. 同质化通信 (Homogeneous Communication)：

   • 与传统自编码器（Encoder-Decoder 分离）不同，COMiT 使用同一个 Transformer 网络同时充当“说话者”（编码器）和“听者”（解码器）。
   • 这种对称设计模仿了人类在记忆和回忆场景时的认知过程，减少了架构冗余。

2.2 技术流程

• 编码阶段 (Encoding)：

  • 输入图像被随机裁剪为一系列局部块 $\{c_k\}$ 和全局块。
  • 初始化一个潜在消息 $m_0$（由 $L$ 个 Token 组成）。
  • 模型 $f_\theta$ 迭代接收当前裁剪块 $c_k$、位置偏移 $a_k$ 和上一轮消息 $m_{k-1}$，输出更新后的消息 $m_k$。
  • 消息通过 FSQ (Finite Scalar Quantization) 进行离散化，形成固定的 Token 序列。
  • 贪心策略：训练时随机化裁剪数量，迫使模型在每一步都“贪心”地利用现有 Token 容量，避免预分配固定位置。

• 解码阶段 (Decoding)：

  • 使用流匹配 (Flow Matching) 框架。
  • 最终的离散消息 $m_K$ 作为条件，指导同一个 Transformer 网络从噪声中重建完整图像。
  • 解码过程是条件流匹配，预测边际流的速度场。

• 训练目标：

  • 流匹配重建损失 ($L_{FM}$)：确保图像重建质量。
  • 语义表示对齐损失 ($L_{SREPA}$)：将中间层表示与预训练的自监督视觉模型（如 DINOv2）的 [CLS] 特征进行对齐，强制 Token 携带高层语义信息。
  • REPA 损失：加速训练并注入空间先验。

2.3 推理策略 (Cropping Policies)

COMiT 在推理时具有灵活性，支持不同的裁剪策略：

• 全局裁剪：仅输入整图（类似传统分词）。
• 自适应裁剪：模型先观察全局图，然后基于当前重建的不确定性（误差最大区域），动态选择下一个局部裁剪进行补充。这种策略能显著减少不确定性，逐步细化图像细节。

3. 关键贡献 (Key Contributions)

1. 提出 COMiT 框架：首次将“通信启发”引入图像分词，通过迭代观察和递归更新，显式地诱导 Token 序列形成以对象为中心的结构。
2. 统一架构设计：实现了编码和解码的单一网络统一，利用流匹配框架进行端到端训练，无需分离的 Encoder/Decoder。
3. 结构化 Token 的涌现：证明了通过注意力机制和序列化处理，模型能够自动学习将不同物体映射到不同的 Token 子集，实现了语义的解纠缠。
4. 新的评估基准：构建了一套包含语义 grounding、组合泛化（MSCOCO）和关系推理（Visual Genome）的测试套件，超越了传统的重建指标。

4. 实验结果 (Results)

在 ImageNet1k 上训练，并在多个基准测试中与 TiTok, FlexTok, SelfTok 等 SOTA 1D 分词器进行了对比：

• 语义理解能力：

  • ImageNet100 分类：COMiT-B 达到 82.91% Top-1 准确率，显著优于 TiTok-B (19.43%) 和 FlexTok (81.54%)。
  • 组合泛化 (MSCOCO)：在未见过的物体组合上，COMiT 表现出极强的泛化能力，证明了 Token 的解耦性。
  • 关系推理 (Visual Genome)：在预测物体间关系任务中，COMiT 取得了 56.42% 的准确率，远超基线模型。

• 可解释性与注意力：

  • 可视化显示，COMiT 的 Token 注意力图紧密对齐于图像中的具体物体（mIoU 达到 0.53），而缺乏序列训练的基线模型注意力则较为弥散（mIoU 0.34）。
  • 模型能够根据观察顺序，逐步在潜在消息中“添加”物体，体现了组合性。

• 重建与语义的权衡：

  • 虽然 COMiT 在重建指标（rFID, PSNR）上略低于专门优化的生成模型（如 SelfTok），但其在语义任务上的巨大优势证明了其设计在理解任务上的优越性。
  • 消融实验表明，SREPA（语义对齐） 提供了语义基础，而通信启发的序列分词则是实现结构化 Token 的关键。

5. 意义与影响 (Significance)

• 范式转变：将图像分词的目标从单纯的“压缩与重建”转向“结构化语义表示”，为多模态大模型（LMMs）提供了更优质的视觉输入接口。
• 可解释性提升：生成的 Token 序列具有明确的对象对应关系，使得模型内部的推理过程更加透明，有助于调试和信任。
• 推理能力增强：结构化 Token 显著提升了模型在需要逻辑推理、关系理解和组合泛化的复杂视觉任务中的表现。
• 未来方向：该方法为视频理解（处理时空冗余）和自适应视觉处理（根据任务动态调整 Token 数量）提供了新的思路。

总结：COMiT 通过模拟人类描述场景的通信过程，成功构建了一种既能重建图像又能提供结构化语义信息的离散 Token 表示。它证明了在分词过程中引入序列化和注意力机制，是解决当前多模态模型在语义理解和推理方面瓶颈的关键路径。