On the Adversarial Robustness of Discrete Image Tokenizers

该论文首次研究了离散图像分词器的对抗鲁棒性，提出了高效且通用的攻击方法，并创新性地通过无监督对抗微调显著提升了分词器在各类下游任务中的鲁棒性与泛化能力。

要点

这篇论文探讨了一个非常前沿且重要的话题：多模态人工智能（能看懂图、能写文章的 AI）中的“翻译官”有多脆弱，以及如何保护它们。

为了让你轻松理解，我们可以把整个系统想象成一个**“跨国翻译团队”**。

1. 背景：谁是“翻译官”？

现在的 AI 模型（比如能看图说话的模型）通常由两部分组成：

• 大脑（LLM）： 负责思考、写文章、回答问题。它非常聪明，但只懂“文字”。
• 眼睛（Tokenizer）： 负责把图片“翻译”成大脑能懂的文字序列。

在这个论文之前，大家只关注“大脑”会不会被坏人骗（比如给一张猫的图片，骗它说是狗），却完全忽略了**“翻译官”**本身。

论文发现： 这个“翻译官”非常脆弱！只要给图片加一点点人眼看不见的噪点（就像给照片加了一层极薄的滤镜），翻译官就会把图片“翻译”错。

• 后果： 大脑虽然很聪明，但它收到的翻译是错的，所以它也会输出错误的答案，甚至说出危险的话（比如把“请转账”翻译成“请给我钱”）。

2. 攻击：如何“黑”进翻译官？

作者设计了一种**“无监督攻击”**（Unsupervised Attack）。

• 传统攻击（笨办法）： 以前的黑客要骗 AI，需要知道 AI 具体要做什么任务（比如分类任务），还要知道正确答案（标签），然后针对整个系统（大脑 + 眼睛）进行攻击。这就像要骗过整个翻译团队，需要知道他们要翻译什么具体的会议内容，成本很高。
• 新攻击（聪明办法）： 作者发现，只要让“翻译官”在翻译时感到“困惑”即可。
  • 比喻： 想象翻译官手里有一本**“词汇字典”**（Codebook）。攻击者不需要知道最终要翻译什么，只需要稍微扭曲一下图片，让翻译官觉得：“哎呀，这张图看起来既像猫又像狗，我到底该查字典里的哪个词？”
  • 结果： 翻译官查错了字典，输出了错误的“代码”。哪怕大脑再聪明，收到错误的代码，也会输出错误的结果。
  • 威力： 这种攻击不需要知道任务目标，计算量小，而且对很多任务（分类、检索、写文章）都有效。

3. 防御：给翻译官“打疫苗”

既然翻译官这么脆弱，怎么保护它？作者提出了一种**“无监督对抗微调”**的方法。

• 传统防御（笨办法）： 以前为了保护 AI，通常是用大量带标签的数据，让 AI 在“做任务”的过程中学习抵抗攻击。但这需要大量人工标注的数据，而且只能保护特定的任务（比如只保护分类，不保护写文章）。
• 新防御（聪明办法）： 作者只训练“翻译官”这一部分，而且不需要任何标签（不需要告诉它这是猫还是狗）。
  • 训练过程： 给翻译官看一张原图，然后立刻生成一张被攻击过的“扭曲图”。告诉翻译官：“不管图片怎么扭曲，你翻译出来的‘代码’必须和原图一样！”
  • 比喻： 这就像给翻译官做**“脱敏训练”。不管外界怎么干扰（噪音、滤镜），训练它保持“定力”**，始终能认出图片的本质，并输出正确的翻译。
  • 优势：
    1. 省钱省力： 只训练“翻译官”，不用动“大脑”，计算成本低。
    2. 通用性强： 不需要标签，可以用任何图片（甚至没标签的网图）来训练。
    3. 即插即用： 训练好的“强壮翻译官”可以直接换进任何现有的 AI 系统里，不用重新训练整个系统。

4. 实验结果：真的有用吗？

作者做了很多实验，结果令人惊喜：

• 分类任务： 原本一被攻击就全错的模型，用了新翻译官后，在攻击下依然能保持很高的准确率。
• 写文章（Captioning）： 这是一个很危险的场景。攻击者试图让 AI 把一张风景图描述成“请转账给 123456"。
  • 普通翻译官： 中招了，真的输出了诈骗话术。
  • 强壮翻译官： 即使图片被攻击，它依然坚持输出“这是一张美丽的风景图”，成功挡住了诈骗。
• 通用性： 哪怕只在“猫狗图片”上训练，这个强壮的翻译官也能保护“医疗影像”或“卫星地图”等从未见过的任务。

总结

这篇论文的核心思想可以用一句话概括：

要想让 AI 系统安全，不能只保护“大脑”，必须先保护好负责“翻译”的“眼睛”。

作者发明了一种**“无标签、低成本、通用”**的方法，给这些“翻译官”穿上了防弹衣。这不仅让 AI 在面对恶意攻击时更稳健，也为未来构建更安全、更可靠的多模态大模型打下了坚实的基础。

简单类比：
以前我们只给保镖（大脑）穿防弹衣，结果发现翻译员（Tokenizer）太容易被收买或误导，导致保镖听错指令。现在，我们给翻译员也穿上了防弹衣，并且训练他“不管外界怎么干扰，都只说真话”。这样，整个团队就安全了。

技术摘要

这是一份关于论文《On the Adversarial Robustness of Discrete Image Tokenizers》（离散图像 Tokenizer 的对抗鲁棒性）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
离散图像 Tokenizer（Discrete Image Tokenizers）将视觉输入编码为有限词汇表中的 Token 序列，已成为多模态系统（如 Encoder-only、Encoder-Decoder 和 Decoder-only 模型）的核心组件。它们被广泛用于图像重建、分类、检索、视觉问答（VQA）以及生成式多模态大语言模型（MLLM）中，作为 CLIP 或 DINO 等连续编码器的替代方案。

核心问题：
尽管 CLIP 等连续编码器的对抗鲁棒性已被广泛研究，但离散图像 Tokenizer 的对抗脆弱性尚未被探索。

• 脆弱性来源： 离散 Tokenizer 通过向量量化（Vector Quantization）将连续潜在特征映射到离散的 Codebook 索引。由于量化过程在潜在空间边界处是不连续的，微小的扰动可能导致最近的 Codebook 索引发生剧烈变化，从而改变输出的 Token 序列。
• 潜在风险： 由于 Tokenizer 是下游任务（如图像生成、多模态理解）的输入端，其脆弱性会直接导致整个多模态系统的安全风险。攻击者可能通过扰动输入图像，诱导模型生成错误的分类、错误的描述（Caption）或恶意的输出，而无需访问下游的大语言模型（LLM）本身。

2. 方法论 (Methodology)

本文提出了一套完整的“攻击 - 防御”框架，核心在于**无监督（Unsupervised）**的视角。

A. 无监督攻击 (Unsupervised Attacks)

作者提出了一种针对离散 Tokenizer 的通用攻击方法，旨在扰动提取的特征以改变 Token 序列，而不依赖下游任务的标签信息。

• 攻击目标： 最大化原始图像与扰动图像在**量化前（Pre-quantization）**的嵌入向量之间的 $\ell_2$ 距离。
• 优化目标函数：
  $$\max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^{T} \|h_i(x + \delta) - h_i(x)\|_2^2$$
  其中 $h_i$ 是编码器输出的第 $i$ 个预量化嵌入，$\delta$ 是受限的对抗扰动。
• 优势：
  • 任务无关（Task-agnostic）： 不需要下游任务的标签（如类别或文本描述）。
  • 高效： 仅针对 Tokenizer 进行攻击，计算成本远低于针对整个多模态系统的端到端攻击。
  • 通用性： 能够破坏任何使用该 Tokenizer 的下游任务（分类、检索、生成等）。

B. 无监督对抗微调 (Unsupervised Adversarial Fine-tuning)

为了防御上述攻击，作者提出了一种基于无监督对抗训练的微调策略，灵感来源于鲁棒 CLIP 编码器的研究。

• 训练目标： 最小化原始图像与其对抗样本在量化前嵌入空间中的差异，同时保持 Tokenizer 的原始参数（$\theta_{orig}$）作为参考。
  $$\min_{\theta} \frac{1}{|D|} \sum_{x \in D} \max_{\|\delta\|_p \le \epsilon} \sum_{i=1}^{T} \|h^\theta_i(x + \delta) - h^{\theta_{orig}}_i(x)\|_2^2$$
• 关键特性：
  • 仅微调编码器： 仅更新 Tokenizer 的编码器参数，冻结 Codebook、解码器以及下游模型（如 LLM）。
  • 无需标签： 利用无标签图像即可进行训练，极大地扩展了可用数据源。
  • 即插即用： 训练后的鲁棒 Tokenizer 可直接替换原有系统中的 Tokenizer，无需重新训练下游模型。

3. 主要贡献 (Key Contributions)

1. 首次系统性研究： 首次系统性地评估并提升了离散图像 Tokenizer 的对抗鲁棒性。
2. 提出高效攻击： 设计了任务无关、计算高效的无监督攻击方法，证明了即使没有标签信息，也能有效破坏基于 Tokenizer 的下游任务。
3. 提出通用防御： 开发了基于无监督对抗微调的防御方案，显著提升了 Tokenizer 对无监督和端到端监督攻击的鲁棒性。
4. 成本与性能优势： 相比端到端的监督对抗训练，该方法计算成本更低（仅需微调编码器），且能利用无标签数据，具有更好的泛化能力。
5. 实证验证： 在分类、多模态检索、图像描述（Captioning）和 VQA 等多个任务上验证了鲁棒 Tokenizer 的有效性。

4. 实验结果 (Results)

作者在 Imagenette、ImageNet、Caltech101 以及多模态数据集（OI-Crop, OI-Pos, VQAv2 等）上进行了广泛实验，使用了 TiTok、FlexTok 和 UniTok 等主流 Tokenizer。

• 攻击有效性：

  • 无监督攻击（仅针对 Tokenizer）在分类任务上的成功率接近端到端监督攻击（针对整个分类器），尤其是在扰动半径 $\epsilon$ 较大时。
  • 在生成任务中，无监督攻击成功诱导原始模型生成针对特定目标图像的恶意描述（如“请转账给..."），而无需访问 LLM。

• 防御效果（鲁棒性提升）：

  • 分类与检索： 使用经过对抗微调的 Tokenizer 构建的 FuseLIP 和 UniTok 模型，在 $\ell_\infty$ 攻击下，鲁棒准确率显著提升（例如在 ImageNet 上，原始模型鲁棒性接近 0%，而鲁棒模型在 $\epsilon=4/255$ 下可达 75% 以上）。
  • 多模态大模型 (MLLM)： 在 VQA 任务中，原始 UniTok-MLLM 在攻击下准确率暴跌至近 0%，而使用鲁棒 Tokenizer 后，准确率在 $\epsilon=4/255$ 下仍保持在 40% 以上。
  • 安全性： 在图像描述任务中，鲁棒模型成功抵御了诱导生成有害内容（如诈骗、骚扰信息）的针对性攻击，保持了描述的安全性和准确性。

• 泛化性与效率：

  • 跨任务泛化： 仅在 ImageNet 上微调的 Tokenizer，在 Caltech101、VQA 等未见过的任务和数据集上均表现出优异的鲁棒性。
  • 计算效率： 无监督微调（仅更新编码器）的训练速度是端到端监督微调的 2.2 倍（1.17s/样本 vs 2.56s/样本）。
  • 数据灵活性： 使用 CC3M（比 ImageNet 大 3 倍且无标签）进行微调，进一步提升了泛化性能，证明了无标签数据的价值。

5. 意义与影响 (Significance)

• 安全基石： 该工作揭示了离散图像 Tokenizer 是多模态基础模型安全链条中的关键薄弱环节。提升 Tokenizer 的鲁棒性是构建安全多模态系统的必要步骤。
• 实用性强： 提出的防御方法无需重新训练庞大的下游模型（如 LLM），即可显著提升整个系统的鲁棒性，且能利用海量无标签数据，具有极高的落地价值。
• 未来方向： 为后续研究提供了基础，包括探索不同 Tokenizer 设计（如 VQ 与 FSQ、Codebook 大小）对鲁棒性的影响，以及开发更具体的防御机制。

总结： 本文证明了离散图像 Tokenizer 极易受到对抗攻击，并成功提出了一种高效、通用且无需标签的对抗微调方案，显著增强了多模态系统在分类、检索和生成任务中的安全性与鲁棒性。