🤖 machine learning

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

本文介绍了“窃取补丁大小”（Steal the Patch Size），这是一种利用视觉语言模型中任务级侧信道准确率下降来恢复私有分词器配置（如补丁大小和预处理流水线）的黑盒攻击，从而实现针对性的对抗性操纵。

原作者： Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图猜出一位名厨的秘密食谱，但你不能看到厨房、食材，也看不到厨师的笔记。你只能点这道汤，品尝它，然后问：“这味道如何？”

这篇论文描述了一个聪明的技巧，研究人员通过“品尝”现代 AI 图像解析器（称为视觉语言模型）的“汤”，来弄清楚它们的秘密配方。具体来说，他们成功窃取了两个隐藏细节：

“分块大小”（Patch Size）： AI 在观察图像之前，是如何将图像切分成微小的正方形小块（tiles）的。
“预处理”（Preprocessing）： AI 是将每张图像都挤压成一个特定尺寸，还是根据它们原始形状的不同进行差异化处理。

以下是他们是如何做到的，使用了简单的类比。

“草莓”问题

你知道为什么有些人很难数出单词“strawberry”中有多少个字母“r”吗？因为大脑看到的是整个单词，而不是单个字母。

这篇论文发现，AI 模型在图像处理上也存在类似的问题。大多数 AI 模型并不会将图片视为连续的图像；它们会将图像切成一个网格状的小方块（patches），就像马赛克一样。如果 AI 将图像切成 16x16 像素的正方形，它就会把每个方块视为一个单一的“词”（或 token）。

陷阱：网格游戏

研究人员创建了一个简单的游戏来戏弄 AI。他们向 AI 展示一张彩色网格（类似于棋盘格）的图像，并问道：“这个网格中有多少个方块？”

人类可以瞬间回答这个问题。但 AI 开始表现出一种非常奇怪且可预测的失败模式：

当网格方块的大小为特定数值时，AI 能答对。
当网格方块稍微变大或变小时，AI 会出错。
当网格方块的大小与 AI 隐藏的“切割块”大小完全一致时，AI 会彻底“失明”并表现得极其糟糕。

为什么？ 想象一下，如果 AI 的切割块与网格线完美对齐。AI 看向其中一个方块时，只会看到一种纯色。它永远看不到颜色变化的“线”，因为那条线恰好落在两个方块之间。这就像试图通过只看砖块而不看灰浆，来观察砖墙的边缘一样。AI 失去了计数的能力。

劫案：窃取秘密

通过测试成千上万种不同的网格尺寸，研究人员观察到了这些“盲点”。

寻找分块大小： 他们注意到，每当网格大小是某个特定数字（例如 14, 28, 42）的倍数时，AI 就会失败。这告诉他们，AI 隐藏的“切割块”宽度正好是 14 像素。
寻找缩放规则： 一些 AI 模型会在切块之前，将每张图像挤压成一个固定尺寸（如 512x512）。而另一些模型则会根据不同情况进行处理。
- 如果 AI 会进行挤压，那么当你仅仅改变网格大小时，“盲点”就会消失。
- 但研究人员加入了一个技巧：他们在更大的空白画布（填充/padding）中放置网格。通过改变这个空白画布的大小，他们可以迫使 AI 以可预测的方式挤压图像。这揭示了 AI 挤压图像的具体尺寸（例如 512 像素）。

结果：他们知道了秘密

利用这种方法，研究人员成功猜出了 GPT-4o、Claude 和 Qwen 等主流 AI 模型的隐藏设置。他们不需要破解代码；他们只是提出了正确的问题，并观察 AI 在哪里跌倒。

为什么这很重要？（“针对性”攻击）

论文表明，了解这些秘密可以实现一种“外科手术式”的攻击。

想象一下，你想诱骗某个特定的 AI 将停止标志看成限速标志，但你不想误伤其他的 AI。

没有秘密时： 你只能做一个通用的诡计，这可能对两个 AI 都有效，也可能对两个都不起作用。
有了秘密后： 你确切知道第一个 AI 是如何切割图像的。你可以创造一个专门针对该特定切割风格的诡计，而这个诡计对于第二个（采用不同切割方式的）AI 来说看起来完全正常。

这就像你知道某个特定锁芯的弹片宽度是 14mm。你可以打造一把只能打开那把锁的钥匙，同时让所有其他锁都保持原样。

总结

论文证明了 AI 模型处理图像的“不可见”方式留下了指纹。通过询问关于网格的简单问题，研究人员可以逆向工程出模型的内部设置。这揭示了 AI 如何看待世界的“实现细节”实际上是秘密钥匙——如果被窃取，攻击者可以针对这些模型制造出极具针对性且危险的诡计。

技术摘要：窃取补丁尺寸：对抗性操纵视觉语言模型

问题陈述

部署中的视觉语言模型（VLMs）依赖于复杂且通常未公开的视觉预处理流水线。这些流水线包含了关键的架构与系统级设计选择，例如视觉补丁大小（ $P$ ）、输入缩放策略、填充/裁剪规则以及目标分辨率（ $S$ ）。尽管这些参数显著影响模型的效率、准确性和鲁棒性，但它们通常被视为私有的部署时信息，不会通过 API 或文档进行披露。

本文针对黑盒 VLM 中的一个“盲点”进行了研究：即当输入图像与模型的内部标记化网格（tokenization grid）发生特定的结构对齐时，这些模型无法执行简单的任务（如计数网格单元）。作者认为，这些失败并非随机现象，而是由类 ViT 的补丁化（patchification）过程引起的确定性的、任务级的侧信道。核心研究问题在于：是否仅通过 API 访问，就能系统性地恢复黑盒 VLM 私有的架构和预处理参数，而无需获取梯度、内部激活或训练数据。

方法论

所提出的攻击被称为补丁尺寸匹配（Patch-Size Matching, PSM），它利用了输入网格边界与模型内部补丁网格之间的几何关系。

1. 机制：补丁尺寸匹配 (PSM)

大多数 VLM 使用视觉 Transformer（ViT）将输入划分为不重叠的 $P \times P$ 补丁进行标记化。

现象： 当处理具有单元尺寸 $D$ 的合成网格图像时，如果有效单元尺寸在标记器输入空间中是补丁大小的整数倍（即 $D_{eff} = kP$ ），则网格边界会恰好落在补丁之间。
后果： 由于每个网格单元的内部颜色是恒定的，完全落在单元内的补丁将不包含任何边缘信息。标记化过程会抑制边界线索，导致模型对网格结构变得“盲目”。
信号： 随着网格单元尺寸 $D$ 的变化，模型在网格计数任务上的准确率会出现周期性的下降（谷值），每当 $D_{eff}$ 与 $P$ 的倍数对齐时，这种现象就会发生。

2. 三阶段黑盒攻击

作者提出了一个系统性的程序，用于在未知的缩放和填充条件下恢复隐藏参数：

阶段 1：无填充扫描（动态分辨率 vs. 固定分辨率）
攻击者使用不同单元尺寸 $D$ 的网格图像对模型进行查询，且不使用填充。
- 如果模型使用动态分辨率，周期性的准确率谷值会直接出现，从而允许通过观察下降的周期直接推断出补丁大小 $P$ 。
- 如果模型使用固定分辨率（将输入缩放至目标 $S$ ），由于 $D$ 被非线性地缩放，周期性会被掩盖。
阶段 2：通过零填充恢复周期性
对于怀疑使用固定分辨率的模型，攻击者使用零填充（将内容锚定在左上角）将网格图像嵌入到一个更大的画布 $L \times L$ 中。
- 这引入了一个可控的缩放因子。如果模型将 $L \times L$ 缩放至固定的目标 $S$ ，则有效单元尺寸变为 $D_{eff} = (S/L)D$ 。
- 通过针对不同的画布尺寸 $L$ 扫描 $D$ ，攻击者观察到准确率下降的周期 $T(L)$ 随 $L$ 线性缩放。
- 这使得通过关系式 $S/P = L/T(L)$ 恢复缩放比例 $S/P$ 成为可能。
阶段 3：目标分辨率的一致性检查
阶段 2 会产生一组候选的 $(S, P)$ 对。为了确定真实的 target 分辨率 $S$ ：
- 攻击者进行假设检验，比较模型的输出一致性。
- 其逻辑是：如果模型的内部目标是 $S$ ，那么在查询前将图像预缩放至 $S$ 应该比预缩放至错误的候选值 $S'$ 能获得与原始查询更一致的结果。
- 通过统计锦标赛（tournament）来选择能够持续最大化答案一致性的唯一 $S$ 。

3. 统计验证

为了避免对准确率下降进行主观解释，作者采用了非参数置换检验（Welch 式）来确定观测到的周期性的统计显著性，确保识别出的周期不是由噪声引起的伪影。

关键结果

该攻击在开源模型（Qwen-VL 变体、InternVL）和商业模型（GPT-4.1-mini、GPT-4o、Claude 3.7、Claude 4.5）上进行了评估。

参数恢复： 该方法成功恢复了补丁大小和预处理行为。
- Qwen3-VL 30B： 识别出动态分辨率，且 $P=16$ 。
- Claude 3.7： 识别出动态分辨率，且 $P=14$ 。
- GPT-4.1-mini： 识别出动态分辨率，且 $P=16$ 。
- GPT-4o： 识别出固定分辨率预处理。通过三阶段过程，作者推断出目标分辨率 $S=512$ 且补丁大小 $P=16$ 。
鲁棒性： 即使模型采用了未知的缩放、填充或动态分辨率策略，该攻击仍然有效。
成本： 实现高置信区间大约需要 $4.8 \times 10^4$ 次查询（约 $10^7$ 个 token），在典型的 API 定价下，成本约为 $10\text{--}50$ 美元。

重要性与影响

论文声称，恢复这些“实现细节”不仅是一个学术练习，更是高级安全攻击的前提条件。

预处理感知型迁移攻击： 了解精确的预处理流水线允许攻击者设计对抗性扰动，以避开由缩放和填充引起的失真（混叠），从而显著提高迁移性。
针对特定模型的对抗性操纵： 作者证明，泄露的参数使得创建对抗性样本成为可能，这些样本可以有选择性地操纵特定的目标模型，同时对具有不同流水线的其他模型保持无害。
- 实验证明： 在针对 NIPS 2017 数据集的定向攻击实验中，专门为 GPT-4o 设计的攻击（使用其恢复的 $S=512, P=16$ ）在 GPT-4o 上实现了 86.5% 的成功率，同时使 Claude 3.7 的成功率降至 4.5%。反之，针对 Claude 3.7 设计的攻击在 Claude 3.7 上成功（18.5%），但在 GPT-4o 上失败。

结论

作者总结道，ViT 式的补丁化会在黑盒行为中产生可检测的特征签名，从而泄露私有的部署时配置。他们认为，视觉前端的“实现细节”是与安全相关的秘密。论文建议，采用随机化/随机化预处理、边界保留的标记化或查询控制等缓解措施，对于防止此类参数泄露及随后的针对性模型操纵是必要的。