💻 computer science

Privacy-Preserving Object Detection for Vision Transformer-Based Models

本文介绍了一种针对基于 Vision Transformer 模型的创新隐私保护目标检测方法，该方法利用感知加密和带有密钥的领域自适应技术来保护敏感视觉信息，同时保持与未受保护模型相当的准确度。

原作者： Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Homare Sueyoshi, Kiyoshi Nishikawa, Hitoshi Kiya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代世界中，计算机已经学会了如何“看”。它们可以扫描一张照片并瞬间识别出狗、汽车或人，这种能力为从自动驾驶汽车到安防系统的各种应用提供了动力。这种能力依赖于一种被称为“视觉 Transformer”（Vision Transformer）的人工智能类型，它将图像分解成小块，并分析这些小块如何组合在一起以理解整个场景。然而，这种力量也带来了风险。为了使用这些系统，人们通常不得不将私密照片发送到云端的远程服务器。如果该服务器遭到破坏，或者运行它的管理人员不可信，敏感的视觉信息就可能泄露。科学家面临的挑战是：如何让计算机在不向除所有者之外的任何人展示实际图像的情况下，实现足够的“视觉”能力以完成其工作。

东京都市大学的一个研究小组通过创造一种在进行目标检测分析时保护图像的新方法，解决了这一问题。他们的工作专注于一种特别擅长识别图像中物体的特定人工智能模型。他们并没有尝试用复杂的、会干扰计算机的缓慢加密技术来隐藏图像，而是设计了一个涉及计算机处理图像方式的巧妙技巧。他们利用一个秘密密钥对原始照片的视觉细节进行打乱，使其在人类眼中变成一团混乱、无法辨认的杂乱信息。与此同时，他们对计算机自身的内部指令应用了一个匹配的打乱处理。当这两个打乱的版本相遇时，计算机仍能高精度地执行任务，但持有数据的服务器看到的只是噪声。

研究人员使用了一种名为 ViTdet 的强大模型测试了这个想法，该模型旨在发现并定位图像中的物体。在标准设置下，如果你将一张打乱后的图像发送给一个未针对其进行调整的计算机，系统会完全失效。在实验中，当研究人员对照片进行加密但保持计算机模型不变时，系统的目标检测能力几乎降至零。计算机根本无法理解这些打乱的数据。这证明了仅仅隐藏图像是不够的；用于读取图像的工具也必须进行相应的改变。

为了解决这个问题，该团队创建了一个系统，在模型被发送到云端之前，模型本身就已经被加密了。他们生成了一个随机模式（类似于一种独特的洗牌代码），并利用它重新排列计算机理解图像微小部分的方式。随后，他们在将照片发送进行分析之前，对照片应用了完全相同的打乱模式。由于这种打乱是以特定的数学方式进行的，这两个打乱的元素在计算机的“大脑”内部相互抵消。计算机处理数据的方式就像是在观察原始、清晰的照片一样，尽管它从未真正见过清晰的照片。

他们的测试结果令人瞩目。当他们在包含 80 个不同物体类别的海量图像集上使用这种双重加密方法时，系统的表现几乎与未使用加密时一样出色。在一项使用标准数据集的测试中，该系统正确识别物体的准确度得分为 50.118，这非常接近使用未加密图像时取得的 51.412 分。即使在针对超过一千个物体类别的更大、更复杂的集合进行测试时，性能依然保持在高水平，加密方法的得分仅略低于未加密的基准线。至关重要的是，运行分析的服务器既没有看到原始图像，也不持有解开打乱状态所需的秘密密钥。

这种方法在隐私保护方面迈出了重要的一步。它证明了在不牺牲准确性或安全性方面，将敏感的视觉任务外包给云端是可行的。研究人员发现，该方法在处理从微小细节到宏大场景的不同尺寸物体时都非常有效，并且即使在图像被压缩或缩放时也能保持稳健。通过确保计算机的内部逻辑和输入数据都通过一个秘密密钥紧密锁定在一起，他们创建了一个让云端可以进行“思考”，却永远不知道其“思考内容”的系统。这意味着在未来，用户可以放心地将私密照片分享出去进行分析，因为视觉内容始终受到保护，由只有用户及其特定模型才能解锁的数学盾牌所守护。

技术摘要：基于 Vision Transformer 模型的隐私保护目标检测

问题陈述

尽管 Vision Transformer (ViT) 在隐私保护学习、访问控制和模型保护方面取得了显著成功，但现有的利用感知加密（perceptual encryption）的研究主要局限于图像分类任务。在将这些隐私保护技术应用于目标检测（一个不仅需要分类而且需要定位的更复杂任务）方面，存在明显的空白。此外，直接应用于输入图像的标准加密方法，在模型本身未加密的情况下，通常会导致检测性能降至接近零的水平，因为加密破坏了特征提取过程。

方法论

本文提出了一种新型的目标检测框架，该框架将感知加密与 Vision Transformer (ViT) 的嵌入结构相结合。该方法旨在保护测试图像中的敏感视觉信息，同时保持与非加密模型相当的检测精度。

核心框架

所提出的系统采用涉及模型创建者、用户和云服务器的客户端-服务器架构：

密钥生成： 模型创建者使用秘密密钥 ( $k$ ) 生成一个随机置换矩阵 ( $E_{enc}$ )。
模型加密： 预训练的基于 ViT 的目标检测模型（具体为 ViTdet）的补丁嵌入矩阵 ( $E$ ) 使用 $E_{enc}$ 进行加密，以创建加密模型 ( $\hat{E} = E_{enc}E$ )。该加密模型被上传至云服务器。
图像加密： 用户使用相同的 $E_{enc}$ 对其测试图像进行加密。图像被划分为不重叠的块 ( $p \times p$ )，展平为向量，并通过置换矩阵进行变换 ( $\hat{b}_i = b_i E_{enc}^T$ )。
推理： 加密后的图像被发送到云服务器，服务器使用加密模型进行推理。服务器永远无法访问原始图像或秘密密钥。

理论机制

该方法依赖于 ViT 架构和正交矩阵的数学特性：

正交性： 随机置换矩阵 $E_{enc}$ 是正交的，满足 $E_{enc}^T = E_{enc}^{-1}$ 。
抵消效应： 在 ViT 嵌入层中，输入补丁 $x_p$ $x_{p}$ 由嵌入矩阵 $E$ $E$ 进行投影。在本文提出的方法中，加密补丁 $\hat{x}_p$ $\overset{x}{^}_{p}$ 由加密矩阵 $\hat{E}$ $\hat{E}$ 进行投影。
- 投影过程变为： $\hat{x}_p \hat{E} = (x_p E_{enc}^T) (E_{enc} E) = x_p (E_{enc}^T E_{enc}) E = x_p E$ 。
结果： 应用于图像的加密与应用于模型的加密在嵌入层实现了相互抵消。因此，输入到 Transformer 编码器 ( $\hat{z}_0$ ) 的序列在数学上与非加密场景下的序列 ( $z_0$ ) 完全一致，从而确保检测逻辑不受影响。

核心贡献

首次应用于目标检测： 本研究展示了第一个专门针对目标检测任务利用感知加密的方法，将应用范围从图像分类扩展到了更复杂的领域。
基于 ViT 的架构： 该方法利用了 ViT 模型（ViTdet）特定的嵌入结构，使用了带有窗口注意力机制（Window Attention）和简单特征金字塔的普通 ViT 主干网络。
结合密钥的领域自适应： 研究成功地将先前用于分类的涉及秘密密钥的领域自适应技术，适配到了更复杂的领域——目标检测中。
双重加密策略： 本文证明了同时对模型的嵌入层和输入图像进行加密对于保持精度是必要的，因为仅对图像进行加密会导致性能发生灾难性下降。

实验结果

该方法使用三种不同主干网络（ViT-B, ViT-L, 和 ViT-H）的 ViTdet 模型在 COCO 和 LVIS 数据集上进行了评估。

精度保持： 所提方法实现了与非加密基准线几乎相同的检测精度（平均精度, AP）。
- 在 COCO 上，ViT-H 主干网络实现的 AP 为 55.843（提议方法）对比 56.594（基准线）。
- 在包含 1,203 个类别的 LVIS 上，ViT-H 主干网络实现的 AP 为 47.811（提议方法）对比 49.123（基准线）。
部分加密的失效： 当仅对图像进行加密而未对模型进行加密时，精度降至接近于零（例如，COCO 上的 ViT-H 从 56.594 降至 0.406 AP），这证实了双重加密方法的必要性。
视觉保护： 加密后的图像呈现为破碎的块状，有效地向云服务器隐藏了敏感的视觉信息，同时模型仍能成功检测物体。
轻微差异： 作者指出，与基准线相比的轻微精度下降（例如约 1-2% 的下降）归因于 COCO 数据集中固有的 JPEG 压缩影响，而非加密方法本身。

重要性与主张

本文声称，通过利用 Vision Transformer 的嵌入结构，可以在不损害检测性能的情况下实现隐私保护的目标检测。其重要性在于：

使得在视觉数据隐私至关重要的不可信云服务器上部署目标检测模型成为可能。
证明了在复杂的检测任务中，嵌入层中加密效应的理论抵消在实践中是成立的。
提供了一个实用的框架，使云服务器可以在完全不持有解密密钥或原始图像的情况下执行推理。

作者得出结论，该方法在保持高检测精度的同时，有效地保护了视觉信息，验证了使用基于 ViT 的架构进行隐私保护目标检测的可行性。