💻 computer science

EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy

该论文提出了一种轻量级且与触发器无关的 EntropyScan 方法，该方法利用 Tsallis 熵和 Z 分数归一化量化良性样本上视觉注意力分布中的结构异常，从而检测被植入后门的视觉 - 语言大模型，在无需了解训练数据或触发器的情况下实现了高准确率。

原作者： Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuanyu Ge, Zhongqi Wang, Jie Zhang, Shiguang Shan, Xilin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你刚从第三方卖家那里买了一台高端智能相机。你想用它来描述照片，但你担心：卖家是否秘密编程，让这台相机在看到你展示某个特定的隐藏图案时，说出危险的内容？

这就是大型视觉 - 语言模型（LVLMs）所面临的问题。这些是强大的 AI 系统，能够“看见”图像并“谈论”它们。由于它们通常从互联网下载，因此存在被植入后门而“中毒”的风险。

后门就像一个秘密开关。如果你向 AI 展示一张正常的猫的照片，它会说：“那是一只猫。”但如果你向它展示一张带有微小、不可见贴纸（即触发器）的猫的照片，AI 会突然无视安全规则，说出有害的内容，例如“如何制造炸弹”。

问题：“黑盒”检测

当今大多数安全工具试图在 AI 构建之前发现毒药，或者试图通过寻找触发器来在 AI 说话时将其抓获。但是，如果你已经拥有了成品 AI 模型，却不知道秘密触发器长什么样，也没有原始训练数据，该怎么办呢？

你需要一种方法来检查模型本身是否“生病”，而无需了解具体的疾病症状（即触发器）。

解决方案：EntropyScan（“注意力 X 光”）

这篇论文介绍了一种名为EntropyScan的工具。把它想象成 AI 大脑的 X 光机。

以下是它的工作原理，使用一个简单的类比：

1. “专注”类比

想象 AI 是一个正在看照片并写描述的学生。

健康的学生（良性模型）： 当看着一张海滩的照片时，他们的眼睛会自然、平衡且合乎逻辑地扫描沙滩、海浪和天空。他们的“注意力”分布平滑。
“中毒”的学生（后门模型）： 即使看着一张正常的照片，后门注入也扰乱了他们的大脑线路。他们的眼睛可能会抽搐，或者不自然地死死盯着图像的特定部分，即使没有触发器存在。他们以奇怪的图案“过度聚焦”或“聚焦不足”。

2. 测量“困惑度”（熵）

研究人员意识到，这种奇怪的凝视模式可以使用一种称为Tsallis 熵的数学方法进行测量。

把熵想象成对“混乱”或“意外”的衡量。
健康的 AI 具有可预测的、平滑的注意力模式（低意外）。
中毒的 AI 具有锯齿状、混乱或异常集中的注意力模式（高意外/异常）。

3. “参考检查”

为了知道 AI 是否奇怪，你需要一个基准。

参考： 研究人员获取了同一 AI 模型的已知“健康”版本（来自开发者的官方版本）。
测试： 他们将 200 张随机的正常图片同时输入给“嫌疑”模型和“健康”参考模型。
比较： 他们测量“嫌疑”模型的注意力模式与“健康”模型的偏差程度。

如果嫌疑模型的注意力模式比健康模型明显“更嘈杂”或“更奇怪”，EntropyScan 就会将其标记为带有后门。

为何此法特殊

无需触发器： 你不需要知道秘密贴纸长什么样。你只需观察 AI 在正常情况下的行为。
轻量级： 它不需要重新训练模型或进行复杂的计算。扫描一个模型只需几秒钟。
高准确率： 在他们的测试中，这种方法在**98.5%**的情况下检测到了中毒模型，甚至包括其他方法未能发现的非常隐蔽的攻击。

核心结论

EntropyScan就像一名保安，他不需要知道窃贼的长相或被盗物品的样子。相反，他只是观察人们如何走过大门。如果某人的步态与其他人相比显得奇怪且不自然（注意力结构异常），保安就知道出了问题，即使他看不到武器。

该论文声称，这种方法适用于不同类型的 AI 模型和不同类型的攻击，提供了一种快速、可靠的方式来检查下载的 AI 是否安全可用。

技术摘要：EntropyScan

问题陈述

大型视觉 - 语言模型（LVLMs）正越来越多地通过“模型即服务”（MaaS）范式作为第三方检查点分发，从而带来显著的安全风险。尽管现有的防御机制主要集中在样本级检测（过滤被投毒的训练数据或在推理过程中扰动输入），但它们通常需要访问原始训练数据集或了解特定的攻击触发器。在模型级检测方面仍存在关键缺口：即在事先不知晓触发模式、目标响应或被投毒训练数据的情况下，判断一个已完成的第三方检查点是否包含隐藏的后门。训练过程的不透明性以及触发器在庞大权重空间中的微妙嵌入，使得这一任务尤为具有挑战性。

方法论：EntropyScan

作者提出了EntropyScan，这是一个轻量级、与触发器无关的框架，旨在通过分析视觉注意力的结构异常来检测被植入后门的 LVLMs。其核心假设是：后门注入会破坏模型内部的跨模态对齐机制，导致即使在良性输入上，视觉注意力的分配也会出现可测量的偏差。

该方法分为三个阶段进行：

视觉注意力熵提取：
- 该方法聚焦于大型语言模型（LLM）组件的初始层（Layer-0），即视觉令牌首次与文本表示进行整合的层级。
- 它从自注意力模块中提取视觉注意力权重。具体而言，它隔离了分配给输入序列最后一个令牌的视觉令牌（ $\mathcal{V}$ ）的注意力概率向量。
- 为了将内部分布模式与整体注意力幅度解耦，作者执行了模态级重归一化，以生成条件概率分布 $P_{\mathcal{V}}$ 。
- 在此分布上计算Tsallis 熵（ $H_q$ ）。选择 Tsallis 熵而非香农熵或 Rényi 熵，是因为其非广延参数（ $q$ ）对分布的“尾部”具有更高的敏感性，从而更有效地检测由隐蔽后门引起的细微结构异常。
参考锚定的 Z 分数归一化：
- 为了建立基线，系统利用一个与可疑模型（ $M_{target}$ ）具有相同架构的干净、良性参考模型（ $M_{ref}$ ）以及一个小规模的干净验证数据集（ $D_{val}$ ）。
- 根据参考模型的熵值计算统计量（均值 $\mu_{ref}$ 和标准差 $\sigma_{ref}$ ）。
- 随后，使用这些参考统计量对可疑模型的熵值进行归一化，以计算Z 分数。这将可疑模型的熵尺度与良性分布对齐，从而能够识别系统性偏差。
检测决策：
- 该方法根据每个样本的 Z 分数与参考中位数的绝对偏差，计算其异常分数 $s(x)$ 。
- 最终决策是通过计算可疑模型与参考模型的异常分数之间的**受试者工作特征（ROC）曲线下面积（AUC）**来确定的。
- 如果 AUC 超过预设阈值（ $\tau = 0.8$ ），则该模型被归类为被植入后门。

主要贡献

结构异常的发现：作者发现，LVLMs 中的后门注入会导致跨模态对齐中出现独特的结构扰动，表现为良性输入上视觉注意力熵的可测量偏移。
首个模型级检测框架：EntropyScan 被提出为首个专门针对 LVLMs 模型级后门检测的方法。它无需访问触发器、被投毒的训练数据，也无需在推理期间进行主动干预。
轻量级且高效：该框架效率极高，仅需前向推理。它使用小型验证集（200 张图像）即可实现高精度，并在每个模型检查点上仅需数秒即可完成操作。

实验结果

作者在两个 LVLM 架构（LLaVA-1.5-7B 和 Otter-3B）上评估了 EntropyScan，涵盖了三种高级攻击场景：ShadowCast、ImgTrojan 和 VL-Trojan。

检测性能：EntropyScan 在所有场景下实现了平均 98.5% 的 F1 分数 和 96.6% 的 AUC。
- 在所有测试的视觉骨干网络中，它对 VL-Trojan 攻击实现了完美检测（AUC = 1.000）。
- 它显著优于基线**激活聚类（AC）**方法，特别是在针对 ShadowCast 攻击时，AC 方法失效（召回率 = 0），而 EntropyScan 实现了 0.9535 的召回率。
鲁棒性：该方法对自适应攻击表现出鲁棒性，即当攻击者试图正则化视觉熵以匹配良性分布时；此类尝试显著降低了攻击成功率（ASR）。
效率：在四块 NVIDIA Tesla V100 GPU 上，每个模型检查点的平均检查时间为 4.37 秒。
消融研究：
- 层敏感性：确认初始层（Layer-0）为最佳检测探针，检测信号在更深层中迅速衰减。
- 熵度量：Tsallis 熵（ $q=2$ ）的表现优于香农熵和 Rényi 熵，特别是在针对细微的全局破坏攻击时。
- 数据效率：检测性能在不同大小的验证集和不同来源的干净图像（例如 COCO2017 与 Object365）之间保持稳定。

意义与主张

本文主张，EntropyScan 为第三方 LVLM 检查点的安全检查提供了一种实用的范式。通过识别感染的通用特征（跨模态注意力中的熵偏差），而不是依赖特定于触发器的伪影，该方法解决了在无法获取触发器知识的情况下检测已完成模型中后门的关键挑战。作者强调，他们的方法能够在不损害模型效用或无需重新训练的情况下实现模型级审计，从而促进开源和第三方 LVLM 快速扩展生态系统中的可访问安全实践。