SALLIE: Safeguarding Against Latent Language & Image Exploits

1. 研究背景与问题 (Problem)

随着 LLM 和 VLM 的快速发展，模型面临着严峻的安全挑战，主要包括：

• 越狱攻击 (Jailbreak, JB)：绕过安全对齐机制，诱导模型生成有害内容。
• 提示注入攻击 (Prompt Injection, PI)：利用不可信的外部数据（如网页内容、图片中的文字）劫持模型，使其执行攻击者指定的任务。
• 多模态威胁：视觉编码器的引入创造了新的攻击面，恶意意图可以无缝嵌入图像中（如通过图像中的文字或视觉错觉），使得传统的纯文本防御失效。

现有防御的局限性：

• 表面级防御 (Black-box)：如困惑度过滤 (Perplexity Filtering) 或输入预处理，往往导致高延迟或性能下降，且对视觉攻击无效。
• 单一模态防御：许多基于内部状态的防御（如 PIShield, EEG-Defender）仅针对文本，无法检测视觉或跨模态攻击。
• 多模态防御的不足：现有的多模态内部状态防御（如 HiddenDetect）主要针对越狱，对视觉提示注入效果极差（F1 分数低至 0.11）。
• 计算开销：如 JailGuard 等方法需要对每个输入生成多个变异体并多次查询模型，导致 8 倍的计算开销，难以在实际部署中应用。

核心需求：需要一种统一的、模态无关的防御机制，能够在单次前向传播中同时检测文本和视觉攻击，且不破坏模型性能或修改架构。

---

2. 方法论 (Methodology: SALLIE)

SALLIE 是一个轻量级的运行时检测框架，基于机制可解释性 (Mechanistic Interpretability) 理论。其核心假设是：预训练的 VLM 在其隐藏状态（Hidden States）中编码了足够鲁棒的跨模态信号，能够区分良性输入和对抗性输入。

2.1 系统架构

SALLIE 作为一个检测层，叠加在任意预训练的 VLM 之上，包含三个主要组件：

1. 隐藏状态提取器 (Hidden State Extractor)：
   • 对输入（纯文本或图文）执行单次前向传播。
   • 提取模型中间层（Transformer 层）的残差流激活值（Residual Stream Activations），特别是最后一个 Token 的激活值。
2. 层间探针 (Layer-wise Probes)：
   • 降维（可选）：对每个层的激活值应用 PCA 以减少噪声。
   • 分类器：使用 K-近邻 (k-NN) 分类器，基于余弦相似度计算恶意分数。
   • 原理：假设恶意输入在隐藏状态空间中会形成局部的邻域，k-NN 能有效捕捉这种几何特征。
3. 层集成模块 (Layer Ensemble)：
   • 将特定层范围（$L_m$）内的各层预测分数进行平均，得到最终的恶意分数 $\bar{p}(x)$。
   • 通过阈值 $\tau$ 判断是否阻断攻击。

2.2 训练与推理流程

• 训练：使用标记的良性/恶意数据集，在每一层训练独立的 k-NN 分类器。
• 推理：
  1. 输入经过模型前向传播。
  2. 提取指定层的激活值。
  3. 计算与训练集中恶意样本的相似度分数。
  4. 集成各层分数，若超过阈值则判定为攻击（BLOCK），否则放行（PASS）。

关键特性：

• 统一性：同一套流程适用于纯文本和图文输入，无需修改模型架构。
• 高效性：仅需一次前向传播，无需多次查询、输入变异或外部 API 调用。
• 模态自适应：针对文本和视觉输入，可以独立调整超参数（如 k 值、层范围、阈值）。

---

3. 实验设置 (Experimental Setup)

• 基座模型：选择了三个开源、对齐的轻量级 VLM，兼顾实用性和推理成本：
  • Gemma-3-4b-it
  • Phi-3.5-vision-instruct
  • SmolVLM2-2.2B-Instruct
• 数据集：构建了包含超过 10 个数据集的混合评估集，涵盖四种威胁模型：
  • 文本越狱、视觉越狱
  • 文本提示注入、视觉提示注入
  • 以及对应的良性样本。
• 对比基线：
  • 表面级：Perplexity Filter, SmoothLLM。
  • 内部状态（文本）：EEG-Defender, PIShield。
  • 多模态内部状态：HiddenDetect, JailGuard。
  • 闭源法官模型：Gemini-2.5-Flash-Lite, GPT-4.1 Mini。

---

4. 关键结果 (Key Results)

SALLIE 在多个指标上显著优于现有基线，特别是在视觉攻击检测方面。

• 整体性能：
  • SALLIE (Gemma-3) 在跨模态测试中达到了 F1 = 0.90，超过了所有开源基线，并优于闭源法官模型 Gemini-2.5-Flash-Lite (F1 = 0.82)。
  • 在视觉输入上，SALLIE (Phi-3.5) 达到了 F1 = 0.96，远超 GPT-4.1 Mini (0.85) 和所有其他基线。
• 视觉提示注入的突破：
  • 现有方法如 HiddenDetect 在视觉提示注入上的 F1 仅为 0.11，几乎完全失效。
  • SALLIE 成功填补了这一空白，证明了内部状态探测对视觉威胁同样有效。
• 效率：
  • 相比 JailGuard 需要 8 倍计算开销，SALLIE 仅需单次前向传播，推理成本极低。
  • 无需自回归解码或外部 API 调用。
• 几何分析：
  • PCA 可视化显示，恶意输入在隐藏状态空间中形成了与良性输入可分离的聚类。
  • 有趣发现：基于图像的攻击在隐藏状态空间中形成的聚类比文本攻击更清晰、更易分离，这解释了为何 SALLIE 在视觉任务上表现尤为出色。

---

5. 主要贡献 (Contributions)

1. 统一的跨模态检测器：提出了首个能在单次前向传播中同时处理文本和视觉的越狱及提示注入攻击的统一隐藏状态流水线。
2. 内部状态利用：通过探测模型内部编码的安全表征，避免了输入变异或重采样的高昂开销，实现了高效防御。
3. 填补视觉提示注入空白：SALLIE 在视觉输入上取得了 F1=0.96 的优异表现，解决了现有多模态防御（如 HiddenDetect）无法有效拦截视觉提示注入的问题。
4. 实证与理论结合：通过实验验证了预训练 VLM 的隐藏状态包含区分对抗样本的鲁棒几何信号，为多模态安全提供了机制性解释。

---

6. 意义与局限性 (Significance & Limitations)

意义：

• 实际部署价值：SALLIE 提供了一种低成本、低延迟的实时防御方案，适合在资源受限的边缘设备或高并发场景下部署。
• 安全范式转变：证明了无需修改模型架构或进行昂贵的推理，仅通过分析内部激活即可有效防御复杂的多模态攻击。
• 填补研究空白：首次系统性地解决了视觉提示注入这一长期被忽视的安全问题。

局限性与未来工作：

• 模型依赖性：在安全对齐程度较低或参数量较小的模型（如 SmolVLM2）上，检测召回率有所下降，表明安全几何结构的清晰度与模型训练和容量有关。
• 长上下文限制：当前框架主要处理短文本，未来需探索滑动窗口或流式处理以支持长上下文。
• 分布外泛化：虽然使用了独立的数据集划分，但在面对完全未见过的攻击分布或良性数据分布偏移时，基于阈值的检测器仍可能面临挑战。

总结：SALLIE 通过利用机制可解释性，成功构建了一个轻量级、高效且统一的多模态安全防御框架，显著提升了 LLM 和 VLM 在面对复杂对抗攻击时的鲁棒性，特别是为视觉提示注入攻击提供了有效的解决方案。