技术摘要：通过基于 DMD 的提示词-响应嵌入动力学进行 LLM 安全性强制执行

问题陈述

大型语言模型（LLMs）正越来越多地部署在关键应用中，但它们仍容易产生有毒、有害或违反政策的内容，包括幻觉、仇恨言论和非法活动指令。虽然像来自人类反馈的强化学习（RLHF）这类训练阶段的对齐方法已经存在，但它们不仅资源密集，且无法完全消除不安全输出的风险。因此，迫切需要高效、可扩展的部署后监控方法。

目前的检测方法面临显著局限性：

• 白盒方法 需要访问内部状态（隐藏状态、注意力图），这在商业 API 中通常是无法实现的。
• 灰盒方法 依赖于 token 级别的概率或 logit 熵，而这些信息并不总是公开的。
• 黑盒方法 通常依赖于采样多个响应以检查一致性，或者使用外部知识图谱，这可能在计算上非常昂贵，或者需要外部检索。
• 交互盲区（Interaction Blindness）： 许多现有的黑盒方法仅分析响应文本，未能检测出由于“看似安全的提示词”与“有害响应”之间的特定交互而导致的安全性违规（例如，模型根据用户的查询错误地授予了退款）。

方法论

本文提出了一个黑盒安全性分类框架，将 LLM 的逐 token 生成过程视为一个离散时间动力系统。该方法通过整合提示词（prompt）和响应（response）的动力学，扩展了先前提出的幻觉检测框架。

1. 动力系统框架

核心假设是，LLM 中的 token 嵌入演化可以被建模为一个动力系统。作者利用 Koopman 算子理论 来使这些动力学线性化。

• 嵌入（Embedding）： 提示词和响应都被投影到高维嵌入空间中，使用预训练的嵌入模型（如 Qwen、Mistral、Llama-3）。
• Koopman 算子估计： 使用 扩展动态模态分解（EDMD），作者为“安全”和“不安全”机制拟合了独立的线性预测模型（Koopman 算子）。
  • 估计了四个算子：用于安全/不安全提示词的 $A^{(p)}_s, A^{(p)}_u$，以及用于安全/不安全响应的 $A^{(r)}_s, A^{(r)}_u$。
  • 这些算子是从包含 token 嵌入序列的训练数据中学习得到的。

2. 微分残差得分（Differential Residual Score）

为了对新的交互进行分类，该方法计算一个微分残差得分 ($\Delta E$)，将安全模型和不安全模型的预测误差与观察到的 token 演化进行比较。

• 对于具有 $P$ 个 token 的提示词和具有 $L$ 个 token 的响应，使用各自的 Koopman 算子为每个 token 步骤 $k$ 计算预测误差 $\epsilon$。
• 得分 $\Delta E$ 定义为不安全模型的累积预测误差与安全模型的累积预测误差之差：
  $$\Delta E = \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{u,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{u,j})^2 \right)^{1/2} - \left( \sum_{j=1}^{L-1} (\epsilon^{(r)}_{s,j})^2 + \sum_{j=1}^{P-1} (\epsilon^{(p)}_{s,j})^2 \right)^{1/2}$$
• 分类逻辑： 如果输出是不安全的，不安全模型 ($A_u$) 应该能更好地预测轨迹，从而导致不安全项的误差较低，并产生负的 $\Delta E$。反之，安全输出会产生正的 $\Delta E$。
• 通过将 $\Delta E$ 与阈值 $\eta$ 进行比较来做出二元决策。

核心贡献

1. 提示词感知安全性分类： 主要贡献是将基于 DMD 的分类扩展到了包含提示词动力学。作者证明了安全性往往是依赖于交互的；一个在孤立状态下看起来安全的响应，在特定的提示词下可能是不安全的。通过拟合独立的提示词和响应动力系统，该方法捕捉到了这些因果模式。
2. 黑盒效率： 该方法完全基于输出文本嵌入运行，不需要访问内部模型权重、token 概率或进行多次随机采样。
3. 嵌入架构的实证分析： 研究系统地评估了不同的嵌入模型架构（密集解码器单向 vs. 因果解码器）如何与不同类型的安全性违规进行交互。

实验结果

该方法在三个安全性基准测试上进行了评估，并使用了三种不同规模的嵌入模型：Qwen3-Embed (0.6B)、Mistral (7.2B) 和 Llama-3 (8.0B)。

• Aegis AI 内容安全性数据集（交互依赖型）：

  • 该数据集的特征在于用户意图与模型合规性之间的相互作用所产生的违规。
  • 结果： 引入提示词嵌入显著提高了性能。Llama-3 脱颖而出成为主导模型（在 $L \ge 150$ 时 F1 = 77.0%），优于 Qwen-Embed 和 Mistral。
  • 洞察： Llama-3 的因果解码器架构有效地捕捉了提示词-响应交互的时间动力学，在包含提示词上下文时，减少了安全样本的追踪误差，并增加了不安全样本的误差。

• 合成 CoT 安全性数据集：

  • 该数据集涉及结构化推理和拒绝模式。
  • 结果： 所有模型都达到了很高的准确率（>88%），尽管由于类别不平衡导致 F1 分数较低。添加提示词嵌入在所有模型中都带来了适度但一致的提升。

• BeaverTails 数据集（仅响应违规型）：

  • 该数据集包含人类编写的提示词和响应，其中的违规行为通常是响应内容固有的（例如，仇恨言言、暴力），无论提示词为何。
  • 结果： Qwen-Embed（一种密集语义编码器）表现优于其他模型，在包含提示词嵌入且 $L \ge 150$ 时，实现了 86.7% 的 F1 分数。
  • 洞察： 对于直接编码在响应 token 中的违规行为，密集语义表示表现出色。有趣的是，该数据集上的仅提示词分类也实现了很高的 F1 分数 (83.4%)，表明人类编写的不安全提示词带有独特的动力学特征，尽管响应动力学仍是主要信号。

与基准对比： 在 Aegis 数据集上，所提出的黑盒方法实现了 77.0% 的 F1 分数，而经过微调的白盒模型 (AegisGuard) 为 86.8%。作者指出，对于一种无需特定任务训练的方法来说，这是一个显著的成就。

意义与主张

本文声称推进了 “用动力系统服务于 AI” 而非更常见的 “用 AI 服务于动力系统” 的范式。通过将 LLM 生成视为一个动力系统，作者证明了基于 Koopman 的预测可以有效地区分安全与不安全的输出。

研究强调了嵌入模型架构与安全性违规性质之间微妙的关系：

• 因果解码器（如 Llama-3） 对于交互依赖型违规（即提示词-响应关系至关重要时）更为优越。
• 密集语义编码器（如 Qwen-Embed） 对于内容隔离型违规（即不安全性质存在于响应 token 内部时）更为优越。

作者总结道，这种方法为使用动力系统理论来分析和控制 AI 系统打开了大门，为资源密集型的训练时对齐或复杂的多样本推理策略提供了一种可扩展的黑盒替代方案。建议的未来工作包括将该方法扩展到多类危害分类，并探索不同嵌入模型的集成策略。