💻 计算机科学

From Money to Prompt Laundering: CLEANSE*, a Risk-Calibrated Multi-View Detector

本文介绍了 CLEANSE*，这是一种风险校准的多视图检测器，它通过融合语义、结构、跨语言和文体特征信号，有效地识别提示词清洗（prompt laundering）攻击，在多种基准测试和压力测试中，实现了在降低风险和攻击成功率的同时保持低延迟的卓越性能。

原作者： Samer Abaddi

发布于 2026-10-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Samer Abaddi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大型语言模型是功能强大的工具，能够编写故事、解决问题并回答问题，但它们也容易受到一种特定类型的诡计的影响。正如银行需要区分合法的存款与欺诈性的转账一样，这些数字系统必须能够辨别无害的请求与旨在破坏其安全规则的隐藏指令之间的区别。攻击者已经学会了通过将有害指令包装在看似无害的故事中、将其翻译成不同的语言或将其隐藏在复杂的格式中来对其进行伪装。这种被称为“提示词清洗”（prompt laundering）的过程，允许恶意目标通过改变其外观，同时保持其危险意图不变，从而绕过标准的过滤器。研究人员面临的挑战是建立一个能够看穿这些伪装、即使在表面看起来完全安全的情况下也能识别出潜在威胁的系统。

一位研究人员开发了一种名为 CLEANSE* 的新型检测系统来应对这一挑战。该系统并非依赖单一方法来发现问题，而是像一个专家团队一样，从不同的角度观察输入内容。一位专家检查词汇的深层含义，以观察其意图是否符合已知的有害模式。另一位专家则观察请求的结构，检查故事是否遵循逻辑流，或者是否被扭曲成了暗示隐藏议图的奇怪形状。第三位专家检查当文本在不同语言之间来回翻译时，其含义是否保持不变，这种技术通常能揭示伪装指令中的不一致性。最后一位专家则审视表层细节，例如标点符号、格式代码和异常字符的使用，这些通常被用于隐藏指令。通过结合所有这些不同视角的发现，系统会创建一个经过校准的分数，用以指示一个请求是经过清洗攻击的可能性有多大。

研究人员使用大量的提示词对这个多视图系统进行了测试，其中包括数千个攻击者试图利用各种技巧隐藏真实意图的案例。他们衡量了系统在保持误报率（即拦截无害请求）严格处于低水平时的表现。在这些测试中，这种新系统证明其比仅依赖单一观察数据方法的旧方法更为有效。当研究人员将系统设置为仅拦截百分之一的无害请求时，与旧工具相比，新检测器在降低让有害提示词通过的风险方面取得了可衡量的进展。它还降低了攻击成功率，意味着更少的恶意指令能够绕过守卫。该系统在实现这些结果的同时，保持了极高的预测准确性，确保当它标记某个请求时，该请求确实具有可疑性。此外，该系统运行速度极快，处理请求仅需不到一秒的时间，这对于要求即时响应的用户应用场景至关重要。

该研究还探讨了系统在处理从未见过的场景时的表现，例如它未经过显式训练的语言请求，或以新方式结合多种隐藏技术的攻击。即使在这些困难的情况下，该系统的表现也比单方法检测器更加稳健。它表明，通过从多个角度观察问题，系统可以在无需重新训练的情况下适应新花招。研究人员指出，虽然该系统具有鲁有的鲁棒性，但并非完美无缺；它仍可能被极其复杂或具有适应性的攻击所迷惑，且其性能取决于其分析文本结构的工具质量。然而，结果表明，这种多视角方法为保护大型语言模型免受不断演变的提示词清洗威胁提供了一种切实可行且强大的方式。

这项工作的意义不仅限于拦截不良输入。该系统旨在具备灵活性，允许组织根据其特定需求调整严格程度。例如，金融服务机构可能会选择更加谨慎并拦截更多请求以规避任何风险，而教育工具可能更倾向于放行更多请求以避免挫伤学生，转而依靠系统将模糊案例标记出来交由人工审核的能力。研究人员提供了一个框架，使人们能够根据安全与用户体验之间的权衡进行明确的数据决策。通过使检测过程透明化且可调节，这项工作有助于弥合先进人工智能安全研究与部署这些技术在现实世界中的实际需求之间的差距。研究结论认为，尽管对抗提示词清洗的战斗仍在持续，但结合语义、结构和表层线索的方法，比依赖任何单一的调查手段都能提供更强大的防御。

技术摘要：CLEANSE*，一种针对提示词洗白（Prompt Laundering）的风险校准多视图检测器

1. 问题定义：提示词洗白

本文探讨了提示词洗白，这是一种特定的对抗性转换，其中恶意指令（ $I_m$ ）通过叙事框架、翻译、符号编码、角色扮演或格式变更（ $\mathcal{L}$ ）进行伪装，从而生成提示词（ $P' = \mathcal{L}(I_m)$ ）。攻击者的目标是在保留有害意图的同时，最大限度地减少与良性文本的可观测差异，从而规避安全过滤器。

作者将其形式化为一个受限的混淆问题。攻击者试图在保持高意图保留度（与 $I_m$ 的语义接近度）和低表面差异（对良性分布的观测一致性）的前提下，最大化绕过安全闸门（ $q_\psi$ ）和检测器（ $g_\phi$ ）的概率。这与标准的越狱（Jailbreak）或提示词注入（Prompt Injection）不同，它专门关注指令本身的“伪装”，而非仅仅是传输通道。该威胁模型考虑了拥有有限“算子预算”（如叙事伪装、语言混淆等）的攻击者，并区分了黑盒、灰盒和白盒对手。

2. 方法论：CLEANSE* 框架

作者提出了 CLEANSE*（跨语言、语义、叙事、文体集成），这是一个风险校准的多视图检测器，旨在作为侧车服务（Side-car service）与大语言模型（LLM）技术栈并行运行。该系统通过四个捕捉不同归纳偏置的并行视图来评估输入（前置闸门）以及可选的上下文或输出（后置闸门）：

语义视图（意图接近度）： 使用多语言指令微调嵌入（intfloat/multilingual-e5-large-instruct）来测量提示词与良性流形（Benign Manifold）之间的距离，以及其与一系列经过净化的恶意意图原型库的接近程度。它将“高意图保留、低表面差异”的洗白机制进行了操作化处理。
叙事/结构视图（目标连续性）： 构建一个轻量级的角色-动作图（ $G_P$ ），代表实体、目标、前提条件和效果。它通过衡量该图与规范的不安全子图库（ $G_{mal}$ ）的一致性来进行评分，从而检测尽管表面措辞发生了变化，其底层工作流是否依然完整。
跨语言视图（一致性）： 执行跨固定语言集的往返翻译，以检测语义漂移或不稳定性。高往返嵌入方差表明存在一种无法自然翻译的伪装意图。
文体/标记视图（表面特征）： 量化表面特征，包括 Token/字符 n-gram（包括零宽字符）、标点节奏、困惑度增量（Perplexity Deltas）以及 HTML/Markdown/XML 模式，以识别隐写术或基于格式的混淆。

融合与校准：
这四个视图产生校准后的子评分（ $D_{sem}, D_{nar}, D_{xlang}, D_{styl}$ ），并将其融合成一个单一的异常得分 $A(P)$ 。融合权重是在开发数据上学习的，并通过保序回归（Isotonic Regression）进行校准，旨在在固定的假阳性率（FPR）下最小化部署特定的危害函数 $H(\cdot)$ 。系统采用三路策略：允许（低分）、拦截（高分）或升级（中分，转人工审核）。为了增强鲁棒性，系统通过在保持意图不变的改写文本上进行聚合，应用了“语义平滑”。

训练与数据：
模型在约 $10^6$ 个提示词组成的语料库上进行训练，这些提示词横跨 12 种以上语言、6 种体裁和 4 种格式方案。数据集包括良性指令、直接的恶意意图（已净化）以及通过预算化算子组合生成的洗白变体。训练过程利用了视图丢弃（View-dropout）、特征空间混合（Feature-space mixup）和硬负采样（Hard-negative mining）来提高鲁棒性。

3. 核心贡献

本文做出了三个主要贡献：

形式化： 将保持意图的洗白转换严谨地定义为一个涉及算子组合和预算的受限优化问题。
架构： 提出了一种多视图检测器，融合了语义、结构、跨语言和文体证据，专门设计用于应对“洗白前沿”（即表面特征良性但意图恶劣的情况）。
评估： 提供了一个专注于洗白的评估语料库，并进行了涵盖分布内（ID）、分布外（OOD）语言/组合以及外部基准测试（JailbreakBench）的压力测试，重点关注 Risk@FPR（固定假阳性率下的预期危害），而非仅仅是准确率。

4. 实验结果

评估是在一个具有语言、体裁和格式阻断拆分的封闭测试集上进行的。

分布内（ID）性能：
- 风险降低： 与仅基于语义的基线相比，在 0.5%、1% 和 2% 的 FPR 下，CLEANSE* 分别降低了 0.7、0.8 和 1.0 个绝对单位的 Risk@FPR。
- 攻击成功率（ASR）： 从 11.6% 降至 8.4%（相对下降 27.6%）。
- 校准度： 期望校准误差（ECE）从 2.7% 改善至 1.8%。
- 延迟： 实现了 p50/p95 延迟为 15/28 ms，满足低于 30 ms 的服务水平目标（SLO）。
前沿与分布外（OOD）性能：
- 在“洗白前沿”（低表面差异、高意图保留）上，1% FPR 下的 Risk@FPR 从 6.2（仅语义）降至 4.9。
- 前沿区域的 ASR 从 18.4% 降至 12.7%。
- 系统表现出较低的向未见模型转移率（TR）（0.41 对比基线的 0.58），以及在 OOD 语言（土耳其语、波斯语、希伯来语）和未见算子组合上较小的风险漂移。
外部基准测试：
- 在 JailbreakBench 上，CLEANSE* 实现了 5.3 的风险值和 14.8% 的 ASR/漏报率，优于 Llama Guard 3-8B、WildGuard、ShieldLM 以及仅基于语义的基线。
- 在 RAG/智能体压力测试（扫描检索到的上下文）中，结合前置和后置闸门的评分实现了 5.4 的风险值，且不安全工具传递率为 3.6%。
消融实验：
- 移除叙事/图视图导致每毫秒节省的安全性损失最大（消融效率比为 0.40 风险/ms），其次是跨语言（0.20）和语义（0.19）。
- 研究发现各视图之间是互补而非冗余的；成对移除显示出正向交互效应，特别是在语义视图和叙事视图之间。

5. 重要性与主张

论文指出，提示词洗白代表了一种独特且不断演变的威胁，需要超越简单关键词匹配或单视图分类的检测策略。CLEANSE* 的重要性在于其风险校准方法，该方法明确优化了在受控假阳性率下最小化预期危害，而非仅仅最大化原始分类准确率。

作者认为，多视图集成通过结合潜在意图分析与表面层面的异常检测，成功捕捉了洗白攻击的“受限混淆”特性。结果表明，此类系统可以在显著降低洗白前沿攻击成功率的同时，保持适用于实时部署的低延迟。

论文保持了审慎的态度，承认了以下局限性：

对图提取错误（叙事视图）较为敏感。
对低资源语言和自适应多模态攻击的覆盖有限。
由于防止被滥用，限制了可复现材料（包括操作性的有害提示词和精确的攻击配方）的公开。

作者总结道，虽然该系统在应对当前的洗白策略方面表现出了鲁棒性，但未来仍需针对自适应红队测试进行持续评估，并扩展视图以涵盖多模态洗白。这项工作为通过校准阈值、升级带和可审计文档（数据表和模型卡）将安全检测集成到 AI 治理中提供了一个框架。