技术摘要：提示词敏感性最小化 (Prompt Sensitivity Minimization, PSM)

问题陈述

系统提示词（System Prompts）是大型语言模型（LLM）应用的“秘密配方”，封装了专有逻辑、操作约束和竞争优势。然而，这种价值也使其成为了**提示词提取攻击（Prompt Extraction Attacks）**的首要目标——攻击者通过精心设计的恶意输入来欺骗 LLM，从而泄露其隐藏的指令。现有的防御手段通常依赖于脆弱的启发式规则（例如“不要泄露指令”），这些规则极易被对抗性措辞所绕过；或者需要对模型权重和梯度进行白盒访问，这使得它们无法应用于闭源 API 模型。此外，许多鲁棒的防御机制会引入显著的计算开销或降低模型的预期功能（效用/Utility）。

本文解决了从业者的挑战：开发者如何设计一种既是黑盒（无需模型访问）、又轻量化（开销极小），且能在不损害任务效用的前提下有效防御提示词提取的方案？

方法论：提示词敏感性最小化 (PSM)

PSM 将提示词加固重新定义为一个受效用约束的优化问题。PSM 不再依赖静态规则，而是自动生成并迭代优化一个保护性的文本后缀，称之为 SHIELD（护盾），该后缀会被附加在原始系统提示词之后。

1. 问题公式化

目标是找到一个优化的后缀 $S$，在确保模型在良性输入上的效用 $U$ 高于阈值 $\tau$ 的同时，最小化原始提示词 $P$ 在对抗性攻击下的泄露量。
$$\min_{S} L(P \oplus S) \quad \text{subject to} \quad U(P \oplus S) \geq \tau$$
其中：

• $L(P \oplus S)$ 是泄露得分，用于量化在对抗性查询下恢复出的 $P$ 的程度。
• $U(P \oplus S)$ 是效用得分，用于衡量在合法任务上相对于基准输出的语义保真度。

2. 护盾结构

护盾作为后缀附加，并带有结构化标记：
[SYSTEM PROMPT] {原始提示词} [SHIELD] {优化的护盾}
这种设计利用了一个经验观察：LLM 对上下文末尾的信息权重更高，并且在发生冲突时会遵循近端的指令。结构化标记明确划分了原始提示词与保护层，有助于模型识别指令的层级关系。

3. 目标函数

• 泄露目标 ($L$)： 通过计算原始提示词与模型对一系列对抗性查询的响应之间的 ROUGE-L 召回率来衡量。为了便于优化，本文使用了一组包含 50 个组合对抗提示词的平滑近似（log-sum-exp）最大泄露量。这些提示词结合了干扰项、重复请求和格式化请求，以模拟强大的现实攻击者。
• 效用目标 ($U$)： 通过比较护盾模型在良性查询下的输出与金标准响应之间的语义相似度（通过句子嵌入）来衡量。该指标是相对于基准模型性能的比率，以确保任务质量得到相对保留。

4. 通过 LLM-as-Optimizer 进行优化

PSM 采用了一种由 LLM 充当优化器的黑盒进化算法：

1. 初始化： 一个 LLM 生成初始的多样化护盾候选集。
2. 评估： 每个候选者都使用适应度函数进行评估：$fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$，其中 $\lambda$ 是针对效用损失的巨大惩罚乘数。
3. 选择与生成： 选择表现最好的护盾，并将它们的文本和得分作为上下文示例反馈给优化器 LLM。随后，LLM 分析成功的模式并生成新的、改进后的候选者。
4. 迭代： 该过程重复进行，直到收敛（低泄露且高效用）。

核心贡献

• 黑盒兼容性： PSM 不需要访问模型权重、梯度或内部参数，因此适用于任何可通过 API 访问的专有或开源 LLM。
• 低开销： 学习到的护盾是一个静态的文本后缀。它在推理时产生的开销微乎其微，且无需更改服务栈；优化过程是在离线状态下完成的。
• 迭代改进： 通过使用 LLM-as-optimizer，该框架能够智能地在自然语言的高维语义空间中导航，从而发现非显性的、有效的防御策略。
• 效用保留： 该框架强制执行硬性的效用约束，确保加固过程不会降低模型在预期任务上的表现。

实验结果

作者在三个闭源模型（GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI）上，使用两个提示词语料库（Unnatural Instructions 和 Synthetic System Prompts）对 PSM 进行了评估。测试涵盖了四种攻击套件：Raccoon、Rقیoon-Language、Polite-Requests 和 Command-Override。

• 泄露减少： PSM 显著优于基准方案（无防御、N-gram 过滤器、启发式护栏和诱饵提示词）。在所有数据集和模型中，PSM 将攻击成功率（ASR）降低至 0–6%，通常实现了近乎零泄露。
• 对改写的鲁棒性： 与在翻译或改写攻击（Raccoon-Language）中失效的 N-gram 过滤器不同，PSM 保持了较低的 ASR，展示了超越字面文本重叠的鲁棒性。
• 效用保留： 表 3 显示 PSM 保留了语义任务保真度，其效用得分通常超过基准值的 100%，表明该防御并未抑制有用的能力。
• 泛化能力： 优化的护盾展现了强大的跨模型泛化能力，在不同的模型家族中均取得了统一的低 ASR。

意义与主张

本文声称 PSM 带来了 LLM 安全领域的范式转移，即从脆弱的、基于启发式的防御转向鲁棒的、由优化驱动的方法。其重要性在于：

1. 实用性： 它提供了一种系统化、可复现的方法，用于保护有价值的提示词资产，且无需白盒访问或专家知识。
2. 可扩展性： 护盾的轻量化特性使得该方案可以在实际场景中部署，且推理时的开销可以忽略不计。
3. 安全态势： 通过有效地遏制提示词泄露并同时维持效用，PSM 保护了专有知识产权和操作数据，解决了 LLM 应用商业化过程中的关键漏洞。

作者总结道，PSM 为保护提示词 IP 和保障下一代 LLM 系统安全提供了一条可行的路径，尽管他们也承认了在优化循环中的计算强度以及对训练时所用攻击套件广度的依赖性等局限性。