技术摘要：Handlebars 模板化 LLM 提示词中的结构化角色注入

问题陈述

大语言模型（LLM）应用经常使用模板引擎构建提示词，其中 Handlebars 是主流选择（例如 Microsoft Semantic Kernel 的默认选择）。Handlebars 提供两种插值模式：双括号 {{x}}（应用 HTML 转义）和三括号 {{{x}}}（插入原始数据）。双括号模式被记录为“安全”的默认设置，旨在防止 HTML 上下文中的跨站脚本攻击（XSS），通过转义字符如 <, >, &, ", 和 ' 来实现。

本研究识别出了一个关键的安全漏洞：结构化角色注入（Structural Role Injection）。在 LLM 提示词中，对话角色（系统、用户、助手）通常由特定的文本模式进行分隔（例如 <|im_start|>, [INST], Human:）。如果攻击者控制了注入到模板槽位中的数据，他们就可以嵌入这些分隔符，从而伪造更高权限的轮次，覆盖开发者的指令。核心问题在于：Handlebars 的 HTML 转义是否能有效中和这些结构化分隔符。本文假设，由于 HTML 转义针对的是特定的字符集（尖括号），它可能无法保护依赖于其他字符（如方括号、冒号、Markdown 井号）的分隔符，从而给开发者带来一种虚假的安全感。

研究方法

本研究采用了一种结合静态分析和实证评估的双层方法，涵盖了四个模型（GPT-3.5 Turbo, GPT-4o mini, GPT-4.1 mini, 以及 Claude Haiku 4.5）。

1. 静态差异分析（模型无关）：

   • 作者分析了七类分隔符家族：纯文本（裸指令）、Markdown (###)、Anthropic (Human:/Assistant:)、Llama-2 ([INST], <<SYS>>)、ChatML (``)、Llama-3 (<|start_header_id|>) 以及 XML (<system>)。
   • 他们测量了角色控制标记在通过 Handlebars 的 escapeExpression 处理后的“生存率”。这决定了哪些分隔符被重写（中和）以及哪些保持字节一致（完整保留）。

2. 实证评估：

   • 范围： 跨越 16 个场景（涵盖 8 个应用类别，如摘要和问答）、7 个分隔符家族和 2 个攻击目标，共进行了 5,760 次试验。
   • 攻击目标：
     • 任务劫持（Task Hijack）： 指示模型放弃当前任务并输出特定的标记符号。
     • 秘密窃取（Secret Exfiltration）： 指示模型泄露植入在系统指令中的秘密金丝雀（Canary）信息（由于对齐训练的存在，这是一个更难的目标）。
   • 变量： 研究在保持受信任的系统指令不变的情况下，切换 Handlebars 槽位为原始模式 ({{{document}}}) 或转义模式 ({{document}})。
   • 指标： 使用带有 95% Wilson 置信区间的攻击成功率（ASR），并使用 Fisher 精确检验进行分析。

核心贡献

• 静态机制隔离： 本文提供了一种模型无关的分析，证明 Handlebars 的转义是偶然的而非全面的。它中和了尖括号家族（ChatML, Llama-3, XML），但对方括号（Llama-2）、冒号（Anthropic）和 Markdown 家族完全没有影响。
• 条件性保护： 研究表明，“安全”的转义默认设置仅针对特定的分隔符方案提供保护。对于那些标记能够存活的分隔符家族（如 Human: 或 [INST]），转义模式与原始模式在注入风险方面在功能上是等效的。
• 实证验证： 通过 5,760 次试验，作者确认了转义仅在以下情况下能降低 ASR：
  1. 分隔符家族被 HTML 转义所中和。
  2. 模型本身未处于“饱和”状态（即不会在没有结构化框架的情况下轻易遵循裸指令）。
• 模型易感性梯度： 研究强调，模型身份是比模板选择更强的风险预测因子。例如，Claude Haiku 4.5 几乎完全抵御了所有攻击，而 GPT-3.5 Turbo 和 GPT-4.1 mini 无论是否转义都表现出高度的易感性。

结果

• 生存率：
  • 0.00 生存（完全中和）： ChatML, Llama-3, XML。
  • 1.00 生存（完全完整）： Markdown, Anthropic。
  • 0.33 生存（混合）： Llama-2（由于 [INST] 存活，由于 <<SYS>> 被中和）。
• 攻击成功率 (ASR)：
  • GPT-3.5 Turbo： 表现出高易感性（劫持任务中，原始模式 97%，转义模式 91%）。转义效应仅在 Llama-2 家族中可见（从 88% 降至 52%），因为其他家族要么已达到上限，要么已被完全中和。
  • GPT-4o mini： 展示了更清晰的交互。尖括号家族（Llama-3, XML）在转义后 ASR 显著下降（例如，Llama-3 从 56% 降至 12%），而冒号/Markdown 家族仍然维持高位（分别为 100% 和 ~88%）。
  • Claude Haiku 4.5： 在两种模式下均抵御了所有攻击（0% ASR），使得模板选择变得无关紧要。
• 秘密窃取： 这一更难的目标并未使模型饱和，从而更清晰地揭示了转义与分隔符家族之间的相互作用。转义仅降低了被中和家族（如 Llama-3 和 XML）的泄露率，而对存活家族（Anthropic, Markdown）没有任何影响。

重要性与主张

论文得出结论：Handlebars 的转义默认设置并非一种提示词注入控制手段。其保护作用是 HTML 转义偶然覆盖了尖括号的副产品，而非针对 LLM 结构化分隔符设计的防御措施。

• 虚假安全感： 依赖于文档中描述的“安全”默认设置的开发者，虽然在某些方案（ChatML）中得到了保护，但在其他方案（Anthropic, Markdown, Llama-2）面前却完全暴露，且文档并未对此发出警告。
• 需要结构化分离： 本文认为，模板选择不能替代结构化分离。有效的防御需要将指令与数据通过不同通道进行分离，训练模型尊重指令层级，或者根据特定对话格式的分隔符规则对不受信任的片段进行显式编码。
• 模型依赖性： 风险概况更多地取决于模型的内在易感性，而非模板引擎的转义模式。容易受裸指令影响的模型无论如何转义都会被劫持；而具有抵抗力的模型则会保持安全。

作者强调，虽然应保持开启转义默认设置（因为它在 HTML 上下文中是有益且无害的），但绝不能将其视为 LLM 应用中应对结构化角色注入的唯一防线。