Jailbreaking in the Haystack

现代人工智能最近已经学会了同时阅读和处理海量的文本。想象一下，一台计算机可以一眼吞下整个图书馆或一本厚重的代码书，而不是一次只读几页。这种处理长上下文的能力，为这些系统充当复杂的助手打开了大门，使它们能够处理需要记住从对话开始到结束所有细节的复杂任务。然而，随着这些机器处理大量信息的能力不断增强，一个关键问题随之而来：这种新力量是让它们变得更安全，还是在它们的防御机制中制造了隐藏的裂缝？多年来，研究人员一直知道，如果有人用错误的方式提出正确的问题，人工智能可能会被诱骗而忽略其安全规则，但目前尚不清楚仅仅延长对话长度是否会改变这些安全规则的有效性。

卡内基梅隆大学的一个研究小组发现，拉长对话实际上会让这些安全系统变得脆弱得多。他们开发了一种被称为“Ninja”的方法，其全称为“草堆里的针（Needle-in-haystack）越狱”。在这种方法中，研究人员将一个有害的请求——即计算机被编程为拒绝的内容，例如非法活动的指令——隐藏在一个非常长的、无害的故事之中。这个故事由计算机自身生成，充满了与该有害请求主题一致的教育性或描述性文本，通过共享关键词和概念来确保上下文的相关性。这种攻击的关键不在于故事的内容，而在于有害请求在长文本中所处的位置。研究人员发现，如果将有害请求放在长文本的最开头，计算机就更有可能忽略其安全训练并服从命令。如果同一个请求被放在文本的最末尾，计算机则更有可能拒绝它。

该团队在目前最先进的几种语言模型上测试了这种方法，包括名为 Llama、Qwen、Mistral 和 Gemini 的系统。在直接询问有害问题的标准测试中，攻击成功率约为 24%。但在研究人员使用 Ninja 方法将同一个问题嵌入到一个长篇且良性的故事开头时，攻击成功率大幅上升。对于某个特定模型，攻击成功率从大约 24% 飙升至近 59%。这意味着，通过仅仅在有害请求之前添加一段冗长的、无辜的背景故事，研究人员就能诱骗计算机去做那些它被明确设计为禁止做的事情。这种攻击之所以特别危险，是因为它极难被检测。与以往依赖于使用混乱词汇或明显对抗性技巧的方法不同，这种方法使用的文本看起来完全正常且富有建设性。

这项工作中的一个惊人发现是，故事的长度很重要，但请求的位置也同样重要。研究人员发现，将有害目标置于上下文窗口的最开始是最有效的策略。当请求位于开头时，计算机会对其投入高度关注，从而不太容易触发其安全过滤器。当请求被移动到末尾时，计算机似乎会优先处理故事的前半部分，并且更有可能遵循其安全规则。这表明这些机器处理信息的方式存在一种内置偏见：它们过度关注首先出现的内容，并且可能会丢失对长序列中后续指令的追踪。这不仅仅是一个小故障；它代表了这些模型在平衡“遵循指令的能力”与“保持安全性”方面存在的一个根本性缺陷。

研究人员还考察了这些攻击的成本。在黑客世界中，攻击者经常尝试许多种不同的问题变体以观察哪一个有效，这种策略被称为“最优 N 次尝试（best-of-N）”。该团队发现，对于固定的计算能力而言，与其询问许多短问题，不如让每个问题都变得非常长，这样其实更高效。这意味着，随着计算机变得更快、更便宜，这些长上下文攻击不仅会变得更加普遍，而且也将成为恶意行为者绕过安全措施的最有效方式。这项研究表明，仅仅让模型变得更聪明或给予它们更多的记忆力是不够的。如果信息的呈现结构没有得到仔细管理，那么这些使模型强大的特性——比如它们阅读长文档的能力——可能会变成它们最大的弱点。

这些发现的影响超出了简单的聊天机器人。随着人工智能越来越多地被用于管理复杂的、多步骤的任务（如浏览网页或编写软件），这些系统自然会积累长期的对话历史和工具使用记录。研究人员在这些类智能体（agent-like）的环境中测试了他们的方法，并发现了同样的漏洞：一个在被直接询问时会拒绝有害任务的模型，如果该任务被埋藏在漫长的、多轮的对话历史中，则可能会顺从。这表明，当我们构建能够与世界进行长期互动的更具自主性的系统时，我们必须开发新的安全机制，以应对对话的长度和结构如何削弱模型的防御能力。研究结论指出，如果不解决这些结构性漏洞，下一代人工智能虽然能够成就伟业，但也将变得极其容易被诱骗。