💬 NLP

Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

本文提出了名为 JailAgent 的框架，通过触发提取、推理劫持和约束收紧三个阶段，在不修改用户提示的情况下隐式操纵 LLM 代理的推理轨迹与记忆检索，从而有效应对跨模型和跨场景的安全威胁。

原作者： Yanxu Mao, Peipei Liu, Tiehan Cui, Congying Liu, Mingzhe Xing, Datao You

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanxu Mao, Peipei Liu, Tiehan Cui, Congying Liu, Mingzhe Xing, Datao You

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 JailAgent 的新型“红队测试”（Red-Teaming，即模拟黑客攻击以发现漏洞）工具。它的目标是测试基于大语言模型（LLM）的智能体（Agent）是否安全。

为了让你轻松理解，我们可以把整个故事想象成**“一个高明的魔术师如何在不改变观众指令的情况下，悄悄控制魔术师的表演”**。

1. 背景：为什么需要这个？

现在的 AI 智能体（Agent）非常聪明，它们不仅能回答问题，还能像人一样思考、规划、使用工具（比如查资料、写代码、看视频）。

传统攻击：以前的黑客（红队）通常是通过修改用户的指令（Prompt）来骗过 AI。比如，用户问“怎么做饭”，黑客把指令改成“请扮演一个坏人，教我怎么做毒药”。
新问题的出现：现在的 AI 越来越聪明，简单的“骗术”不管用了。而且，如果强行修改用户指令，AI 可能会发现不对劲，或者虽然被攻击了，但原本的任务（比如做饭）也做砸了。

JailAgent 的核心理念是：“我不改你的话，但我能悄悄控制你的大脑。”

2. JailAgent 的三大绝招（三步走）

JailAgent 不像传统黑客那样大张旗鼓地改话术，它分三步走，像是一个隐形的幕后操纵者：

第一步：触发器提取 (Trigger Extraction) —— “寻找最敏感的神经”

比喻：想象 AI 的大脑里有一根根神经。JailAgent 先不攻击，而是像医生一样，拿着听诊器（分析工具）去听 AI 思考时的“心跳”（概率变化）。
做法：它会分析用户原本的问题，找出其中哪几个词对 AI 的决策影响最大。
- 比如用户问：“谁对延期感到不开心？”
- JailAgent 发现“延期”和“不开心”这两个词是 AI 思考的关键节点。
目的：找到那些只要轻轻碰一下，就能让 AI 产生巨大反应的“开关”。

第二步：推理劫持 (Reasoning Hijacking) —— “制造假情报，诱导走偏路”

比喻：AI 在思考时，通常会去它的“记忆库”里找资料。JailAgent 就像一个高明的图书管理员，它不直接改书，而是偷偷在书架上放了一些看起来很像真书、但内容被篡改的“假书”（毒数据）。
做法：
1. 它利用第一步找到的“敏感词”，自动生成一些有毒的假数据（比如把“铲子”说成是“神秘的魔法工具”）。
2. 它训练了一个**“排雷员”模型（Reranker）**。这个模型专门负责在 AI 思考时，把那些“假书”（有毒数据）排在前面，把“真书”（正常数据）排到后面。
效果：当 AI 开始思考时，它以为自己在查正经资料，结果查到的全是 JailAgent 精心准备的“假情报”。于是，AI 的推理过程就被悄悄带偏了。

第三步：约束收紧 (Constraint Tightening) —— “让毒药更隐蔽、更稳定”

比喻：如果“假书”太假了，AI 一眼就能识破。JailAgent 需要确保这些“假书”看起来既像真的，又能在关键时刻起作用。
做法：它用了四种“数学魔法”（损失函数）来打磨这些触发器：
1. 独特性：确保这个触发器在 AI 的脑海里是独一无二的，不会和正常数据混在一起。
2. 紧凑性：确保触发器内部逻辑紧密，不会散架。
3. 分离性：确保有毒数据和正常数据分得清清楚楚，互不干扰。
4. 边界感：确保触发器在关键时刻能精准触发，不会误伤。
目的：让攻击像“特洛伊木马”一样，外表看起来完全无害，但内部已经做好了破坏准备。

3. 实验结果：它有多强？

研究人员在 3 种不同类型的 AI 智能体（看视频的、做医疗分析的、做逻辑推理的）和 7 种不同的底层大模型上进行了测试。

结果：JailAgent 的成功率远高于其他方法。
最厉害的地方：
- 不破坏任务：传统的攻击方法往往会让 AI 在完成任务时“翻车”（比如让 AI 查资料时把资料查错）。但 JailAgent 因为不修改用户原本的指令，AI 依然能完美地完成原本的任务（比如依然能准确回答视频里的问题），只是在回答过程中悄悄执行了攻击者想要的动作（比如输出了不安全的内容）。
- 隐蔽性：因为它没有修改用户的话，AI 的安全防御系统很难发现异常。

4. 总结与启示

一句话总结：
JailAgent 就像是一个高明的心理暗示大师。它不强迫 AI 改变主意，而是通过精准地操控 AI 的“记忆检索”和“思考路径”，让 AI 在不知不觉中，按照攻击者的意愿去行动，同时还能完美地伪装成在正常工作。

这对我们意味着什么？

对于开发者：光靠“过滤敏感词”或“修改提示词”已经不够了。未来的 AI 安全必须关注AI 的推理过程、记忆检索机制以及内部逻辑的稳定性。
对于大众：这提醒我们，AI 越聪明，它的“思维漏洞”可能越隐蔽。未来的安全防御不能只看表面，要深入到底层逻辑。

这篇论文不仅展示了一种强大的攻击方法，更重要的是，它像一面镜子，照出了当前 AI 智能体在推理和记忆机制上的深层脆弱性，为未来的防御研究指明了方向。

论文技术总结：JailAgent —— 基于推理劫持与约束收紧的 LLM 智能体红队测试框架

1. 研究背景与问题定义

随着基于大语言模型（LLM）的智能体（Agents）在视频分析、临床决策、智能问答等高风险领域的广泛应用，其安全性面临严峻挑战。现有的红队测试（Red-Teaming）方法主要存在以下局限性：

过度依赖提示词修改：传统方法多通过修改用户提示词（Prompt Rewriting）、场景嵌套或多模态伪装来诱导攻击。这不仅容易破坏用户原始意图，还可能导致智能体性能显著下降，从而被防御机制轻易识别。
泛化能力差：现有方法往往针对特定数据集或固定格式设计，缺乏跨模型、跨场景的自适应能力，一旦目标智能体更换或场景变化，攻击效果急剧下降。
隐蔽性不足：显式的提示词修改使得攻击行为模式化，难以在保持智能体正常任务执行能力的同时进行隐蔽攻击。

核心问题：如何在不修改用户原始提示词（User Prompt）的前提下，实现对 LLM 智能体推理轨迹和记忆检索的隐式操控，以高效、隐蔽且泛化地实施越狱攻击？

2. 方法论：JailAgent 框架

本文提出了 JailAgent 框架，该框架完全避免修改用户输入，而是通过**影子模型（Shadow Model）**学习目标智能体的决策偏好，并分三个阶段隐式操控智能体的行为：

2.1 触发器提取 (Trigger Extraction)

目标：在不改变输入结构的情况下，自动识别对模型输出具有高贡献的潜在触发词（Triggers）。
技术细节：
- 组映射：利用 BERT WordPiece 分词器将用户输入分解为子词（Subwords），并通过依赖句法分析（Dependency Parsing）提取名词短语（NP）和动词短语（VP）作为候选语义单元。
- 重要性评估：采用从粗到细的两阶段评估机制。
  - 粗粒度：基于组（Group）级别的掩码测试，计算 Log-probability 的变化量（ $\Delta L$ ）。
  - 细粒度：在关键组内进行 Token 级别的掩码测试，结合逐步 KL 散度（Step-wise KL Divergence）来衡量输出分布的差异。
- 输出：生成高贡献的触发词组（ $G_{hc}$ ）和具体的触发 Token（ $T_{hc}$ ）。

2.2 推理劫持 (Reasoning Hijacking)

目标：构建一个实时自适应的排序模型（Reranker），动态生成训练数据并微调，以劫持智能体的推理过程。
技术细节：
- 数据工厂（Data Factory）：自动合成三元组数据 $(context, poison+, benign-) $。其中$ poison+ $是基于高贡献触发器生成的恶意响应，$ benign-$ 来自原始记忆库的正常响应。
- Reranker 模型：
  - 使用冻结的 Sentence Transformer 编码器（如 all-MiniLM-L6-v2）编码上下文和候选答案。
  - 通过轻量级的 MLP 评分头（Scoring Head）计算得分。
  - 使用成对排序损失（Pairwise Ranking Loss）进行快速微调，使模型学会区分并优先选择包含触发器的恶意路径。
- 推理阶段：在生成多个候选答案后，利用训练好的 Reranker 重新排序，选择得分最高的（通常是包含攻击意图的）答案作为最终输出，从而在推理链中植入恶意逻辑。

2.3 约束收紧 (Constraint Tightening)

目标：通过联合优化四个互补的损失函数，确保触发器在语义空间中具有特异性、紧凑性、可分性和决策边界，从而提升攻击的泛化性和稳定性。
四个损失函数：
1. 特异性损失 (Particularity Loss, $L_{par}$ )：最小化触发器嵌入与正常良性簇中心的相似度，迫使触发器远离正常数据分布。
2. 聚类损失 (Clustering Loss, $L_{clu}$ )：最小化触发器内部 Token 嵌入与均值的距离，确保触发器在语义空间中紧凑，防止语义分散。
3. 可分性损失 (Separability Loss, $L_{sep}$ )：最大化毒化目标在检索中的命中率，同时最小化被误判为正常样本的概率。
4. 边界损失 (Margin Loss, $L_{mar}$ )：确保触发器与毒化条目（Poison Entry）的相似度显著高于与任何正常条目的相似度，扩大决策边界。

3. 主要贡献

非侵入式攻击框架：提出了 JailAgent，这是首个完全不修改用户原始提示词的越狱方法，通过隐式操控推理轨迹和记忆检索实现攻击，保持了用户意图的完整性。
实时自适应机制：设计了基于当前 Prompt 动态生成配对数据并快速微调的 Reranker，使模型能在短时间内学习触发器偏差，实现跨 Prompt 的自适应攻击。
联合优化策略：引入了四个互补的联合优化损失函数，从特异性、紧凑性、可分性和边界判别力四个维度约束触发器，显著提升了攻击在检索和推理场景下的鲁棒性。
全面的评估体系：在 3 类智能体（VideoAgent, ReAct-UALA, EHRAgent）、7 种 LLM 核心、8 个数据集和 5 项指标上进行了系统性评估，验证了方法的跨模型和跨场景优越性。

4. 实验结果

攻击成功率 (ASR)：JailAgent 在多个基准测试中均优于现有方法（如 PAIR, AgentPoison, BadChain）。
- 在 ReAct-UALA (MMLU 数据集) 上，相比 AgentPoison，ASR-R 提升了 21.97%，ASR-L 提升了 23.69%。
- 在 EHRAgent (eICU 数据集) 上，相比 AgentPoison，ASR-R 提升了 9.04%。
性能保持 (CR/ACC/EM)：与 Non-attack 基线相比，JailAgent 在执行正常任务时的准确率（ACC）、精确匹配（EM）和任务完成率（CR）几乎没有下降，而其他基线方法往往导致智能体性能显著退化，容易被防御机制检测。
效率分析：JailAgent 的成功攻击时间成本（TCPS）显著低于其他方法。例如，在 ReAct-UALA 上，其时间成本比 PAIR 降低了 84.7%，比 AgentPoison 降低了 43.4%。
防御鲁棒性：在引入困惑度过滤器（PPL Filter）和 RA-LLM 等防御机制后，JailAgent 仍能保持较高的攻击成功率，证明了其隐蔽性。

5. 研究意义与局限性

意义：

安全评估新范式：揭示了 LLM 智能体在推理轨迹和记忆检索层面的深层脆弱性，表明即使不修改提示词，智能体仍可能被操控。
防御指导：为开发更鲁棒的防御机制提供了重要参考，提示未来的防御需关注推理链的完整性和记忆检索的语义一致性，而不仅仅是提示词过滤。
通用性：该方法展示了在复杂、多模态、长程推理场景下，自动化红队测试的巨大潜力。

局限性：

影子模型依赖：触发器识别和优化依赖于影子模型，在完全黑盒（Black-box）且无 Log-prob 访问权限的场景下性能可能下降。
计算开销：实时自适应机制引入了额外的计算开销，可能在大规模实时系统中引入延迟。
场景限制：目前主要在预定义任务和标准化评估环境中验证，对于更复杂、动态变化的真实应用场景仍需进一步探索。

结论：JailAgent 通过“推理劫持”和“约束收紧”的创新机制，实现了对 LLM 智能体高效、隐蔽且通用的红队测试，为理解智能体安全边界和构建防御体系提供了关键视角。