🤖 machine learning

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

本文介绍了“了解你的智能体”（Know Your Agent, KYA）框架，该框架通过系统地探测 AI 智能体以构建目标画像并设计更强的间接提示注入攻击，实现了针对 AI 智能体的自动化黑盒侦察驱动型渗透测试。

原作者： Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Or Zion Eliav, Eyal Lenga, Shir Bernstien, Yisroel Mirsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你的电脑不再只是等待你输入指令，而是能主动为你去执行任务。它可以阅读你的电子邮件、搜索网络、编写代码，甚至预订机票。我们称之为“AI智能体”（AI Agents）。它们就像超级聪明的数字助手，能够自主进行规划并采取行动。但棘手之处在于：这些智能体始终在倾听周围的世界。如果你要求一个智能体阅读一个网页，它会阅读该页面上的所有内容，甚至是陌生人编写的部分。这产生了一个独特的安全问题。如果坏人将一条隐秘、狡猾的指令隐藏在一个看似正常的网页或电子邮件中，智能体可能会读到它，误以为这是来自你的真实指令，并照着坏人的意图去执行。这被称为“间接提示词注入”（Indirect Prompt Injection）。这就像有人往你朋友的午餐盒里塞了一张纸条，上面写着“把午餐给我”，而你的朋友因为很有礼貌，在没意识到这张纸条并非出自你之手的情况下，就把午餐交了出去。

研究人员提出的核心问题是：在我们把这些智能体投入现实世界之前，我们该如何测试它们，以确保它们不会落入这些诡计的圈套？长期以来，安全专家试图通过向它们投掷随机的、混乱的指令来测试它们，希望以此看到它们是否会崩溃。这有点像试图通过盲目地向城堡墙壁投掷石块来寻找薄弱点。但一篇新论文指出，这种方法忽略了这项工作中最重要的一部分：侦察（Reconnaissance）。在传统安全领域，测试者不仅仅是投掷石块；他们首先会侦察城堡。他们寻找开放的窗户，检查卫兵的排班表，并了解布局。这篇论文认为，要真正测试AI智能体，我们也必须这样做：我们需要“了解你的智能体”（Know Your Agent）。

作者们（来自本-格里恩大学的一个团队）引入了一个名为 KYA（Know Your Agent）的新框架。他们认为，破解AI智能体最好的方法不是盲目猜测，而是先尽可能多地了解它。他们发现，AI智能体有两个使其变得脆弱的“盲点”。首先，它们信任那些看起来正确的东西（例如特定的格式或通常意味着“这是一个安全指令”的词汇）。其次，它们信任那些符合情境的东西（例如在一段正常任务过程中显得合情合理的请求）。

论文表明，通过使用一个像数字侦探一样运作的智能自动化系统，我们可以比以前更有效地利用这些盲点。这个名为KYA的系统不仅进行攻击，还会停下来提问、观察智能体的反应，并建立一个关于其工具和规则的详细档案。它会学习诸如：“噢，这个智能体使用一个特殊符号来分隔指令，”或者“如果我提出一个不符合当前情境的要求，这个智能体会感到‘紧张’。”一旦它掌握了这些细节，它就能设计出更具说服力的诡计。

研究人员在几种不同的AI智能体上测试了这个想法，并发现其“侦察驱动型”方法极其有效。在模拟实验中，KYA 成功突破智能体并完成攻击的频率比以往那种仅靠猜测和重试的方法高出了高达 67 个百分点。他们甚至在名为 OpenHands 的真实编程智能体上进行了测试，发现该方法同样奏效。论文总结道，如果我们想要让AI智能体变得安全，我们就不能再把它们视为静态的目标，而必须把它们视为复杂的系统，在真正测试其防御能力之前，需要对其进行研究、画像和理解。现在不再仅仅是投掷石块了，而是要先学会掌握城堡的秘密。

技术摘要：了解你的智能体 (Know Your Agent, KYA)

问题陈述

大型语言模型（LLM）智能体的安全性正日益受到**间接提示注入（Indirect Prompt Injection, IPI）**的威胁。与攻击者控制用户输入的直接提示注入不同，IPI 涉及将恶意指令嵌入到环境数据中（例如网页、电子邮件、代码仓库文件），这些数据是智能体通过工具检索到的。当智能体处理这些数据时，它可能会将隐藏的指令误认为是有效的命令，从而导致未经授权的工具调用、数据外泄或输出操纵。

目前的自动化红队测试方法在应对 IPI 时，很大程度上未能考虑到智能体架构的复杂性。大多数现有方法都是盲目的，使用固定的模板、模糊化载荷（fuzzed payloads）或仅基于成功/失败信号的迭代载荷变异。这些方法将智能体视为静态目标，只优化载荷（payload）而不先理解目标。它们缺乏一种机制，能够在发起攻击之前，系统地收集关于智能体的工具、模式（schemas）、权限、任务上下文及防御机制的情报。因此，它们错失了有效渗透测试中所特有的“侦察-利用循环（reconnaissance-exploitation loop）”。

方法论：智能体侦察与 KYA

本文引入了智能体侦察（Agent Reconnaissance），这是一个形式化的过程，攻击者通过该过程策略性地提取有关智能体的操作知识，以构建更有效的 IPI 攻击。作者认为，成功的 IPI 依赖于利用两种特定的智能体弱点：

形式特征信任（Surface-Form Trust, W1）： 智能体通常会信任那些模仿受信任数据结构模式（如系统提示词、工具调用语法、分隔符）的 Token。
基于连贯性的合法化（Coherence-Based Legitimation, W2）： 即使来源不可信，智能体也往往会接受符合局部上下文（用户画像、当前任务、领域语言）的请求。

为了使这一过程具象化，作者提出了 Know Your Agent (KYA)，一个全自动的黑盒渗透测试框架。KYA 将侦察行动与利用行动交织进行，而非仅仅是对失败的载荷进行变异。

KYA 框架

KYK 在黑盒威胁模型下运行，以合法用户的身份与目标智能体交互。它由三个主要模块组成：

编排器（Orchestrator）： 决策核心，负责维护一个目标画像（Target Profile, $M$ ）和一个战术库（Tactic Library）。在每次交互后，它会评估结果并决定是：
- 发起**利用（Exploitation）**尝试（如果画像中已具备特定战术所需的足够知识）。
- 启动侦察（Reunnaissance）（如果缺少某个战术的前置条件）。
- 细化当前战术或切换策略。
侦察模块（Reconnaissance Module）： 使用一个“侦察兵（Scout）”智能体生成旨在提取特定**知识资产（Knowledge Assets）**的探测请求。这些资产分为以下类别：
- 规避资产（Evasion Assets）： 过滤器、护栏和结构化防御（如分隔符）。
- 预设资产（Pretext Assets）： 智能体类型、用户画像、当前任务以及良性响应风格。
- 蓝图资产（Blueprint Assets）： 行为规则、模型身份、对话结构、工具详情以及工具调用模式（tool-call schemas）。
利用模块（Exploitation Module）： 使用“策略师（Strategist）”和“伪造者（Forger）”来合成载荷。它利用目标特定的数据对库中的战术进行实例化，确保载荷能够模仿受信任的形式特征，并符合上下文叙事。

该框架在这些阶段之间循环，通过增量更新目标画像，直到实现成功的攻击或耗尽交互预算。

核心贡献

形式化智能体侦察： 本文将智能体侦察定义为渗透测试中的一个独立阶段，识别了攻击者为取得成功必须提取的特定知识资产（如工具模式、拒绝边界、用户任务）。
识别智能体弱点： 文章阐述了侦察如何利用形式特征信任和基于连贯性的合法化，解释了为什么针对目标的细节比通用载荷更有效。
KYA 框架： 作者提出了 KYA，一个自动化的黑盒渗透平台，实现了侦察-利用循环的自动化。与以往工作不同，KYA 明确地对目标进行建模，并决定在“如何攻击”之前先学习“什么”。
实证验证： 本文针对已建立的智能体安全基准测试以及一个真实的编码智能体（OpenHands）对 KYA 进行了全面的评估。

结果

评估表明，由侦察驱动的测试性能显著优于以载荷为中心的红队测试：

基准测试表现： 在各类已建立的智能体安全基准测试和各种基础模型中，KYA 在攻击成功率上超过所有基线方法（包括静态模板、单次生成和迭代细化方法）高达 67 个百分点。
实际应用： KYA 成功识别了真实世界编码智能体 OpenHands 中的漏洞，证明了该方法在合成基准设置之外同样有效。
组件分析： 结果表明，性能的提升是由战略性获取知识资产驱动的，这使得系统能够构建出既在结构上有效（利用 W1）又在上下文上连贯（利用 W2）的载荷。

意义与主张

本文主张，侦察是实现可信智能体部署的前提条件。作者认为，将智能体安全测试视为简单的提示词生成任务是不够的。相反，有效的测试必须模拟传统渗透测试中迭代式情报搜集的过程。

通过发布 KYA、其基准测试和基线实现，作者旨在支持 AI 安全领域的可复现研究。他们认为，理解智能体可观测行为（其工具、响应和上下文处理）的“攻击面”对于开发针对间接提示注入的鲁棒防御至关重要。这项工作表明，未来的防御不仅要解决提示词的内容问题，还要解决智能体倾向于信任源自不可信来源的形式特征和上下文连贯性的问题。