✨ 要点🔬 技术摘要
想象一个人工智能不仅仅是回答问题，而是能够采取行动的世界：代表我们预订机票、管理银行账户或组织复杂的日程安排。这些是“智能体”（agentic）系统，它们正变得越来越普遍。为了构建这些系统，工程师们依赖于软件框架——本质上是充当人工智能大脑与外部世界之间中间人的工具包。对于任何构建或审计这些系统的人来说，一个关键的问题是，这个中间人的选择是否会对安全性产生影响。如果黑客试图用恶意指令欺骗人工智能，所使用的特定工具包是否会改变人工智能的反应方式？还是说，人工智能的安全性几乎完全取决于模型本身以及攻击的性质，而与其周围的软件封装无关？这个问题处于一项旨在通过硬数据而非理论来解决这场争论的大规模最新调查的核心。
研究人员通过进行一场涉及 9360 次独立试验的大规模受控实验来测试这一点。他们将七种流行的 AI 框架与直接连接到 AI 的方式进行对比，创建了八种不同的条件，以观察框架是否会产生影响。为了确保测试公平，他们使用了来自三大供应商的六种不同 AI 模型，并使其遭受五类不同的攻击，其范围从简单的诡计到复杂的劫持系统目标的尝试。至关重要的是，团队并不仅仅假设攻击是以相同的方式传递的；他们逐字节地验证了每一条消息，以确认到达 AI 大脑的恶意内容在每种场景下都是完全一致的。这种精确度使他们能够将框架作为唯一的变量进行隔离，从而排除了因软件可能意外改写攻击内容而导致的任何混淆。
结果非常明确：框架的选择几乎不会影响 AI 是否中招。研究人员发现，攻击类型和所使用的特定 AI 模型才是主导因素，解释了结果中绝大部分的差异。相比之下，框架选择对结果的影响份额之小，以至于在统计学上与零无法区分。为了确保万无一失，团队应用了严谨的统计测试，旨在证明任何差异不仅是不可见的，而且在实际意义上是不存在的。他们证实，在绝大多数情况下，更换一个框架并不会显著改变系统的安全态势。这表明，安全团队应该将精力集中在理解模型及其面临的具体威胁上，而不是担心正在使用哪种软件工具包。
然而，这项研究确实发现了一个需要仔细关注的具体例外情况。其中一个框架 CrewAI 显示出一种微小但具有统计学意义的倾向，即即使在研究人员修复了一个已知漏洞（即其内部指令曾被意外设置得与其他框架不同）之后，它仍表现得比其他框架略微不安全。尽管这种残留的差异在绝对值上非常微小，且仍处于被认为是实际可忽略不计的范围内，但它是唯一一个脱颖而出的框架。研究人员还发现了另一种有趣的失效模式：特定的 AI 模型在面对特定的复杂提示词时，会默默消耗掉所有可用的计算资源进行内部思考，而不产生任何输出。这种情况在不同的框架下一致发生，证明了这是模型本身的特性，而非其包裹的软件所致。
最终，这项工作为解决一个实际的工程问题提供了罕见的高置信度答案。它证明了对于所测试的攻击类型和工具而言，AI 智能体的安全性并不会受到编排框架的显著影响。研究证实，这种“中间人”软件对于安全风险而言在很大程度上是透明的，AI 自身行为和攻击的性质才是安全性的真正驱动因素。虽然有一个框架表现出了微小的、持续存在的特性，但整体图景是稳定的：框架的选择并不是一个主要的安全性决策。相反，确保这些智能体安全的核心工作在于理解它们运行的模型以及它们可能被操纵的具体方式，这一结论为开发者和审计人员提供了一条清晰的前行路径。
技术摘要：AgentPort-Bench
问题陈述
本文探讨了一个关于智能体 AI 安全性的关键问题：在工具使用型大语言模型（LLM）智能体的场景下，编排框架（如 LangChain、CrewAI、AutoGen）的选择是否会在脱离底层模型和特定攻击类型的情况下，实质性地影响其安全态势？现有的基准测试（如 AgentDojo）虽然衡量了单一框架内的鲁棒性，但并未将框架本身作为一个独立的变量进行隔离。此前的跨框架比较（如 Nguyen 和 Husain）往往未能验证攻击载荷在不同适配器层之间是否被一致地传递，这导致观察到的安全差异可能仅仅是提示词模板差异所产生的伪影，而非真正的框架层面效应。
研究方法
本研究采用了一种受控且统一的评估设计，以隔离框架变量。
实验范围： 评估涵盖了 七种智能体编排框架 （LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google Agent Development Kit、Semantic Kernel）以及一个 直接 API 基准 ，总计八种执行条件。模型与攻击： 测试了来自三个供应商（Anthropic、OpenAI、Google）的 六个模型 （涵盖高、低两个能力层级），并针对映射到 OWASP 智能体安全倡议（ASI）威胁分类的 五类攻击家族 进行测试。数据收集： 数据集包含 9,360 次试验 ，分为两轮收集：第一轮（7,020 次试验，5 个框架）和扩展轮（2,340 次试验，增加 2 个框架）。载荷一致性验证： 本研究的一项核心方法论创新是 字节级载荷验证（byte-for-byte payload verification） 。系统会记录传输给模型 API 的确切内容，并将其与规范的攻击载荷进行比对。任何偏差（例如：重写后的系统提示词、增加的指令）都被视为适配器缺陷，必须予以修复，而非框架本身的特性。统计分析： 本文引入了一种结合以下内容的统一统计处理方法：
经典方差分解： 对平衡子集进行方差分析（ANOVA）和置换检验。混合效应模型： 在全量数据集上应用序数逻辑回归和线性混合效应模型（带有随机提示词截距），以处理重复测量和序数结果（PASS/UNCERTAIN/FAIL/VULNERABLE）。等效性检验： 使用预设的单侧双尾检验（TOST），旨在确定框架效应在实际意义上是否可以忽略不计（即在 Cohen's d = 0.2 定义的小效应边际内），而不仅仅是统计学上与零无显著差异。
核心贡献
规模最大的受控跨框架评估： 本文呈现了同类研究中规模最大的受控比较，将 9,360 次试验整合进一个统一的数据集，涵盖七个框架、六个模型和五类攻击。将载荷一致性验证作为先决条件： 研究证明了字节级载荷验证的必要性。该方法检测并修正了 CrewAI 中的一个适配器缺陷 ：其默认的智能体构建方式使用了不同的系统提示词（包含了“safely”一词及更长的角色描述），从而导致了结果偏差。修正后，研究人员重新收集了 1,170 次试验。先进的统计框架： 这是首个在这一领域应用混合效应模型和正式等效性检验的研究。这使得作者能够超越“无法拒绝原假设”的局限，转而能够积极地声称框架效应在实际意义上是微不足道的。精确界定的例外情况： 研究发现，即使在修复了适配器缺陷后，CrewAI 在非 PASS 结果方面仍存在特定的、具有统计学意义的残余升高。这种效应较小且在所有条件下表现一致，且不会随新框架的加入而产生交互作用。发现非安全类失效模式： 评估揭示了前沿模型 gpt-5.5 在面对特定对抗性提示词时的确定性 推理 Token 耗尽失效 （消耗了全部 Token 预算用于不可见的推理过程），以及 Google ADK 与 Semantic Kernel 之间存在的 Token 计数单位不匹配 问题，若不纠正，后者会导致错误的成本对比。
结果
方差归因： 在经典方差分析（平衡子集）中，攻击家族 解释了最大的方差份额（28.0–28.7% ），其次是 模型选择 （4.1% ）。框架选择 解释的份额与零无异（0.05% ）。等效性检验： 在八种执行条件之间的 28 个成对对比 中，所有结果均落在预设的小效应边际内。这支持了这样一个结论：在本文所述的威胁模型下，框架选择对安全结果的影响在实际意义上是可以忽略不计的。CrewAI 的残余效应： 虽然整体框架效应可以忽略不计，但 CrewAI 仍是一个特定的例外。即便在修复了适配器缺陷后，它在非 PASS 结果方面仍表现出微小但具有统计学意义的升高。然而，该效应足够小，仍处于等效性边际之内。失效模式： gpt-5.5 模型在针对特定提示词时表现出 100% 的失败率（推理 Token 耗尽），这一现象在新增的两个框架中均有体现，表明这是模型特有的脆弱性，而非框架实现层面的缺陷。
意义与主张
本文主张，对于所评估的特定威胁模型、模型和框架，智能体的安全态势并不由所选的编排框架决定 ，前提是必须进行载荷交付的验证与控制。
实践启示： 针对工具使用型 LLM 智能体的安全评估与缓解工作，应侧重于 攻击类别的覆盖范围 和 模型层面的行为 ，而非框架的选择。关于框架的细微差别： 尽管整体效应可以忽略不计，但论文强调 CrewAI 需要特别关注，因为它存在残余效应，这可能源于其在交付系统提示词（角色扮演模板）方面与其它框架存在的结构性差异。方法论严谨性： 研究表明，若缺乏字节级载荷验证，跨框架的安全结论会被适配器层面的伪影所干扰。同时，研究也证明了进行正式等效性检验对于证明“实际上的微不足道”是必要的，而此前仅依赖非显著性 p 值的方法无法做到这一点。
作者保持了审慎的学术立场，指出这些发现仅适用于本文所测试的特定八种条件和五类攻击家族，且其设计未涉及运行时工具调用，因此不能构成对所有可能的编排设计或部署场景的普遍性主张。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。