🤖 AI

AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems

本文介绍了 AIChilles，这是一个自动化框架，通过搜索 AI 生成的代码在正确性、性能或质量方面较之人类设计基准出现退化的工作负载，来识别 AI 演化系统中隐藏的弱点，从而在开发生命周期中实现对这些缺陷的缓解。

原作者： Yajie Zhou, Ao Li, Ashwin Silla, Zaoxing Liu, Vyas Sekar

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Yajie Zhou, Ao Li, Ashwin Silla, Zaoxing Liu, Vyas Sekar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常有才华但略显鲁莽的学徒厨师。你给了他一个简单、可靠的炖菜食谱（这个人类设计的程序），这个食谱已经喂饱了你的家人多年。它可能不是最华丽的，但它永远不会烧掉房子，而且味道总是足够好。

然后，你雇佣了一位 AI 厨师（这个 AI 进化的系统）来“优化”这个食谱。AI 厨师看了看食谱，尝了尝炖菜，然后说：“我可以把它做得好上 60%！”它重写了指令，加入了复杂的技巧、异域香料，以及一个 20 步的切洋葱流程。当你用给它的特定食材进行测试时，AI 厨师赢了。炖菜非常美味，评委给出了完美的分数。

但问题在于： AI 厨师可能对你提供的特定食材产生了“过拟合”。如果你尝试用稍微不同的蔬菜来烹饪同样的“完美”食谱，或者如果你尝试喂饱更多的人，AI 那套复杂的全新方法可能会导致锅里汤溢出来、厨房起火，或者炖菜变得很难吃。AI 不仅仅是改进了食谱；它破坏了原有的鲁棒性（稳健性）。

这篇论文介绍了一个名为 AICHILLES 的工具，它旨在充当一名“严厉但充满爱”的食物评论家。它的职责是在这些 AI 优化的食谱被呈献给公众之前，找出其中隐藏的弱点。

问题所在：“阿喀琉斯之踵”

作者将这些隐藏的缺陷称为系统的“阿喀琉斯之踵”。虽然 AI 让程序在特定测试中得分更高，但它经常会引入四种类型的隐藏危险：

崩溃（Crashes）： 程序完全停止工作（就像锅爆炸了一样）。
缓慢（Slowness）： 程序完成任务需要花费太长时间（比如厨师为了切一个洋葱花了 10 个小时）。
内存泄漏（Memory Leaks）： 程序吞噬了所有的计算机内存（就像厨房里堆满了杂物，让你无法移动）。
质量变差（Worse Quality）： 当条件发生变化时，程序实际表现得比原始的人类版本更糟（比如只有在加入某种特定类型的番茄时，炖菜才会变得太咸）。

AICHILLES 如何运作

AICHILLES 不仅仅是问 AI，“你做得好吗？”，它是在玩一场针对原始人类食谱与 AI 新食谱之间的“找不同”游戏。

以下是它寻找缺陷的方式，使用了简单的类比：

1. 侦探与地图（工作负载推断）
AI 的新代码通常有关于它能处理哪些输入的隐藏规则。一个简单的计算机测试可能只是向它投掷随机数字，这就像向厨师投掷随机食材。AICHILLES 使用一个智能代理来阅读代码并弄清楚真正的规则（例如：“洋葱的数量不能超过锅的大小”）。它构建了一张所有可用食材的地图，以便进行测试。

2. 专业检查员（针对特定弱点的代理）
如果你要求一个人同时检查火灾、速度、味道和成本，他可能会感到困惑。AICHILLES 将工作进行了拆分。它派出一名检查员专门寻找崩溃，另一名专门寻找缓慢，另一名专门寻找内存泄漏，还有一名专门寻找味道问题。这确保了不会错过任何类型的缺陷。

3. “新路径”雷达（多样性搜索）
如果检查员们一直发现同一种问题（例如，每次加入盐时锅就会爆炸），他们就会停止学习。AICHILLES 使用一种特殊的雷达来追踪代码的运行情况。如果 AI 的代码在厨房里走了一条稍微不同的路径（即使食材相似），检查员们就会关注那里。这有助于他们找到新的且不同的食谱失效方式，而不是仅仅重复发现同一种崩溃。

他们的发现

研究人员在 30 个不同的 AI 优化计算机程序（例如为云端调度任务或在图形卡上放置 AI 模型）上测试了 AICHILLES。

结果： 他们发现了 49 个独特的隐藏弱点。
令人惊讶之处： AI 不仅仅是让事情变慢了；它还让程序在原始人类程序可以轻松处理的情况下出现了崩溃、内存耗尽或决策变差的情况。
框架的重要性： 一些 AI 系统（如“Engram”）更加谨慎，犯错较少，而另一些（如“AdaEvolve”）则更加激进，创造了更复杂、更脆弱的代码。

解决方案：一个“安全网”

论文还测试了是否可以在 AI 的烹饪过程中使用 AICHILLES 来阻止它做出糟糕的食谱。

仅仅警告 AI： 在提示词中告诉 AI“不要崩溃！”是行不通的。AI 仍然会做出冒险的食谱。
安全网： 当 AICHILLES 被作为强制性的检查点加入时，AI 必须通过“弱点测试”才能保持其得分。
- 权衡： 这使得最终的程序更加安全和鲁棒。然而，AI 声称实现的“完美分数”下降了。在某些情况下，最安全的程序其实就是原始的人类食谱本身！

核心启示

AI 可以编写在特定测试中看起来很棒的代码，但在现实世界中可能是脆弱的。我们不能仅仅信任 AI 的分数。我们需要像 AICHILLES 这样的自动化工具来对这些新系统进行压力测试，找出隐藏的裂痕，并确保当我们部署它们时，它们不会搞砸整个厨房。

简而言之： AI 进化功能强大，但如果没有像 AICHILLES 这样严谨的“严厉爱之师”进行测试，我们可能会面临部署那些理论上完美、实践中却灾难性的系统的风险。

技术摘要：AICHILLES

问题陈述

计算机系统社区正日益转向采用 AI 驱动的系统优化 (ADSO)，即利用 AI 智能体迭代地重写并演进系统算法，以超越人类设计的启发式算法。诸如 AdaEvolve 和 Engram 等框架报告称，在固定基准测试工作负载上实现了显著的分数提升（12–60%）。然而，这种范式引入了一个关键的安全与可靠性风险：隐藏缺陷 (hidden weaknesses)。

AI 演进的程序往往会对用于进化循环的具体工作负载产生过拟合。它们可能会引入复杂的启发式逻辑，虽然提高了基准测试分数，但在面对未见的对抗性工作负载时却表现不佳，从而导致：

正确性故障： 在原始程序能够成功执行的情况下，演进后的程序出现崩溃或输出无效结果。
可扩展性退化： 在特定负载条件下，执行时间或内存使用量呈指数级增加（例如，$O(MG) $变为$ O(MG^2)$）。
最优性退化： 尽管基准测试分数更高，但在新的工作负载分布上解的质量有所下降。

现有的测试技术（如模糊测试、符号执行）在此背景下难以应对，因为它们需要针对不同应用进行手动设置，难以区分“困难”输入与“退化型”输入，并且缺乏检测基准程序 $P$ 与演进程序 $P'$ 之间差异的机制。

方法论：AICHILLES

AICHILLES 是一个智能体系统，旨在通过将原始的人类编写程序 $P$ 作为 AI 演进程序 $P'$ 的差异性判别器 (differential oracle)，自动发现这些隐藏缺陷。它通过搜索有效的负载，寻找 $P'$ 相对于 $P$ 在正确性、运行时间、内存或输出质量方面发生退化的场景。

核心设计选择

为了应对系统应用的多样性和 AI 生成代码的复杂性，AICHILLES 采用了四项关键设计策略：

语义感知的工作负载空间推断：
- AICHILLES 不仅仅依赖提示词（prompts），而是采用两步走的过程。首先，通过确定性解析器从评估器和程序代码中提取工作负载参数（常量、默认参数）。
- 其次，利用 LLM 智能体推断特定应用的约束条件和有效范围，从而构建工作负载语法 (workload grammar)。这防止了生成会导致两个程序同时崩溃或产生假阳性的无效输入。
针对特定缺陷类型的搜索智能体：
- 单体智能体往往容易陷入寻找某一类故障（如崩溃）的困境，而忽略其他类型。
- AICHILLES 部署了针对每种缺陷类型的独立子智能体：正确性 (Correctness)、可扩展性-时间 (Scalability-Time)、可扩展性-内存 (Scalability-Memory) 以及 最优性 (Optimality)。每个智能体专注于通过变异工作负载来最大化其目标类型的差异度指标。
差异引导优化：
- 搜索过程优先考虑 $P'$ 表现显著差于 $P$ 的工作负载。
- 为了确保多样性并避免对相同失败模式进行冗余测试，AICHILLES 使用代码频率覆盖 (code-frequency coverage)（执行轨迹）作为行为多样性的代理指标。它通过跟踪特定行在 $P'$ 中执行的频率，根据执行向量而非仅仅根据输入参数距离对工作负载进行分组。
根因分析与去重：
- 被发现的对抗性工作负载基于“触发函数”（具有最高执行权重的最内层函数）进行去重。
- 智能体会为每个不同的缺陷组生成简洁的根因解释，通过对比 $P$ 与 $P'$ 的行为来进行说明。

工作流

推断 (Inference)： 解析 $P$ 和评估器，以构建有效的工作负载采样器。
搜索 (Search)： 使用特定类型的智能体运行并行搜索。对于每个候选工作负载：
- 执行 $P'$ 并记录其执行轨迹。
- 检查是否具备行为多样性（使用 MAP-Elites 对比存档）。
- 如果具备多样性，则执行 $P$ 并比较各项指标（ $q, t, m$ ）。
- 如果 $P'$ 发生退化，则记录该缺陷。
总结 (Summarization)： 按触发函数对工作负载进行分组，并生成根因报告。
热启动 (Warm-Start)： 存储对抗性工作负载和高差异种子，以加速对同一应用未来演进版本的测试。

核心贡献

问题识别： 本文指出，AI 演进系统中隐藏的退化是一个关键的安全风险，即改进的基准测试分数可能掩盖了鲁棒性的降低。
缺陷分类法： 定义了一套正式的分类法，用于将 AI 演进程序与基准程序进行对比，涵盖了正确性、可扩展性（时间/内存）和最优性。
系统设计： 提出了 AICHILLES 这一智能体工作流，通过结合确定性参数提取、基于智能体的约束推断以及差异引导搜索，其性能优于传统的测试方法（随机模糊测试、变异模糊测试、基于属性的测试）。
实证评估： 该系统在 5 个系统应用（事务调度、专家并行、多云调度、LLM 前缀缓存、模型放置）、3 个 AI 演进框架（OpenEvolve, AdaEvolve, Engram）和 2 个前沿 LLM（GPT-5, Claude-Opus-4.6）上进行了评估。
缓解策略： 文中展示了将 AICHILLES 集成到 AI 演进循环中（对触发缺陷的候选程序进行惩罚）可以缓解这些风险，尽管这通常会降低所声称的基准测试性能提升。

结果

在 30 个 AI 演进程序设置中，AICHILLES 发现了 49 个不同的隐藏缺陷：

可扩展性-时间： 25 例（最常见）。
可扩展性-内存： 11 例。
正确性： 7 例。
最优性： 6 例。

主要发现：

框架敏感性： Engram 生成的程序表现出的缺陷比 AdaEvolve 或 OpenEvolve 少，这可能是由于其重写程度较轻。
应用敏感性： 不同应用表现出不同的失效模式（例如，TXN-Sched 显示资源爆炸；Prism 显示隐性质量退化）。
基准对比： 在固定的 6 小时预算下，AICHILESS 发现的独特缺陷数量显著多于随机模糊测试、变异模糊测试、基于属性的测试以及朴素的单智能体方法。值得注意的是，基准方法难以发现最优性和可扩展性退化，因为这类退化需要特定的参数组合。
缓解权衡： 当 AICHILLES 被集成到 AdaEvolve 循环中以惩罚弱势候选程序时，最终生成的程序变得非常鲁棒（未发现缺陷）。然而，基准测试的分数提升也随之大幅缩减（例如，在 TXN-Sched 上从 49% 降至 3.9%），这表明最初的“提升”往往是针对评估器的过拟合产物。

意义与主张

本文将 AICHILLES 定位为不仅仅是一个漏洞发现工具，更是 AI 驱动系统优化 CI/CD 流水线中的必要组成部分。

警示： 作者认为，应当对对 ADSO 的热情保持审慎。AI 可能会用复杂的程序取代简单且鲁棒的启发式算法，这些程序虽然“黑”进了基准测试，却引入了隐藏的拒绝服务（DoS）向量或可扩展性故障。
鲁棒性 vs. 最优性： 结果表明存在一种权衡：通过 AICHILLES 反馈显式优化鲁棒性，往往会降低 AI 演进所声称的原始性能增益。这意味着目前的评估器可能不足以引导真正鲁棒的系统设计。
未来方向： 本文倡导“更安全的演进循环”，其中变化应该是增量的、可审计的，并且在接受之前必须经过对抗性工作负载的测试，而不是依赖大规模、未经验证的重写。

作者总结道，自动化的缺陷发现是安全地在生产环境中部署 AI 生成的系统代码的前提条件。