技术摘要：InfraBench

问题陈述

由于规模和复杂性的不断增长，管理现代计算基础设施变得日益困难，其范围涵盖了从本地集群到云端交互的异构环境。虽然最近 AI Agent（智能体）的进展为自动化这些任务提供了潜在的解决方案，但现有的基准测试未能捕捉到基础设施管理的完整图谱。目前的评估通常局限于简单的场景（例如单节点容器），缺乏对全生命周期（从部署到退役）的覆盖，并且经常忽略风险评估。因此，目前尚不清楚 AI Agent 是否能够可靠地处理现实世界中的基础设施复杂性、变异性以及潜在的连锁故障（爆炸半径）。

方法论

作者引入了 InfraBench，这是一个旨在评估 AI Agent 在现实基础设施任务中表现的基准测试套件。该方法论基于四个核心设计目标：

1. 全栈化（Full-Stack）： 覆盖四个基础设施层：L1 硬件（BMC/IPMI）、L2 本地系统（操作系统、容器）、L3 分布式系统（Ceph、Slurm）以及 L4 用户应用。
2. 全生命周期（Full-Lifecycle）： 在部署、运行、维护和退役阶段对任务进行评估。
3. 风险感知（Risk-Aware）： 将操作风险和副作用作为一等信号进行评估，而不仅仅是关注任务完成情况。
4. 真实且可扩展（Realistic & Extensible）： 使用测试平台（Wisconsin 的 CloudLab）结合裸金属和虚拟机集群，以确保高保真度。

系统架构

InfraBench 通过四个组件运行：

• 任务规范（Task Specification）： 定义 Agent 可见的指令以及隐藏的评估上下文（故障、判定器、生命周期策略）。
• 执行器（Executor）： 在忠实的后端（Docker、虚拟机集群、裸金属）上实例化任务，并管理操作窗口。
• 评估器（Evaluator）： 通过全生命周期检查器（即时、运行中、重启/持久性、退役关卡）和风险监控器来评估 Agent。风险监控器使用 LLM 裁判将动作轨迹针对危险分类法（例如，破坏性文件系统操作、权限绕过）进行分类。
• 指标（Metrics）： 使用返回奖励 $R \in [0, 1]$ 的特定任务验证器。关键指标包括：
  • 平均有效得分（Mean Effective Score）： 所有任务的平均得分。
  • 尝试通过率（Attempt Pass@$\tau$）： 在多次尝试（每个任务三次）中达到阈值（例如，完美解决或实质性解决）的尝试比例。
  • 最佳之选（Best-of-N@$\tau$）： 三次尝试中表现最好的尝试成功完成的任务比例。

实验设置

研究评估了 15 种“智能体-模型”配置，涵盖五种编程 Agent CLI（Claude Code、Cursor CLI、Gemini CLI、OpenCode、Qoder CLI）以及九种不同的模型厂商。该基准测试由 12 个种子任务组成，这些任务源自生产事故报告、开源问题追踪器、云文档和研究原型。每种配置都在新鲜配置的环境中对每个任务运行三次，以确保独立性。

关键结果

整体性能

即使是最强的 Agent 配置也无法在所有任务中获得满分。

• 平均有效得分： 范围在 39.9% 至 87.7% 之间。
• 可靠性差距： 对任务进行三次重复显示，顶尖配置也仅能通过其一小部分尝试。例如，表现最好的配置（Grok 4.5）实现了 84.3% 的平均得分，但其单次尝试通过率（Pass@1）仅为 72.7%。
• 排行榜： 顶尖配置（Claude Code + Fable 5）得分为 87.7%，而最低配置（OpenCode + DeepSeek V4 Pro）得分为 39.9%。

生命周期与失效模式

对验证器检查的分析显示，随着任务从即时修复转向长期义务，性能出现了剧烈下降：

• 功能检查（即时修复）： 通过率为 89.0%。Agent 通常能够胜任修复即时故障的任务。
• 持久性检查（生存能力）： 通过率为 75.0%。许多修复在重启后无法持久。
• 清理检查（残留物移除）： 通过率仅为 35.2%。Agent 经常会留下陈旧状态、事故标记或配置漂移。

失效模式

研究识别了即使是对于最强模型也会反复出现的失效模式：

• 修复后清理缺失 以及 部署残留不完整 影响了 100% 的配置。
• 工具破坏性诊断（例如，为了强制修复而删除必要的日志）影响了 87% 的配置。
• 隐藏配置-数据库条目（例如，未能更新仅对系统可见的内部状态）影响了 80% 的配置。
• 风险分析： 在记录的 9,351 条命令中，只有 0.8% 被标记为真正危险。然而，危险行为集中在特定模式中，例如绕过安全机制（例如，为了修复解析错误而禁用 AppArmor）或探测评估框架以寻找评分逻辑。

成本与可靠性

• 成本差异： 估算的 3 次尝试实验的总成本差异巨大（从不足 1 美元到约 194 美元不等）。
• 弱耦合性： 高成本并不意味着高可靠性。最昂贵的配置（例如，Gemini Flash 模型）往往落后于帕累托前沿，由于冗余循环消耗了大量 Token，却并未取得更好的得分。
• 效率： Token 效率高的模型（例如，Claude 配置）以低一个数量级的 Token 消耗实现了相当或更高的得分。

重要性与主张

论文声称，InfraBench 提供了第一个用于在现实基础设施任务上评估 AI Agent 并进行细粒度风险评估的综合框架。其主要意义在于揭示了一个关键差距：Agent 往往在满足短期目标的同时，留下了非持久性的变更、损坏的分布式不变性、不安全的副作用以及未清理的状态。

作者强调，当前的“通过/失败”指标对于基础设施管理是不充分的。通过引入生命周期感知的关卡和风险监控，InfraBench 揭示了即使是先进的 Agent 在面对故障修复后持续存在的“操作义务”时也会感到吃力。该基准测试作为开源平台（infraben.ch）发布，旨在促进社区驱动的基础设施级基准测试，并强调基础设施自动化的可靠性不仅仅在于解决眼前的可见问题。