技术摘要：CODS 2025 ASSETOPSBENCH 挑战赛的结果与回顾性分析

问题陈述

本文探讨了在现实工业环境，特别是“工业 4.0"物理资产管理领域中，评估多智能体 AI 系统所面临的关键挑战。尽管大型语言模型（LLM）智能体在推理和工具使用方面的能力已取得近期进展，但将这些系统从实验室基准测试转向实际部署时，暴露出显著的评估缺口。静态基准测试往往偏向于那些定义狭窄、易于优化的任务，无法捕捉关键的部署行为，如工具使用的鲁棒性、隐私保护执行以及多步骤编排。作者认为，基于竞赛的评估提供了一种原则性的替代方案，能够揭示仅在迭代式盲测中才会出现的失败模式（例如渐进式推理失败）。本文解决的具体问题是：设计并回顾性分析一项结合了智能体评估、物理资产工业领域以及隐私约束部署的竞赛，旨在确定此类评估设计实际测量了什么，以及其激励机制可能在何处与真实能力产生偏差。

方法论

作者对托管在 Codabench 平台上的CODS 2025 ASSETOPSBENCH挑战赛进行了回顾性分析。该方法涉及对竞赛产物的多维度分析，而非简单的排行榜报告。

• 竞赛设计：挑战赛采用了“隐藏场景”框架，包含两个互补的赛道：
  • 赛道 1（规划）：参赛者优化规划提示词（prompt）和有向无环图（DAG）的构建（track1_planning.py），而执行器和领域智能体保持冻结。
  • 赛道 2（执行）：参赛者优化工作流执行逻辑，包括并行路径、上下文聚合和回退机制（track2_execution.py），而规划提示词和智能体保持冻结。
• 评估协议：提交作品在 11 个公开开发场景和 11 个隐藏评估场景（第一阶段和第二阶段）中进行评估。评分公式结合了公开分数（$S_{pub}$）、隐藏分数（$S_{priv}$）和语义 t-match 信号（$\tau$）：$C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$。
• 数据收集：分析汇总了来自 149 支注册团队（349 个成员席位）、300 行提交尝试的服务器日志以及 331 个可访问的源代码级产物的数据。
• 分析维度：作者从五个维度对语料库进行了分析：
  1. 参与度：漏斗统计数据和团队构成。
  2. 提交行为：学习曲线、分数进展和可靠性。
  3. 排名鲁棒性：排名对指标构成和公开 - 隐藏对齐的敏感性。
  4. 计算成本：Token 使用量、API 调用次数和挂钟时间指纹。
  5. 策略归因：实现模式（原型）的聚类及其与性能的相关性。
• 验证：基础设施与最近发布的“智能体评估清单”（Agent-Eval Checklist）进行交叉引用，以识别设计缺口。

主要贡献

1. 首个具有隐私约束的工业智能体基准：本文记录了首个竞赛类基准，将智能体多步骤任务、物理资产工业领域（冷水机组、空气处理机组）和隐私约束部署（使用容器化隔离以防止数据泄露）结合在一起。
2. 九维度回顾性框架：作者提出了一种结构化的九维度分析模板，用于未来的智能体竞赛，超越了聚合的排行榜指标，纳入了参与漏斗、分数饱和分析、计算指纹和策略聚类。
3. 公开 - 隐藏偏差的实证证据：该研究提供了具体的统计证据，证明公开排行榜的排名无法预测隐藏的鲁棒性，特别是在执行任务中。
4. 策略分类法与原型分析：本文引入了智能体策略的分类法，区分了“规划”（提示词工程）和“执行”（护栏工程）原型，揭示了顶级表现者往往依赖鲁棒的错误处理而非新颖的架构。

结果

• 参与度和流失率：在 149 支注册团队中，仅有 11 支在两个赛道中均获得了完全排名。流失率显著，由于平台合规性问题（打包/工作流格式违规），提交尝试的失败率为 17.7%，确立了智能体评估的固定基础设施开销。
• 公开分数与隐藏分数的相关性：
  • 规划赛道：公开分数与隐藏分数之间存在中等相关性（$\rho = 0.69$），尽管公开分数显示出系统性的乐观偏差。
  • 执行赛道：公开分数与隐藏分数之间无相关性（$\rho = -0.13, p = 0.71$）。就隐藏性能而言，公开执行分数在统计上与随机噪声无法区分。
• 分数饱和与敏感性：公开规划排行榜在 72.73% 处达到饱和，四支团队均达到此分数，导致公开信号无法区分顶级表现者。此外，最终排名对评分公式的构成高度敏感。旨在贡献 10% 权重的"t-match"项，由于量级差异（0–1 对比 0–100）而在数值上无效，最多仅贡献 0.05 分。重新缩放该项或调整赛道权重将交换前两名的排名。
• 计算成本倒置：对计算足迹的分析显示，“最便宜”的领域（时间序列预测，TSFM）对提示词最敏感（策略方差最高），而“最昂贵”的领域（工单，WO）则最为鲁棒。这表明按 Token 成本对基准测试进行加权可能会无意中测量提示词敏感性，而非智能体能力。
• 策略模式：
  • 规划：策略分布分散，聚类中存在高噪声。顶级提交通常通过提示词细化（例如更长的示例、智能体目录）实现饱和，而未进行架构变更。
  • 执行：策略高度集中在三个紧密的聚类中。顶级表现者被识别为“护栏工程师”，他们改进了响应选择、清理和回退逻辑，而非引入新的智能体架构。
• 失败模式：幻觉被发现是一种耦合的失败模式，与整体任务质量呈强负相关（$r \approx -0.93$），是更广泛失败的领先指标。涉及对历史记录进行长程推理的工单任务始终构成了能力上限。

意义与主张

本文主张，CODS 2025 ASSETOPSBENCH 挑战赛证明了智能体竞赛必须作为评估工具而非仅仅是排名机制进行分析。作者断言，他们的分析揭示了当前基准设计中的关键缺陷，具体包括：

• 排行榜饱和：公开信号可能迅速饱和，无法区分高性能系统。
• 公开 - 隐藏偏差：公开迭代可能奖励那些对特定场景集过拟合的策略，导致公开排名与隐藏鲁棒性之间的脱节。
• 指标设计缺陷：复合评分函数对数值量级选择（例如 t-match 项）敏感，这可能任意改变排名。
• 以护栏为中心的成功：在复杂的工业环境中，顶级表现通常由鲁棒的错误处理和上下文控制（“护栏工程”）驱动，而非新颖的架构创新。

作者总结道，未来的智能体竞赛应隔离各赛道的能力维度，揭示技能感知的子分数，确保评分组件在数值上可比，并将团队元数据和版本化代码视为核心交付物。他们将他们的九维度回顾性分析定位为未来基准测试的可重用模板，以确保竞赛能够作为严谨的科学工具，发布关于实际测量内容的证据。