CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
本文介绍了 CTBench，这是一个旨在评估 AI 智能体在真实电信网络运维中故障排查能力的公开基准测试，研究表明，尽管目前的智能体擅长路径恢复，但在根因分析方面仍面临困难，并且往往无法提供实际运维中所要求的基于证据的诊断。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位由隐形电线和闪烁信号构成的巨大漂浮城市——互联网——的船长。这座城市由一群扮演侦探角色的人类工程师来运营。当城市的某个部分变暗或一条信息丢失时，这些工程师必须弄清楚断裂究竟发生在哪里、为什么会发生，以及如何在任何人察觉之前将其修复。他们必须在城市不断移动的同时，观察来自不同制造商、说着略微不同语言的数千种不同类型的设备。
最近，科学家们一直试图构建“AI侦探”——即能够像人类一样思考、提问和解决问题的计算机程序。这些AI智能体就像超级聪明的机器人，能够阅读手册、输入命令并快速将碎片信息串联起来。但这里有一个大问题：这些机器人真的能处理修复真实城市时那种混乱、复杂且令人困惑的现实情况吗？还是说它们仅仅擅长解决那些干净、教科书式的谜题？我们需要知道，它们是否可以被信任去修复我们的数字世界，而不至于让情况变得更糟。
这正是华为与伦敦玛丽女王大学的研究团队通过一个名为 CTBench 的新项目所试图探寻的。你可以把 CTBench 想象成一个专门为 AI 智能体设计的巨型、高风险“密室逃脱”。这个房间不是阴森的豪宅，而是一个电信网络的真实模拟环境，里面充满了来自华为、思科和 H3C 等不同品牌的路由器、交换机和防火墙。研究人员根据人类工程师每天面临的真实问题，创建了 234 个棘手的场景。有些任务要求 AI 寻找问题的“根本原因”（比如找到墙里那根精确断裂的电线），而另一些任务则要求它重建数据传输路径（比如在桥梁坍塌后重新规划交通路线）。
研究人员并不仅仅是询问 AI：“你得到正确答案了吗？”而是观察 AI 是如何得出答案的。他们给了 AI 一份“金标准”清单，上面记录了人类专家解决问题时会采取的精确步骤。如果 AI 猜中了正确答案，但跳过了重要的侦探工作，或者它找错了地方，它就无法获得满分。这就像是在批改数学考试，如果你写出了正确的数字但没有展示解题过程，你就会被扣分。
结果呈现出一种既有令人印象深刻的技能、又有严重障碍的复杂局面。AI 智能体在寻找断裂路径的起点和终点方面表现得非常出色，几乎就像拥有完美的地图一样。然而，当涉及到弄清楚为什么会发生故障时，它们却显得力不从心。AI 经常会被各种设备的差异化语言搞混，或者错过隐藏在部分信息背后的线索。事实上，即使 AI 给出了正确的最终答案，它也经常无法提供人类工程师在信任该修复方案时所需的“证据”或逐步推理过程。
这项研究表明，虽然这些 AI 智能体正变得越来越聪明，但它们还远未准备好取代人类网络工程师。它们往往在没有进行足够的深度侦探工作的情况下，就直接猜出了正确答案，而这种工作对于确保安全可靠至关重要。研究人员发现，当网络变得复杂、包含多种不同类型的设备或线索难以寻觅时，AI 的表现就会变差。事实证明，仅仅因为一个 AI 能解开谜题，并不意味着它理解了谜题背后的故事。在这些数字侦探能够像人类专家那样清晰地展示其推理过程之前，我们可能仍需保留人类工程师，以确保这座城市始终保持连接。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。