💻 computer science

From General Agents to RCA Experts: A Self-Evolving Harness for Root Cause Analysis

本文介绍了 OpsHarness，这是一个自我进化的框架，它通过利用一个能够从过往诊断中积累并验证运维专业知识的自适应外部护栏，显著增强了通用大语言模型智能体的根因分析能力，从而超越了裸通用智能体和专用根因分析智能体。

原作者： Haiyu Huang, Jiewei Lyu, Zhihan Jiang, Jinyang Liu, Xiao He, Tieying Zhang, Wu Xiang, Michael R. Lyu

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Haiyu Huang, Jiewei Lyu, Zhihan Jiang, Jinyang Liu, Xiao He, Tieying Zhang, Wu Xiang, Michael R. Lyu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当一个复杂的计算机系统开始出现故障时，问题很少会停留在起始点。在现代数字世界中，软件是由成千上万个相互连接的小部件构建而成的。如果其中一个部件踉跄了一下，错误就会向外扩散，导致用户应用出现延迟，或者引发看似完全是另一个问题的突发错误消息。弄清楚问题究竟始于何处，这项任务被称为根因分析（root cause analysis）。几十年来，工程师们一直依赖于这些部件如何连接的地图或统计模式来寻找罪魁祸首。如今，他们越来越多地转向人工智能，特别是大语言模型，让其充当“数字侦探”。这些模型非常擅长阅读日志、理解代码并推理复杂的场景，就像一位读遍了图书馆里每一本手册的卓越工程师一样。然而，这里有一个问题：虽然这些模型很聪明，但它们并不了解试图修复的那个系统的特定特性。它们缺乏人类专家通过反复观察同一个系统的失败与恢复所积累的深厚经验。

香港中文大学和字节跳动的研究人员开发了一种新方法来弥补这一差距。他们并没有尝试为每个系统从头构建一个新的专用 AI，而是创建了一个灵活的外层，包裹在一个强大的通用 AI 周围。他们将这一层称为“护套”（harness）。可以将这个护套想象成一名通用工程师加入新团队时收到的专业工具包和现场笔记。通用 AI 提供推理能力，但护套提供了特定的上下文、正确的工具以及从过去的错误中吸取的教训。他们工作中最重要的创新被称为 OpsHarness，其核心在于这一层是“自我进化”的。它不仅仅是静止存在，它会观察它参与的每一次诊断过程，从成功和失败中学习，并更新自身的指令以不断进步。

团队首先测试了一个常见的假设：即构建一个专门用于故障排除的定制 AI 代理是最佳方法。他们将这些定制构建的代理与仅仅被赋予诊断任务的标准通用 AI 模型进行了对比。结果令人惊讶。那些并未经过专门故障排除训练的通用模型，表现往往优于定制代理。这是因为定制代理通常缺乏通用模型已经掌握的复杂推理和规划能力。然而，即使是最好的通用模型也不完美。由于缺乏对特定系统在压力下表现的了解，它们经常会识别出正确的症状，却指向错误的诱因。例如，模型可能会看到数据库连接突然下降，并假设是数据库故障，但实际上，这种下降只是其他组件（如服务器处理能力耗尽）产生的副作用。

为了解决这个问题，研究人员设计了 OpsHarness，使其成为通用智能与特定系统现实之间的桥梁。该系统分为两个主要部分。第一部分是知识库，它以分层方式存储信息。它始于关于如何调查问题的通用规则，接着添加被监控系统的特定概况，最后累积一套已被证明有效的特定工作流和规则。第二部分是“创意卡”（idea cards）库。与其编写在系统变化时可能会失效的硬编码脚本，不如让护套向 AI 提供一个工具或方法的描述，然后由 AI 在当下编写出使用它的代码。这使得系统能够适应不同的数据布局，而无需重新编程。

OpsHarness 的真正力量在于其从经验中学习的能力。在协助诊断完一个问题后，系统会对整个过程进行回顾。如果诊断正确，系统会将成功的步骤提取出来，转化为可重用的工作流或规则；如果诊断错误，它会识别推理在哪个环节偏离了轨道，并创建一条规则以防止未来再次发生此类特定错误。这个过程并非以一种鲁莽的自动化方式进行；系统设有严格的安全检查。在任何新规则被添加到其记忆之前，都必须在安全隔离的环境中进行测试，以确保它在改进诊断的同时不会破坏其他部分。这种双重检查机制防止了系统学习到坏习惯或对单个异常事件产生过拟合。

研究人员在包含数百个真实故障案例的两个公开基准测试集上测试了这种方法，并在一个大型商业云环境中进行了部署。结果显示了显著的提升。当仅使用通用 AI 模型时，系统正确识别根因的准确率约为 36%。而当同一模型配备了 OpsHarness 后，其准确率跃升至接近 59%。这种提升在不同类型的 AI 模型和不同类型的系统中都是一致的。研究还发现，系统变得越来越好，因为它使用的次数越多就越聪明。在一次连续测试中，随着系统诊断一系列随时间变化的事件，其准确率随着经验的积累稳步攀升。相比之下，没有进化的系统保持不变，而没有安全检查而进行进化的系统则往往会因为学习噪声而导致情况恶化。

研究人员还测量了运行该系统的成本。虽然护套增加了一些额外开销，但它并不需要比使用通用 AI 模型显著更多的计算能力或时间。事实上，通过引导 AI 快速走上正确的路径，它通常能减少 AI 解决问题所需的步骤。包括所有学习到的规则和工具在内的整个系统占用的存储空间非常小，这使其在实际应用中非常实用。

这项工作表明，我们在构建处理复杂任务的智能系统时，思维方式正在发生转变。与其为每个特定工作从头训练一个新的 AI，更有效的路径可能是采用一个强大的通用 AI，并为其包裹一个智能且不断进化的外层，从而教会它环境的具体细节。通过专注于这个外部层，研究人员创造了一个能够将通用模型的原始智能转化为专业专家的系统，该系统能够从自己的历史中学习，并从协助解决的每一次事件中不断进步。研究结果表明，自动化故障排除的未来可能不在于更聪明的模型，而在于更聪明的教学方式。

技术摘要：从通用智能体到 RCA 专家：一种用于根因分析的自我演进套件

1. 问题陈述

自动化根因分析（Root Cause Analysis, RCA）是站点可靠性工程（SRE）中一项至关重要但面临时间压力的任务，工程师必须利用指标、日志和追踪数据在复杂的微服务网格中定位故障。虽然大语言模型（LLM）已被应用于该领域，但现有方法面临两个主要局限性：

重建效率低下： 大多数现有方法试图从零开始构建专门的 RCA 智能体（例如，设计自定义的 ReAct 循环、规划机制和工具接口）。然而，定量研究表明，现代通用编程智能体（如 Codex、Claude Code）已经具备了优于这些定制化智能体的通用诊断能力。重建这些通用能力是冗余的，且往往会导致性能下降。
缺乏系统特定专业知识： 即便是顶尖的通用智能体也无法达到生产环境的准确度标准，因为它们缺乏“诊断专业知识”——即关于故障如何传播、哪些指标存在噪声以及存在哪些运维惯例的系统特定知识的积累。这种差距类似于一名具备能力的工程师加入新团队，却不了解系统的历史背景。
静态特性： 当前的 RCA 框架是静态的；它们无法从过去的事件中学习。相比之下，人类专家会不断从失败与成功的经验中提炼知识，以改进未来的诊断，而这种能力在自动化系统中基本缺失。

本文认为，有效的基于 LLM 的 RCA 关键不在于构建一个新的智能体，而是构建一个自我演进的外部套件（harness），为通用智能体提供系统特定的工具、知识以及从经验中学习的机制。

2. 方法论：OpsHarness

作者提出了 OpsHarness，这是首个用于 RCA 的自我演进外部智能体套件。它旨在与快速演进的通用智能体兼容，在复用其核心能力的同时，通过增加一个专门的“套件层”进行增强。

架构

OpsHarness 由两个平面组成：

数据平面 ( $h = (K, T)$ )： 随时间演进的单系统状态。
- 分层运维知识库 ( $K$ )： 分为四个层级以高效管理上下文：
  - $K_0$ ：通用 RCA 指南和背景（每次运行加载）。
  - $K_1$ ：系统概况（模式、组件、遥测路径），在设置期间生成。
  - $K_2$ ：挖掘出的工作流骨架（首选诊断路径）。
  - $K_3$ ：挖掘出的诊断操作和规则（正向提示与负向反模式）。
  - 渐进式披露： 为防止上下文溢出，初始仅加载 $K_0$ 和 $K_1$ 。 $K_2$ 和 $K_3$ 根据诊断状态按需加载。
- 点子卡工具库 ( $T$ )： 工具不再是硬编码的脚本，而是定义为“点子卡”（算法、输入/输出及使用条件的自然语言规范）。智能体根据实时系统模式编写代码来实现这些点子卡，从而确保对变化的数据布局具有适应性。
控制平面： 编排四个生命周期工作流：
1. 设置（Setup）： 对新系统进行画像，提取元数据以构建 $K_1$ 。
2. 诊断（Diagnose）： 使用当前的套件状态执行诊断，生成根因报告和轨迹日志。
3. 演进（Evolve）： 挖掘轨迹以提出对套件的更新建议。
4. 验证（Verify）： 在应用建议前对其进行验证。

自我演进循环

核心创新在于 Evolve 和 Verify 工作流，它允许套件随时间不断改进：

轨迹挖掘： 根据用户反馈或地面真值（ground truth），将诊断会话标记为正确、部分正确或错误。
证据挖掘与建议合成：
- 来自正确运行： 将重复出现的成功模式（工作流、操作、代码块）提炼为新的 $K_2$ 骨架、 $K_3$ 操作或工具卡。
- 来自错误运行： 识别智能体推理过程与地面真值之间的分歧点。这些分歧点被转化为负面规则（反模式）或对现有知识的更新。
阶段性双门验证： 为了防止过拟合和回归，每个建议都会在隔离的沙盒中经过严格的两阶段检查：
- 内门（Inner Gate）： 演进后的套件必须在用于生成该建议的源案例上实现严格改进（或至少不退化），并对 Token 成本进行约束。
- 外门（Outer Gate）： 建议不得在持有的、多样化的故障族（CPU、内存、网络等）上发生性能退化。这确保了泛化能力。
- 只有通过两道门槛的建议才会被原子化地提升到实时套件状态 ( $h_i \to h_{i+1}$ )。

3. 主要贡献

OpsHarness 框架： 首个用于 RCA 的自我演进外部套件，它将系统特定的专业知识与通用智能体模型解耦，从而实现了对强大通用智能体的复用。
自我演进机制： 一种创新的过程，通过挖掘正向和负向诊断轨迹来提炼可复用的专业知识（工作流、规则、工具），同时采用双门验证系统来确保稳定性并防止过拟合。
实证验证： 通过综合实验证明，基于套件的方法显著优于裸机通用智能体以及从零开始构建的专门化智能体。

4. 实验结果

作者在两个公开基准测试（OpenRCA, RCAEval）以及一家大型云服务商（公司 A）的工业部署中评估了 OpsHarness，使用了四种骨干模型（GPT-5.5, Claude Sonnet 4.6, GLM-5.2, DeepSeek-V4）。

准确率： OpsHarness 平均实现了 59.0% 的 Top-1 准确率。
- 这比裸机通用智能体（36.1%）实现了 63.4% 的相对提升。
- 比基准专门化 RCA 智能体（17.9%）实现了 4.02 倍的提升。
- “冷启动”版本（无演进）本身就比裸机智能体高出 5.3 个百分点，而自我演进又额外增加了 17.6 个百分点。
持续改进： 在连续诊断场景中，OpsHarness 的准确率从第一个窗口到最后一个窗口翻了一番（例如，在 GPT-5.5 上从 0.4 提升至 0.9），而静态智能体的表现则保持平稳。
验证有效性： 双门验证拒绝了 37% 的演进建议，防止了性能退化。如果没有验证，由于过拟合，弱模型上的准确率会发生崩溃。
成本效率： OpsHarness 维持了与裸机智能体相当的单案例 Token 和时间成本（约 106k tokens，约 325s），显著低于需要通过试错来解决问题的专门化智能体（后者高出 1.7 倍至 2.7 倍）。
工业部署： 在公司 A 的数据集上，OpsHarness 实现了 0.74 A@1，而直接使用智能体的方法仅为 0.24（约 3 倍的提升），验证了其在真实生产环境中的有效性。

5. 意义与主张

本文声称，基于 LLM 的 RCA 范式已经发生了转变。随着通用智能体在规划和工具使用方面已具备成熟能力，瓶颈不再是模型的推理能力，而是使智能体适应特定系统的外部套件（harness）。

重心转移： 作者认为，社区应该停止从零开始重建智能体，而应专注于“套件工程（harness engineering）”——即构建为智能体提供领域知识和演进机制的外部层。
专业知识的可扩展性： OpsHarness 证明了智能体可以从对系统陌生到成为专家，通过自动挖掘并复用过去事件中的最佳实践，有效地将 SRE 的经验循环数字化。
鲁棒性： 双门验证确保了系统在不牺牲可靠性的情况下持续改进，解决了自我改进 AI 系统中常见的“灾难性遗忘”或过拟合风险。

文章总结道，OpsHarness 通过系统性地积累实现生产可靠性所需的特定专业知识，同时利用通用智能体的优势，为实现高准确度的自动化 RCA 提供了一条切实可行且具成本效益的路径。