KRCA: An Efficient Root Cause Analysis System in Hyper-Scale Microservice Systems via Agentic AI
本文提出了 KRCA，一种针对超大规模微服务的端到端根因分析系统，该系统结合了多阶段流水线与记忆增强的多智能体框架，以实现高诊断准确率和高效率，其在快手成功部署六个月并减少了 77.3% 的诊断时间这一事实证明了这一点。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一艘拥有 20 亿个微型独立引擎（微服务）协同工作的巨型未来主义邮轮的船长。每天，都有新的引擎被加入，旧的引擎被微调，不同的团队也在不断进行各种变更。
一天早晨，警报大作：“船速正在减慢！”
在过去，要找出究竟是哪个特定的引擎导致了减速，就像是在一座城市规模的干草堆里寻找一根针。你必须逐一检查每一个引擎，这往往会让你在成千上万个仅仅是在对问题做出反应、而非造成问题的引擎噪音中感到困惑。这需要耗费数小时，而在这期间，这艘船（或者说像快手这样的应用）会遭受巨大的损失。
KRCA 是一个旨在解决这一特定问题的全新、超级智能侦探系统。它是如何工作的呢？我们可以将其分解为三个简单的步骤：
1. “钻取式”手电筒（缩小搜索范围）
与其检查所有的 20 万个引擎，KRCA 会从警报响起的精确位置（一个特定的 API）开始。它使用一把特殊的“手电筒”，只观察与该位置直接相连的引擎。
- 类比： 想象一位侦探并没有搜遍整个城市，而是从犯罪现场开始，只追踪那些在“那一刻”出现的足迹。
- 工作原理： 它会检查相连服务的“失败率”和“速度”。如果下游引擎表现异常，它就会沿着这条路径追踪。如果一个引擎表现正常，它就会忽略它。这能瞬间将搜索范围从 20 万个嫌疑人缩减到仅有的几个“可疑”对象。
2. “骨架图”（组织线索）
一旦系统找到了一个可疑的引擎，这个引擎可能会附带数百个传感器（指标）（如温度、压力、燃油流量等）。试图通过观察原始数字来弄清楚哪个传感器才是真正的元凶，就像是在试图解开一个由 400 块乱七八糟的拼图碎片组成的谜题。
- 类比： KRCA 不会盯着一堆杂乱的拼图碎片，它首先会构建拼图的骨架框架。它知道“燃油流量”通常会导致“引擎速度”问题，而“温度”通常会导致“压力”问题。
- 工作原理： 它将异常的传感器读数按照系统应有的运作方式，嵌入到一个预设的“骨架”地图中。这为侦探提供了一个结构化的起点，使他们不会迷失在噪音之中。
3. “专家团队”（智能体 AI）
现在，系统已经有了一份精简的嫌疑人名单和一个结构化的地图，于是它请来了 AI 专家团队。
- 类比： 想象一位主侦探（主智能体）正在召唤一位交通专家、一位 CPU 专家和一位数据库专家。
- 主智能体说：“嘿，CPU 过热了。CPU 专家，请检查这是真实的问题还是仅仅是一个小故障。”
- 专家会查看自己的往常案例库（就像资深侦探回忆起去年发生的类似案件一样），并使用工具来收集证据。
- 他们互相交流，交叉验证事实，并表示：“不，不是那个原因，”或者“是的，那绝对就是原因。”
- 结果： 他们协作编写一份最终报告，准确说明哪个引擎损坏了以及原因是什么（例如：“存储服务中的内存泄漏引发了连锁反应”）。
为什么这很重要？
- 速度： 在 KRCA 出现之前，工程师大约需要 52 分钟才能找到根本原因。有了 KRCA，仅需约 11 分钟。这意味着时间减少了 77%。
- 准确性： 在测试中，KRCA 成功找到正确引擎的概率为 88%，并能正确识别故障类型的概率为 79%。这比以往的方法要好得多，因为以往的方法往往会迷失在海量的数据中。
- 实际应用成功： 这不仅仅是一个理论。它已经在快手的实际生产系统中运行了超过六个月，每天处理数千个告警，并通过更快地停止故障，为公司节省了大量资金。
简而言之： KRCA 就像是一个高度组织化、拥有多领域专家的侦探团队，它利用手电筒缩小搜索范围，利用骨架图组织线索，并利用往常案例的记忆库，在几分钟内而非数小时内解决大规模、复杂的系统故障。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。