Where Does the Accuracy of LLM-Based Root-Cause Analysis Come From? An Empirical Study on Microservice Benchmarks
这项实证研究表明，基于大语言模型的微服务根因分析的准确性主要由其底层流水线提取证据的质量而非模型本身驱动，同时也强调了该系统在面对误导性文本和时序错误时存在的显著脆弱性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代软件那庞大且无形的城市中，成千上万个被称为微服务的微型程序协同工作，支撑着从在线购物到银行服务的方方面面。然而，故障偶尔也会发生。当故障发生时，工程师需要快速找到那个损坏的单一环节以进行修复。这个过程被称为根因分析（root-cause analysis）。多年来，执行这一任务的标准方法是使用自动化检测器，通过观察系统中数据的异常变化——例如内存使用的突然飙升或消息延迟——并统计哪个服务表现得最反常。最近，一种新的想法出现了：我们不再仅仅是计数，而是将数据喂给大语言模型（一种能够阅读和推理的型人工智能），并询问它罪魁祸首是谁。人们希望这些模型能够比简单的计数器更好地理解数字背后的故事。但一个关键问题仍然存在：如果模型答对了，是因为它真的聪明，还是因为它只是读取了自动化检测器递交给它的线索？
一组研究人员为了回答这个问题，利用一个真实的软件系统和一个包含360个模拟故障的公开集合构建了一个受控实验。他们采用了一个现有系统，该系统将检测器汇总的数据转化为一段简短的文本报告，然后将其传递给人工智能模型进行诊断。他们的目标是剥开层层外壳，准确观察准确率究竟来自哪里。他们想知道模型是否增加了真正的价值，或者答案是否已经隐藏在检测器编写的文本之中。为了查明真相，他们让同一个模型运行了不同版本的测试。在某些运行中，他们删除了检测器添加的解释性句子；在另一些运行中，他们将真实的业务名称替换为中性标签。他们甚至植入了一个假线索，告诉模型某个特定的服务就是问题所在，而实际上该服务是无辜的，以此观察模型是否会盲目跟随这种暗示。
结果揭示了一个关于这些系统如何运作的惊人真相。当研究人员在涉及网络和资源问题的270个故障案例上测试模型时，模型的表现实际上不如简单的检测器计数。那些仅仅统计每个服务触发了多少次警报的检测器达到了60%的正确率，而模型仅为44%。这表明，在处理这类问题时，模型并没有改进诊断，反而有时成为了阻碍。研究人员发现，模型的性能高度依赖于流水线为其编写的文本。当他们移除系统中用于解释数据的解释性注释时，模型的准确率显著下降。更具说服力的是，当他们植入一条声称特定服务是诱因的假注记时，模型在近一半的情况下都听信了谎言，将无辜的服务指认为罪魁祸首。这表明模型对所给的叙述极其敏感，往往会优先考虑文本的断言，而非实际的证据。
然而，当研究人员观察另一组涉及计算机代码深层错误的90个故障时，情况发生了变化。在这里，模型的表现优于简单的检测器计数，其正确率为60%，而检测器为38%。研究人员发现，这种提升几乎完全来自于原始日志文本——即软件编写的实际错误信息——模型可以阅读并理解这些信息，而检测器只能将其汇总为数字。当他们从模型的输入中移除这些原始文本时，模型的准确率便跌回到了简单检测器的水平。这表明，在这种场景下，模型的“智能”并非源于通用的推理能力，而是一种特定的技能，即阅读被检测器总结为数字的原始错误日志的能力。
研究还测试了这些系统如何处理关于故障开始时间的确定性问题。他们发现，那些依赖于对比已知故障时间前后数据的强大统计方法，在研究人员将起始时间移动仅两分钟后就失效了。模型对此类误差略显稳健，但仍然难以应对。当研究人员构建了一个完全不同的、更简单的流水线，仅呈现数据而不带复杂的解释性注释时，同一个模型实现了高达87%的准确率。这证明了模型本身具备实现高性能的能力，但前提是证据必须清晰且不带有误导性的解释性文本。在原有的系统中，解释性注释充当了一个过滤器，有时会掩盖真相。
最终，研究结论指出，这些人工智能代理的准确性并非模型本身的属性。它是检测器提取的内容、文本编写的方式以及模型对该文本反应的综合体。在他们研究的这个系统中，模型完成的工作往往比它试图取代的简单检测器还要少。流水线添加的解释性句子是强大的杠杆，既能将答案拉向正确的方向，也能同样轻易地将其引向错误。研究人员认为，要真正理解这些系统，我们不能再将模型视为一个能神奇解决问题的“黑盒”。相反，我们必须像测试代码一样严格地测试它所阅读的文本，检查模型是在进行推理，还是仅仅在跟随文本的引导。研究结果表明，为了使这些工具可靠，我们需要像设计模型本身一样，精心设计喂给它们的信息。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。