Detect, Localize, and Explain: Interactive Hierarchical Log Anomaly Analytics with LLM Augmentation
本文提出了 Krone-viz，这是一个交互式可视化系统，它利用新颖的层次化日志抽象和模块化编排框架，通过选择性的大语言模型增强和人在环路的细化，实现精确的异常检测、定位与解释。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名侦探，试图侦破一起案件，但 handed 给你的不是几份证人证词，而是一份长达 10,000 页的混乱、不间断的无线电广播转录稿。每一句话都是对话的微小片段，但它们都被杂乱地堆砌在同一个扁平的列表中。这就是计算机“日志”通常的样子：无尽的文本流，记录着系统正在做什么，但其呈现方式对人类来说却极难理解。
本文介绍了 Krone（及其可视化工具 Krone-viz），这是一种让这种混乱变得有意义的新方法。以下是其工作原理，通过简单的类比进行解释：
1. 问题：“扁平”列表 vs. “故事”
大多数现有工具将日志视为扁平的配料清单。如果蛋糕烤焦了，它们只会说“蛋糕坏了”。它们不会告诉你哪个配料出了问题、何时变质的，或者为什么。
- 旧方法：查看包含 10,000 条日志条目的扁平列表，试图找出导致崩溃的那个拼写错误。这就像试图在一部小说中找到特定的句子，而这部小说的每个单词都写在同一行上。
- Krone 方法：Krone 意识到计算机并非随机行事；它们遵循一种故事结构。每个动作都有一个谁（实体）、一个什么（动作）和一个结果（状态）。
2. 解决方案：为日志构建“家谱树”
Krone 将那个混乱的扁平列表组织成一个分层家谱树（称为 Krone-Tree）。
- 类比：想象将一堆杂乱的乐高积木分类放入盒子：“轮子”、“窗户”和“门”。然后，将这些盒子归类为“汽车零件”，再将这些归类为“整辆车”。
- 工作原理：Krone 使用人工智能（大型语言模型，即 LLM）来读取日志并指出：“啊，这条日志条目是关于一个‘会话’（谁）‘打开’（什么）并‘开始’（结果）的。”它构建了一张地图，使每条日志条目都能确切知道自己在大局中的位置。
3. 侦探工作：“分而治之”
一旦日志被组织成这种树状结构，Krone 就不会检查每一块积木。它采用一种智能的、逐步的策略来查找问题。
- “轻量级”过滤器：首先，Krone 使用一个简单、快速的规则检查器（像拼写检查器一样）扫描日志。如果日志条目看起来正常，它就忽略它。这就像保安快速放行持有清晰身份证的人。
- “AI"侦探：如果简单的检查器发现异常，然后它才会召唤昂贵且超级聪明的 AI 侦探（LLM）进行调查。
- “自底向上”策略：Krone 首先检查最小的细节（“状态”级别，如“开始”或“失败”）。如果在那里发现了问题，它会立即停止。它不会浪费时间检查更大的“动作”或“实体”级别，因为问题已经找到了。这节省了巨大的资金和计算能力。
4. “作弊表”：边做边学
Krone 最酷的功能之一是它会记住所学到的内容。
- 类比：想象一名侦探保留着一本笔记本。如果他们在今天解决了一个关于“坏掉的门铰链”的谜团，他们就会把它记下来。下次他们再看到“坏掉的门铰链”时，就不需要再次召唤昂贵的 AI 侦探；他们只需查看自己的笔记本。
- 工作原理：Krone 构建了一个知识库。如果它分析了特定类型的日志序列并发现其正常（或异常），它会保存该结果。如果该序列稍后再次出现，Krone 会重用该答案。这使得系统随着时间的推移变得更快、更便宜。
5. 可视化工具：Krone-viz
本文介绍了 Krone-viz，这是一个仪表板，让人类工程师能够实时看到这一切的发生。
- 你可以做什么：
- 查看树状图：你可以观察扁平的日志如何转变为有序的家谱树。
- 发现故障：你可以确切地看到树的哪个“分支”出了问题。
- 阅读解释：AI 会用通俗易懂的英语解释为什么它认为某处有误。
- 修正 AI：如果 AI 犯了错误，你可以纠正它。系统会从你的修正中学习，并更新其“笔记本”，以便不再犯同样的错误。
总结
简而言之，Krone 不再将计算机日志视为混乱的文字墙。相反，它将它们组织成结构化的故事，采用智能的“先检查，后询问”策略来查找错误，并记住其发现，从而随着时间的推移变得更聪明、更经济。Krone-viz 是让人类能够观察这一过程、理解 AI 推理并在需要时进行修正的窗口。
注：该论文专门在名为 HDFS 的标准数据集（一种文件存储系统日志）上测试了该系统，以证明其比以前的方法效果更好且成本更低。它尚未声称可用于医疗诊断或其他特定行业。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。