💻 computer science

LogSemFuse: Semantic Evidence Fusion for Explainable Log Anomaly Detection

LogSemFuse 是一个证据引导的插件式框架，它通过将骨干网络预测与来自局部模式、大语言模型推理及可执行规则的可复用语义证据进行融合，来增强现有的日志异常检测器，从而在保持极低运行时开销的同时，提高检测准确性并提供具有可操作性和可解释性的见解。

原作者： Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hassan Jabri, Zeyang Ma, Zhijie Wang, Tse-Hsun Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名大型、繁忙城市（一个现代软件系统）的保安。每天，数以百万计的人（日志消息）穿过大门，大声喊着他们在做什么。你的工作是在灾难发生前发现那些捣蛋鬼（异常）。

长期以来，你一直拥有一套高科技监控摄像头系统（现有的 AI 检测器，如 DeepLog 或 LogBERT）。这台摄像机非常擅长计数和识别模式。如果一个人在一分钟内进出 50 次，摄像机会尖叫：“报警！”但问题在于，它只给你一个红灯和一个分数。它并不会告诉你为什么报警。那个人是小偷吗？他只是赶时间吗？还是他绊倒了？你必须亲自盯着原始视频画面才能弄清楚，这既慢又累。

最近，有人建议雇佣一名超级聪明的侦探（大语言模型，或 LLM）来观看视频。这位侦探非常擅长理解上下文，并能告诉你：“那个人在奔跑，因为他正在偷包。”但问题在于，为进门的每一个人都雇佣这样一位侦探，成本极其高昂且速度缓慢。此外，侦探有时会感到困惑，或者编造一些视频中并不存在的故事。

LogSemFuse 正式登场。

论文作者构建了一个“插件”系统，充当你的现有监控摄像头的智能助手。它并不取代摄像头，而是赋予了摄像头一种超能力：利用证据进行自我解释的能力。

以下是 LogSemFuse 的工作原理，它使用了三个简单的工具：

1. “模式识别器”（局部事件模式）

你可以把它看作是一份你根据以往犯罪案例整理出的“可疑行为清单”。

工作原理： 系统观察原始数据，并寻找在出现问题时总是会发生的短促、特定的序列。例如，“如果有人尝试开门，紧接着尝试打破窗户，然后逃跑”，这就是一个坏模式。
类比： 这就像拥有一份速查表，上面写着：“如果你看到这三个特定步骤连续发生，那绝对是犯罪。”这部分运行速度快、成本低，不需要那位昂贵的侦探。

2. “规则手册”（基于聚类的规则）

有时候，犯罪会更加复杂。它们不会按直线发生，而是以混乱的群体形式出现。

工作原理： 系统将过去的相似犯罪进行分组（聚类），并要求那位超级聪明的侦探为每个组编写一本“规则手册”。侦探会说：“在这组犯罪中，坏蛋总是会留下一张纸条，但他们从不锁后门。”系统随后将此转化为一条严格的规则。
类比： 你不是让侦探去观察每一个新人，而是给保安一本规则手册：“如果你看到一张纸条并且后门没锁，就拉响警报。”侦探只在编写手册时（训练期间）工作一次，而保安可以永久使用它。

3. “按需调用的侦探”（LLM 推理）

如果发生了新的、奇怪的情况，而这些情况既不在你的速查表上，也不在你的规则手册里怎么办？

工作原理： 系统仅针对这种特定的、令人困惑的情况调用那位超级聪明的侦探。侦探会观察事件，解释正在发生什么，并给出一个置信度分数。至关重要的是，系统会保存这段解释。如果以后再次发生同样的奇怪情况，系统只需从口袋里掏出保存好的解释即可，无需再次调用侦探。
类比： 这就像是为一个独特的问题请教一位顾问，记录下他们的建议，然后将其存档，这样你就永远不必为同一个问题再次支付顾问费。

整合在一起

当一个新的“人”（日志会话）穿过大门时：

摄像头（原始 AI）会对其进行观察并给出一个分数。
模式识别器检查速查表。
规则手册检查严格的规则。
按需调用的侦探仅在上述三者无法确定或遇到新情况时才被调用。

所有这些证据都会被结合起来。如果任何一个环节都表示“这看起来很糟”，系统就会拉响警报。但更重要的是，它会递给你一份报告，上面写着：“我们标记此项是因为：(1) 他们执行了‘开门-破窗-逃跑’的模式，且 (2) 他们留下了纸条但没锁门，并且 (3) 侦探确认这看起来像是盗窃。”

为什么这很重要？

论文在三个不同的“城市”（数据集：HDFS、BGL 和 Liberty）上测试了这种方法，并使用了四种不同的安全摄像头。

更好的检测能力： 它抓住了几乎所有原始摄像头漏掉的罪犯（恢复了 98.8% 的假阴性）。
更好的解释能力： 当研究人员询问人类专家阅读这些解释时的感受时，专家们更倾向于选择 LogSemFuse 的报告而非侦探的原始报告。专家发现 LogSemFuse 的解释更清晰、更合乎逻辑，并且与实际事件结合得更好。
廉价且快速： 由于它重复利用了速查表和规则手册，它不需要为每一个人都调用昂贵的侦探。它只增加了极小的、稳定的处理时间。

简而言之： LogSemFuse 将一个聪明但沉默的监控摄像头，变成了一个拥有声音、规则笔记本以及在必要时寻求帮助能力的智能系统。它让系统变得更聪明、更快速，也让人们更容易信任它。

技术摘要：LogSemFuse

问题陈述

日志异常检测对于监控现代软件系统至关重要，然而现有的基于模型的检测器面临两个主要局限性。首先，虽然这些模型实现了强大的检测性能，但它们通常仅输出异常分数或二元标签，而无法提供决策背后的操作语义。这种证据的缺失迫使运维人员必须手动检查日志，以理解为什么某个会话被标记为异常，从而阻碍了高效的诊断和事件响应。其次，虽然大语言模型（LLM）可以恢复丰富的日志语义，但将其作为独立的检测器往往成本高昂、容易产生推理变异性，并且可能无法将解释建立在决策所依据的具体证据之上。此外，直接对每个会话进行 LLM 提示（Prompting）在计算上非常昂贵且难以扩展。

核心挑战在于：如何在不替换现有高性能骨干检测器的训练流水线，也不引入过高运行时成本的前提下，增强其具备可解释性的语义证据与解释能力。

方法论：LogSemFuse 框架

LogSemFuse 被提议为一个插件式语义增强框架。它并不替换骨干检测器，也不改变其训练目标。相反，它在推理阶段运行，将骨干模型的预测与源自三个不同模块的结构化语义证据进行融合。该框架维护一个在训练期间构建的知识库 ( $K$ )，其中存储了可重用的制品，以在推理期间最大限度地减少 LLM 的使用。

1. 训练阶段的证据构建

在推理之前，LogSemFuse 处理训练数据以构建两类可重用的证据：

局部事件模式库 ( $K_{ngram}$ ): 系统从标记的异常训练会话的 EventId 序列中挖掘具有辨别力的一元语法（unigrams）、二元语法（bigrams）和三元语法（trigrams）。这些模式根据“提升度”（lift，即异常支持度相对于正常支持度的比例）进行排序，并经过验证以确保它们不会在正常会话中过度触发。这些模式提供了关于短促、连续异常行为（例如重复重试或异常序列）的确定性且可解释的证据。
聚类衍生规则库 ( $K_{rule}$ ): 异常训练会话基于其事件分布使用 HDBSCAN 进行聚类。对于每个簇，系统会提示 LLM 总结共享的操作行为并归纳出结构化的、可执行的规则。这些规则使用诸如 contains_ngram、ordered_subset、min_count 和 absent_within 等原语。生成的规则捕捉了更广泛的、非连续的操作模式，并存储用于推理时的确定性匹配。

2. 推理阶段的语义增强

对于输入的日志会话 $x$ ，LogSemFuse 聚合四个二元信号来生成最终决策和解释：

骨干信号 ( $s_b$ ): 来自骨干检测器（如 DeepLog、LogBERT）的原始异常分数或标签。
局部模式信号 ( $s_n$ ): 通过将会话的 EventId 序列与 $K_{ngram}$ 进行匹配来确定。
规则信号 ( $s_r$ ): 通过在会话中执行 $K_{rule}$ 中的规则来确定。
LLM 语义推理信号 ( $s_\ell$ ): LLM 分析会话以提供高风险预测、置信度分数以及逻辑依据（预期行为 vs. 观测行为）。为了控制成本，仅针对新会话调用 LLM；结果通过会话标识符进行缓存以实现复用。

融合与解释：
融合算子（根据验证数据从 OR、AND 或 vote- $k$ 策略中选择）结合这四个信号来确定最终的异常标签。随后，系统通过追踪贡献信号来生成基于证据的解释：包括命中的局部模式、触发的聚类衍生规则（及其对应的簇级解释）以及 LLM 的语义逻辑。

核心贡献

本文做出了以下具体贡献：

插件式框架： 一种增强现有日志检测器的方法，可以在不修改其原始训练或推理流水线的情况下，为其注入可执行的语义证据。
知识库设计： 一种存储可重用局部事件模式和聚类衍生规则（连同缓存的会话级 LLM 推理结果）的机制，从而实现高效、低成本的复用。
基于证据的解释： 一种利用触发的模式、规则和 LLM 逻辑来解释异常决策的方法，而非采用事后特征归因。
实证验证： 在 HDFS、BGL 和 Liberty 三个数据集以及四种骨干检测器上进行了全面的评估，证明了在保持适度开销的同时，提升了检测性能和解释质量。

评估结果

该框架在 HDFS、BGL 和 Liberty 数据集上使用 DeepLog、LogAnomaly、LogBERT 和 NeuralLog 作为骨干模型进行了评估。

检测性能： LogSemFuse 提升了所有非完美基准模型的 F1 分数。它在测试集中找回了骨干模型 98.8% 的漏报（False Negatives）。值得注意的是，在骨干模型已经达到最优的情况下（例如 Liberty 数据集上的 LogAnomaly），它保留了完美的性能。
效率： 该框架增加了适度且稳定的推理时间开销（取决于数据集，范围在约 2.3 到 5.8 秒之间），因为它依赖于局部模式匹配和规则执行，而非重复调用 LLM。通过复用缓存结果和知识库，LLM 的 Token 使用量得到了摊薄。
人工评估： 一项包含 14 名参与者（包括开发人员和研究人员）的用户研究表明，在所有指标（逻辑连贯性、技术健全性、清晰度等）上，LogSem式 LogSemFuse 的解释评分显著高于直接的 LLM 解释。LogSemFuse 的平均综合质量得分为 4.13，而基准 LLM 为 3.06。
消融实验： 移除局部事件模式会导致最显著的性能下降，这表明它们在检测特定异常指标方面起着关键作用。聚类衍生规则库提供了可重用的解释证据，而 LLM 推理则提供了针对性的增益。

重要性与主张

本文的主张是，LogSemFuse 证明了语义增强是一种强化现有日志异常检测器的实用策略。通过将 LLM 和规则归纳视为可重用的证据来源而非独立的检测器，该框架实现了：

提高有效性： 找回了由于信号稀疏或稀释而被基于序列的模型忽略的异常。
可解释性： 为运维人员提供具体的、基于证据的解释（模式、规则和逻辑），而非晦涩的分数。
可扩展性： 通过缓存语义制品并避免对每个请求都进行单次 LLM 推理，保持了较低且稳定的运行时成本。

作者将 LogSemFuse 定位为不仅是传统检测器的补充，也不是一种全新的以 LLM 为中心的范式，而是一种统一的方法，旨在弥合高性能检测与软件可靠性工程中可操作的语义理解之间的鸿沟。