🤖 machine learning

LogSieve: Task-Aware CI Log Reduction for Sustainable LLM-Based Analysis

LogSieve 是一种轻量级、任务感知的日志削减技术，它在保持语义保真度的同时，显著降低了用于基于大语言模型分析的 CI 日志量和计算成本，从而实现了更具可持续性且可解释的自动化调试。

原作者： Marcus Emmanuel Barnes, Taher A. Ghaleb, Safwat Hassan

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Marcus Emmanuel Barnes, Taher A. Ghaleb, Safwat Hassan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜团的侦探，但你手里拿到的不是几条线索，而是一叠 10,000 页的笔记。其中大部分页面只是无聊的物资采购清单、天气报告，或者是记录侦探走进房间的过程。只有极少数页面才包含了破解犯罪的关键线索。

这正是软件开发人员在面对 CI 日志（软件构建过程的数字“日记”）时所面临的问题。当软件构建失败时，日志通常规模巨大、充满噪音，并且包含大量重复、不重要的文本。

LogSieve 是一款新工具，旨在作为这些日志的超级高效编辑器，在智能 AI（称为大语言模型，或 LLM）尝试阅读它们之前进行预处理。

以下是该论文对这一概念的解释，通过简单的概念进行了拆解：

1. 问题所在：太多噪音，太高成本

当软件构建失败时，日志就像一个乱糟糟的房间。它们包含：

线索： 错误消息、崩溃报告以及导致失败的具体原因。
杂物： “正在加载包”、“正在下载工具”、时间戳以及通用的进度条。

目前，当开发人员询问 AI“为什么这次失败了”时，他们会将整个乱糟糟的房间直接喂给 AI。这既昂贵（运行 AI 需要花钱），又缓慢（阅读需要时间），而且非常浪费（消耗大量能源）。

2. 解决方案：LogSieve（智能过滤器）

研究人员创建了 LogSieve。把 LogSieve 想象成一个筛子（一种厨房工具，带有孔洞），你把日志通过它进行筛选。

它的作用： 在 AI 阅读之前，它会查看日志中的每一行。
规则： 如果某一行只是“无聊的噪音”（比如“正在加载库”），它就会从孔洞中掉落并被丢弃。如果某一行是“线索”（比如“错误：找不到文件”），它就会留在篮子里。
目标： 它保留了“根本原因”（真正的失败原因），同时去除了其余部分。

3. 结果：更小、更快、同样聪明

团队在 20 个不同的开源 Android 项目上测试了 LogSieve。结果如下：

缩减堆栈： 平均而言，LogSieve 将日志的大小减少了 42%（行数）和 40%（单词/Token）。
- 类比： 它把一部 100 页的小说变成了一个 60 页的版本，但情节和结局完全相同。
AI 依然能理解： 他们要求一个聪明的 AI（GPT-4o）使用完整的日志和缩减后的日志来解释失败原因。
- 结果： AI 对两者的回答几乎完全一样。“含义”得到了保留。AI 并未被缺失的“无聊”行所迷惑。
- 准确性： 在使用缩减后的日志时，AI 对错误的分类准确率达到了 80%，与使用完整日志时相比表现相当。
击败竞争对手： 他们将 LogSieve 与另外两种方法进行了比较：
1. LogZip： 一个仅仅压缩文件（就像压缩文件夹一样）但保留了所有无聊行的工具。结果： AI 变得困惑，因为噪音仍然存在。
2. 随机删除： 直接删除随机行。结果： AI 有时会走运，但经常会错过关键线索。
- LogSieve 显然是赢家，因为它知道如何根据“含义”而非仅仅根据“结构”来决定保留什么。

4. 实现自动化：“机器人编辑”

你可能会问：“谁来决定哪些行是无聊的？”

人工参与： 首先，研究人员手动标记了数千行数据，以教会计算机什么是“重要”的。
自动化： 他们训练了一个更小、更快的计算机程序（机器学习分类器）来自动执行这种标记工作。
评分： 这个“机器人编辑”在决定保留还是丢弃方面的准确率达到了 97%。这意味着 LogSieve 可以在后台自动运行，无需人类去阅读每一行日志。

5. 为什么这很重要：节省能源与金钱

论文强调，处理更少的单词可以节省能源。

类比： 想象你在开一辆卡车。如果你移除了 40% 的货物（那些无用的日志行），卡车到达目的地时消耗的燃油就会更少。
影响： 通过向 AI 喂入更少的数据，公司可以节省计算成本并减少其碳足迹（能源使用）。

总结

LogSieve 是一款在 AI 尝试阅读软件构建的混乱、嘈杂的日志之前，对其进行清理的工具。它丢弃无聊的内容，保留重要的线索。这使得 AI 更快、更便宜、更环保，同时仍能解决软件为何失败的谜团。

论文并未声称：

它并不声称能修复软件漏洞本身；它只能帮助找到失败的原因。
它并不声称目前适用于世界上每一种类型的日志（它是在 Android 项目上进行的测试）。
它并不声称要取代人类开发人员，而是通过让 AI 的工作变得更容易来协助他们。

技术摘要：LogSieve

问题陈述

持续集成（CI）日志，特别是在 Android 等移动生态系统中，具有高容量、高冗余度和非结构化噪声的特点。虽然这些日志对于诊断构建失败和性能回归至关重要，但其庞大的规模使得手动检查和自动化分析变得日益昂贵、耗时且在环境上不可持续。将大语言模型（LLM）应用于 CI 任务（如故障解释、根因分析）的做法加剧了这一问题，因为推理成本和延迟会随着输入 Token 长度的增加而直接扩展。

现有的日志缩减技术主要侧重于“结构优先”的目标，如压缩、去重或模板聚类（例如 LogZip、Drain、Spell）。虽然这些方法提高了存储效率和索引能力，但它们往往保留了与任务无关的内容（例如时间戳、依赖项下载、环境设置），这些内容在不辅助下游推理的情况下增加了 Token 预算。相反，基于 LLM 的缩减方法本身往往会在缩减过程中产生高昂的推理成本。目前在“任务感知型”缩减方面存在关键空白，即在 LLM 推理发生之前，根据对特定诊断任务（如根因分析）的语义相关性来过滤低信息量的行。

方法论

本文介绍了一种轻量级的、推理前置的日志缩减技术——LogSieve，旨在过滤 CI 日志，同时为下游 LLM 推理保留语义保真度。该方法通过一项涉及 20 个使用 GitHub Actions 的开源 Android 项目的四部分研究设计进行了评估。

1. 数据收集与地面真值（Ground Truth）

作者从 452 个 Android 仓库的 9,166 个 GitHub Actions 工作流运行中收集了数据，重点关注了 1,806 个失败的运行。通过分层随机抽样，选择了 20 个失败的工作流（每个仓库一个）进行详细分析，共计 14,646 行日志。

人工标注： 两名共同作者根据优先考虑诊断内容（错误追踪、异常）而非模板化内容的准则，独立地将每一行标记为 RCA 相关（1）或 RCA 不相关（0）。评分者间信度很高（Cohen's $\kappa = 0.80$ ）。
地面真值： 通过共识解决分歧，创建了一个经过验证的数据集，用于训练和评估。

2. LogSieve 机制

LogSieve 作为 LLM 推理前的一个预处理步骤运行：

嵌入生成（Embedding Generation）： 使用三种嵌入家族（TF-IDF（词法）、BERT（上下文）和 LLaMA3（指令微调））将日志行转换为特征向量。
分类： 训练一系列监督机器学习分类器（包括 Logistic Regression、SVM、Random Forest、XGBoost 和 LightGBM），以预测每一行的相关性。
过滤： 移除被分类为不相关的行，从而减少发送给 LLM 的输入 Token 数量。

3. 评估框架

本研究将 LogSieve 与两个基准进行对比：LogZip（基于结构的压缩）和 随机行删除。

LLM 任务： 使用 GPT-4o 对完整日志和缩减后的日志执行两项任务：
1. 故障解释： 生成关于工作流为何失败的摘要。
2. 故障分类： 为失败分配一个类别。
指标：
- 缩减率： 移除的行数和 Token 的百分比。
- 语义保真度： 通过比较缩减日志与完整日志生成的 LLM 响应的余弦相似度、BERTScore、ROUGE、BLEU 和 GPTScore。
- 类别准确率： 故障分类的精确匹配准确率。

核心贡献

LogSieve 技术： 一种新型的、RCA 感知的日志缩减方法，它在过滤低信息量行的同时，保留了对故障诊断至关重要的内容，弥合了结构化压缩与 LLM 推理之间的鸿沟。
实证评估： 在 20 个 Android 项目上的全面评估表明，LogSieve 在实现显著规模缩减的同时，保持了极低的语义损失。
自动化可行性： 证明了基于嵌入的分类器可以实现接近人类水平的相关性检测自动化，从而能够在不依赖昂贵的 LLM 推理进行过滤的情况下，将该技术大规模集成到 CI 工作流中。
可持续性影响： 证明了推理前 Token 缩减可以直接降低计算成本和比例性的能源消耗。

结果

RQ1: 日志规模缩减

在 20 个仓库中，LogSieve 平均实现了 42% 的日志行缩减和 40% 的 Token 缩减。缩减程度因项目而异（行缩减范围从 11% 到 85%），表明 CI 日志包含大量的非必要内容。

RQ2: 语义保真度

尽管减少了 40% 的 Token，缩减后的日志仍为 LLM 推理保持了极高的语义保真度：

解释任务： 在比较缩减日志与完整日志的响应时，余弦相似度平均为 0.93，GPTScore 平均为 0.93。
分类任务： 80% 的缩减日志响应与完整日志的分类完全一致。
这些结果表明，被移除的行主要是噪声，并未阻碍 LLM 进行故障诊断的能力。

RQ3: 自动化性能

机器学习分类器成功实现了相关性标注任务的自动化：

准确率： 模型达到了高达 97% 的准确率（例如，使用 TF-IDF 或 BERT 嵌入的 Logistic Regression，以及使用 LLaMA3 嵌入的 SVM）。
效率： 经典的机器学习模型（线性、树模型）的表现与更复杂的神经模型相当，这表明轻量级分类器足以胜任此任务，避免了运行用于过滤的 LLM 所带来的开销。

RQ4: 基准对比

LogSieve 在保持语义和类别保真度方面显著优于两个基准：

对比 LogZip： LogSieve 实现了 0.93 的余弦相似度（LogZip 为 0.70）和 80% 的精确匹配准确率（LogZip 为 20%）。LogZip 的“结构优先”方法既保留了无关行，又丢弃了具有上下文意义的重要行。
对比随机删除： 虽然随机删除实现了不错的表面相似度（余弦相似度 0.90），但其类别保真度（70% 精确匹配）低于 LogSieve 的 80%。这证实了语义相关性（而非仅仅是体积缩减）对于 LLM 推理至关重要。

重要性与主张

本文声称 LogSieve 为实现更绿色、更具可解释性的 CI 自动化提供了一条切实路径。通过从“结构优先”转向“语义优先”的缩减方式，LogSieve 解决了软件工程中 LLM 推理带来的日益增长的环境和经济成本。

可持续性： 输入 Token 减少 40% 直接转化为能源使用和碳排放的比例减少，因为推理成本随 Token 数量线性扩展。
可解释性： 与模糊上下文的压缩方法不同，LogSieve 保留了进行根因分析所需的特定诊断信息。
可扩展性： 利用轻量级分类器实现接近人类准确度的相关性检测自动化，使得 LogSieve 能够集成到 CI 流水线中，而不会引入显著的延迟或计算开销。

作者总结道，LogSieve 有效地连接了日志管理与 LLM 推理，能够在不牺牲自动化分析质量的前提下实现可扩展的诊断。研究承认了在其他 CI 平台、语言和日志类型上的泛化性方面存在的局限性，并指出未来的工作将探索自适应缩减策略和更广泛的 LLM 评估。