🤖 AI

Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

扁鹊是部署在快手搜索引擎上的智能体框架，通过引入统一的操作范式、面向动态数据与知识检索的灵活技能编排以及自进化机制，解决了大规模系统运维中的编排瓶颈，最终将告警量降低了 75%，并将平均修复时间缩短了 50% 以上。

原作者： Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一艘超高速巨型宇宙飞船的船长（就像快手搜索引擎），每天搭载数亿乘客。这艘飞船结构极其复杂，拥有成千上万个活动部件；工程团队每天都要对引擎、导航系统和生命维持系统进行数十次微调。

过去，确保这艘飞船安全运行曾是一场噩梦。每当工程师做出一次更改，警报就会大作。人类船员不得不四处奔忙，检查成千上万个仪表，阅读无尽的日志，并猜测问题出在哪里。这既令人筋疲力尽，又效率低下，而且往往导致错误，因为需要处理的信息量实在太大。

此时，扁鹊登场了。

请将扁鹊想象成并非单一机器人，而是你工程团队中一位超级智能、自我进化的“幕僚长”。它不仅仅是对问题做出反应，更能预测问题、诊断问题，并从每一次事件中学习，从而不断提升其工作能力。

以下是其工作原理，分解为三个简单概念：

1. 三道防线（“班次”）

扁鹊不像过去那样坐等灾难发生，而是将工作组织成三个特定的“班次”，就像医院一样：

守门人（发布拦截）：在新更新甚至尚未发布之前，该代理就会对其进行检查。它就像俱乐部门口严格的门卫，在你进入之前检查身份证件和随身物品。如果发现任何风险，它会立即阻止发布，从而在问题发生之前就将其扼杀。
健康检查员（主动巡检）：该代理会定期在飞船上巡视，即使警报未响，也会检查引擎温度和燃料水平。它能发现那些可能导致日后坠毁的“静默”问题，并在任何人意识到问题存在之前就将其修复。
侦探（告警根因分析）：如果警报真的响了，该代理就是侦探。它不会惊慌失措，而是立即收集正确的线索（日志、指标），并追问：“究竟哪里坏了？”它为人类船员提供清晰的答案，节省了数小时的猜测时间。

2. “灵活技能”系统（“工具箱”）

这是该论文最大的创新。过去，你必须为飞船的每一个部件手动编写规则手册。一旦飞船发生变化，规则手册就会失效。

扁鹊使用灵活技能。想象一个魔法工具箱，其中的每一件工具都确切知道它适用于什么工作。

如果问题是“搜索引擎”出了故障，代理就会拿出“搜索工具”。
如果问题是“视频播放器”出了故障，它就会拿出“视频工具”。

它是如何知道该使用哪种工具的？
它不依赖人类编写的静态手册。相反，AI 会根据具体情况自行编写指令。

生成：如果飞船增加了新部件，AI 会查看可用数据，并即时编写新的“技能”（一套指令）来处理它。
修正：如果 AI 犯了错误，人类工程师只需用通俗的英语说：“嘿，你忘了检查燃料表。”AI 就会立即重写自己的指令，将这一步骤纳入下次操作。这就像一名学生在考试中收到更正后，立即更新自己的学习指南。

3. 自我进化循环（“记忆”）

大多数计算机系统是静态的；即使世界发生变化，它们也只会执行编程好的内容。扁鹊则不同，因为它拥有一个双重记忆系统，能从每一次事件中学习。

当工程师提供反馈（例如：“那个诊断是错误的”）时，扁鹊会利用这一条反馈，从两个方向同时改进：

更新知识库：它将学到的教训保存到关于飞船行为的永久“百科全书”中。
优化技能：它更新用于该工作的特定“工具”（技能），以确保不再犯同样的错误。

这就像一位厨师品尝菜肴。如果菜肴太咸，厨师不会直接把菜扔掉；而是会更新食谱（知识），并调整下次加盐的具体技巧（技能）。

成果：在快手发生了什么？

团队在快手的真实世界搜索引擎（一个拥有数亿用户的庞大平台）上测试了该系统。结果就像将混乱的急诊室变成了运转精良的机器：

警报减少：实际需要人类关注的警报数量下降了75%。系统在噪音到达人类之前就将其拦截。
误报减少：“噪音”（实际上是错误或无关紧要的警报）减少了约95%。人类仅在真正必要时才会收到通知。
修复更快：当真正的问题发生时，解决时间（平均修复时间）缩短了**50%**以上。
准确性：系统正确识别问题根源的比例达到了80%。

为什么这很重要？

该论文认为，将 AI 用于运维最困难的部分，并非让 AI 在推理方面变得更“聪明”，而在于弄清楚应该喂给它什么信息。如果你把一切（所有日志、所有指标）都喂给 AI，它会感到困惑并产生幻觉。如果你什么都不喂给它，它就无法解决问题。

扁鹊通过充当智能过滤器解决了这一问题。它动态地决定针对特定问题究竟需要哪些数据和规则，并且每次人类给它一点提示时，它都能自学如何做得更好。

简而言之，扁鹊将一群过度劳累的工程师转变为一群高效的监督者，让 AI 承担数据排序和初步诊断的重任，而人类则专注于重大决策。

以下是论文《BIAN QUE：一种用于在线系统运维的具有灵活技能编排的智能体框架》的详细技术总结。

1. 问题陈述

运营大规模在线引擎系统（搜索、推荐、广告）需要大量人力进行发布监控、告警响应和根本原因分析（RCA）。虽然大语言模型（LLM）智能体提供了一条自动化路径，但当前的部署面临一个关键瓶颈：编排，而非推理能力。

上下文差距：将所有可用的系统信号（指标、日志、变更事件）不加区分地输入 LLM，会导致信息稀释和幻觉。
知识差距：运维知识（手册、故障模式）往往未被记录，随每次系统迭代而变动，且因业务线不同而异。
可扩展性问题：鉴于每日发布的数量庞大以及业务模块的组合复杂性，手动策划运维事件与诊断所需特定数据/知识之间的映射是不可行的。
反馈循环：现有系统缺乏一种机制，使得单个反馈信号能够同时更新检索逻辑（获取什么数据）和知识库（从事件中学习什么）。

2. 方法论：BIAN QUE 框架

BIAN QUE 是一个智能体框架，旨在抽象、编排和演进运维工作流。它由三个核心支柱组成：

A. 统一运维范式

该框架将异构的运维任务抽象为三种标准模式，每种模式由专门的智能体处理：

发布拦截：在部署期间监控系统行为，以防止事件发生。
主动检查：定期进行全面健康检查，以识别潜在风险。
告警根本原因分析（RCA）：在告警触发后诊断并修复问题。

所有智能体共享一个共同的计算结构： $o = f_{LLM}(D(e), K(e), p_s)$ ，其中 $D(e)$ 是检索到的数据， $K(e)$ 是运维知识， $p_s$ 是提示词。

B. 灵活技能编排

为了解决编排问题，BIAN QUE 引入了技能（Skills），这是一种结构化文档，作为特定业务模块上下文的编排单元。

结构：一个技能包含 LoadDataSchema（JSON 格式，指定要获取哪些指标/日志/变更）、Prompt（推理步骤）和 Meta（用于匹配的标签）。
生命周期：
- 生成：当遇到新的业务模块组合时，LLM 基于种子描述符（可用的数据源和能力）生成一个技能。它经过验证和重试循环，以确保数据源有效。
- 更新：从业者可以通过自然语言修正技能。系统自动识别错误是由于缺少数据（更新 LoadDataSchema）还是推理缺陷（更新 Prompt）造成的。
正交性：智能体处理场景逻辑（例如，“这个发布是否安全？”），而技能处理该模块特定的数据/知识检索。这使得智能体和技能可以独立迭代。

C. 统一自演进机制

BIAN QUE 实施了一个由单个从业者修正信号驱动的双路径反馈循环：

记忆到知识蒸馏：案例记录被写入短期记忆存储（用于即时模式识别），并蒸馏为长期持久化知识（故障模式、因果关系）。该知识库以手册为种子，并通过每日整合进行更新。
针对性技能优化：相同的反馈信号触发技能更新过程，以优化数据检索逻辑或推理提示。

结果：知识库和上下文组装映射共同演进，消除了对不相连的更新管道的需求。

3. 主要贡献

统一范式：将整个运维生命周期抽象为三道防线（拦截、检查、RCA），超越了传统的“以告警为先”的方法，转向主动预防。
灵活技能编排：用 LLM 生成、人类可修正的技能取代静态配置，动态地将事件映射到相关数据和知识。
协同演进反馈：一种统一机制，单个反馈信号同时提升智能体的检索策略（技能）及其领域知识库。
生产验证：已在快手电商搜索引擎上成功部署，展示了显著的现实世界影响。

4. 实验结果

该框架在快手搜索引擎（数亿用户）上进行了为期六个月的评估。

生产指标：

告警量减少：通过发布拦截和主动检查，告警触发量减少了 75%。
噪音减少：到达从业者的不可操作告警减少了 约 95%。
RCA 准确率：对于需要关注的告警，根本原因分析达到了 80% 的准确率。
MTTR：平均修复时间减少了 >50%。

离线评估（104 个真实事件）：

技能初始化：自动化生成的 pass@1 率为 78.8%。经过 5 次重试尝试后，这一比例上升至 94.2%。
人在回路：对剩余失败案例进行一轮自然语言修正，将整体通过率提升至 97.1%，三轮修正后达到 99.0%。
消融研究：
- 移除灵活技能（使用静态配置）使 pass@5 从 94.2% 降至 83.7%，证明了动态技能生成的必要性。
- 移除历史知识检索使 pass@5 降至 86.5%，显示了积累领域知识的关键作用。
- 反馈循环：在没有反馈路径的情况下，系统准确率在 13 天内从约 75% 下降至约 32%。启用反馈后，准确率稳定保持在 80% 以上。

LLM 骨干敏感性：

约 35B 参数的模型（如 Qwen3.5-35B、GLM5、DeepSeek-V3.2）表现相当且稳健。
较小的模型（如 9B、4B）在运维推理任务中表现出灾难性的退化，表明生产部署存在最低阈值。

5. 意义

BIAN QUE 代表了从静态、基于规则的 AIOps向动态、自演进智能体系统的转变。

可扩展性：它通过使用 LLM 生成和维护映射逻辑（技能）而非硬编码，解决了将事件映射到数据的“组合爆炸”问题。
可持续性：自演进机制确保系统能够快速适应系统变化，而无需不断手动重新工程化知识库或检索逻辑。
主动运维：通过优先处理发布拦截和主动检查，它将运维范式从被动救火转变为预防性维护。
通用性：虽然部署在搜索引擎上，但该框架与业务无关，依赖于标准数据湖描述符和模块化技能定义，使其适用于其他大规模在线系统。

论文结论指出，基于 LLM 的运维主要挑战不在于模型的推理能力，而在于上下文组装（选择正确的数据和知识），而 BIAN QUE 通过其灵活技能和自演进架构解决了这一问题。