Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

以下は、論文「BIAN QUE: An Agentic Framework with Flexible Skill Arrangement for Online System Operations」の詳細な技術的サマリーです。

1. 問題定義

大規模なオンラインエンジンシステム（検索、レコメンデーション、広告）の運用には、リリース監視、アラート対応、根本原因分析（RCA）において多大な人的労力が要求されます。大規模言語モデル（LLM）エージェントは自動化への道を開きますが、現在の導入事例は推論能力ではなく、オーケストレーションに重大なボトルネックを抱えています。

• コンテキストの乖離: 利用可能なすべてのシステム信号（メトリクス、ログ、変更イベント）を無差別に LLM に投入すると、情報の希薄化と幻覚（ハルシネーション）を招きます。
• 知識の乖離: 運用知識（ハンドブック、失敗パターン）は文書化されていないことが多く、システム反復ごとに変化し、事業ラインによっても異なります。
• スケーラビリティの問題: 運用イベントと診断に必要な特定データ・知識とのマッピングを手動で管理することは、日々のリリース量と事業モジュールの組み合わせの複雑さを考慮すると、非現実的です。
• フィードバックループの欠如: 既存システムには、単一のフィードバック信号が同時に検索ロジック（どのデータを取得するか）と知識ベース（イベントから何を学ぶか）を更新するメカニズムが存在しません。

2. 手法：BIAN QUE フレームワーク

BIAN QUE は、運用ワークフローを抽象化、オーケストレーション、進化させるために設計されたエージェントフレームワークです。これは 3 つの中核的柱から構成されます。

A. 統合運用パラダイム

このフレームワークは、多様な運用タスクを 3 つの標準パターンに抽象化し、それぞれを専門のエージェントが処理します。

1. リリースインターセプション: インシデント発生前のシステム挙動を監視し、デプロイ中の事故を未然に防止します。
2. 能動的検査: 潜在的なリスクを特定するための、定期的かつ包括的な健全性チェックです。
3. アラート根本原因分析（RCA）: アラート発火後に問題を診断し、修復します。

すべてのエージェントは共通の計算構造 $o = f_{LLM}(D(e), K(e), p_s)$ を共有します。ここで、$D(e)$ は取得されたデータ、$K(e)$ は運用知識、$p_s$ はプロンプトです。

B. 柔軟なスキル配置

オーケストレーションの問題を解決するため、BIAN QUE はスキルを導入します。スキルは、特定の事業モジュールの文脈におけるオーケストレーション単位として機能する構造化ドキュメントです。

• 構造: スキルには、取得するメトリクス/ログ/変更を指定する JSON である LoadDataSchema、推論ステップを示す Prompt、マッチング用のタグである Meta が含まれます。
• ライフサイクル:
  • 生成: 新しい事業モジュールの組み合わせが検出された際、LLM はシード記述子（利用可能なデータソースと機能）に基づいてスキルを生成します。データソースが有効であることを保証するため、検証と再試行のループを経ます。
  • 更新: 実務者は自然言語を通じてスキルを修正できます。システムは、エラーが不足しているデータ（LoadDataSchema の更新）によるものか、誤った推論（Prompt の更新）によるものかを自動的に識別します。
• 直交性: エージェントはシナリオロジック（例：「このリリースは安全か？」）を処理し、スキルはそのモジュール固有のデータ/知識検索を処理します。これにより、エージェントとスキルの独立した反復が可能になります。

C. 統合自己進化メカニズム

BIAN QUE は、単一の実務者修正信号によって駆動される双経路フィードバックループを実装します。

1. メモリから知識への蒸留: ケース記録は、即時のパターン認識のための短期記憶ストアに書き込まれ、長期の永続的知識（失敗パターン、因果関係）へと蒸留されます。この知識ベースはハンドブックをシードとして初期化され、日々の統合を通じて更新されます。
2. ターゲット型スキル改善: 同じフィードバック信号が、データ検索ロジックまたは推論プロンプトを改善するためのスキル更新プロセスをトリガーします。

• 結果: 知識ベースとコンテキスト構成マッピングが共進化し、分離された更新パイプラインの必要性が排除されます。

3. 主な貢献

1. 統合パラダイム: 運用ライフサイクル全体を 3 つの防衛ライン（インターセプション、検査、RCA）に抽象化し、従来の「アラート優先」アプローチを超えて、予防的な防止へと移行します。
2. 柔軟なスキル配置: 静的な設定を、LLM によって生成され、人間が修正可能なスキルに置き換え、イベントを関連するデータおよび知識に動的にマッピングします。
3. 共進化フィードバック: 単一のフィードバック信号が、エージェントの検索戦略（スキル）とドメイン知識ベースを同時に改善する統合メカニズムです。
4. 本番環境での検証: 快手（Kuaishou）の E コマース検索エンジンで正常に展開され、現実世界での大きなインパクトを実証しました。

4. 実験結果

このフレームワークは、数億人のユーザーを抱える快手の検索エンジンにおいて 6 ヶ月にわたって評価されました。

本番環境メトリクス:

• アラート量の削減: リリースインターセプションと能動的検査により、発火したアラートを**75%**削減しました。
• ノイズの削減: 実務者に届く実行不可能なアラートを**約 95%**削減しました。
• RCA 精度: 注意を要するアラートに対する根本原因分析の精度を**80%**達成しました。
• MTTR: 平均解決時間（MTTR）を50% 以上削減しました。

オフライン評価（104 の実イベント）:

• スキル初期化: 自動生成による pass@1 レートは**78.8%でした。5 回の再試行により、これは94.2%**に上昇しました。
• 人間によるループ: 残りの失敗に対する 1 回の自然言語修正により、全体のパス率は**97.1%に、3 回で99.0%**に達しました。
• アブレーション研究:
  • 柔軟なスキルを除去（静的設定を使用）すると、pass@5 が 94.2% から 83.7% に低下し、動的なスキル生成の必要性が証明されました。
  • 過去の知識検索を除去すると、pass@5 は 86.5% に低下し、蓄積されたドメイン知識の決定的な役割を示しました。
  • フィードバックループ: フィードバック経路がない場合、システム精度は 13 日間で約 75% から約 32% に劣化しました。フィードバックを有効にすると、精度は 80% 以上で安定しました。

LLM バックボーンの感度:

• 約 35B パラメータのモデル（例：Qwen3.5-35B、GLM5、DeepSeek-V3.2）は、同程度で堅牢なパフォーマンスを示しました。
• 小規模モデル（例：9B、4B）は運用推論タスクにおいて壊滅的な劣化を示し、本番環境での展開には最低限の閾値が必要であることを示唆しています。

5. 意義

BIAN QUE は、静的でルールベースの AIOpsから動的で自己進化型のエージェントシステムへの転換を表しています。

• スケーラビリティ: イベントをデータにマッピングする「組み合わせ爆発」の問題を、ハードコーディングではなく、LLM を用いてマッピングロジック（スキル）を生成・維持することで解決します。
• 持続可能性: 自己進化メカニズムにより、システムは知識ベースや検索ロジックの絶え間ない手動再設計を必要とすることなく、急速なシステム変化に適応します。
• 能動的運用: リリースインターセプションと能動的検査を優先することで、運用パラダイムを反応的な消火活動から予防的メンテナンスへとシフトさせます。
• 汎用性: 検索エンジンに展開されましたが、このフレームワークは事業に依存せず、標準的なデータレイク記述子とモジュール化されたスキル定義に依存しているため、他の大規模オンラインシステムにも適用可能です。

本論文は、LLM ベースの運用における主な課題はモデルの推論能力ではなく、コンテキスト構成（適切なデータと知識の選択）にあると結論付けており、BIAN QUE はその柔軟なスキルと自己進化アーキテクチャを通じてこれを解決します。