技術要約: LogSemFuse

問題提起

ログの異常検知は現代のソフトウェアシステムの監視において不可欠であるが、既存のモデルベースの検知器には主に2つの限界がある。第一に、高い検知性能を実現している一方で、通常は異常スコアやバイナリラベルのみを出力し、その決定の背後にある運用の意味論（operational semantics）を提供しない。このエビデンスの欠如により、オペレーターはなぜセッションがフラグ立てされたのかを理解するためにログを手動で調査せざるを得ず、効率的な診断とインシデント対応を妨げている。第二に、大規模言語モデル（LLM）は豊かなログの意味論を復元できるが、それらをスタンドアロンの検知器として使用することはコストが高く、推論の変動性が高く、また決定の根拠となる特定の証拠に基づいた説明を行うことが難しい。さらに、すべてのセッションに対して直接LLMにプロンプトを投げることは、計算コストが高く、スケーラビリティに欠ける。

解決すべき核心的な課題は、既存の高精度なバックボーン検知器のトレーニングパイプラインを置き換えたり、実行時のコストを増大させたりすることなく、いかにして解釈可能な意味論的エビデンスと説明を強化するかである。

手法: LogSemFuse フレームワーク

LogSemFuseは、プラグイン型の意味論的拡張フレームワークとして提案されている。これはバックボーン検知器を置き換えたり、その学習目的を変更したりするものではない。代わりに、推論段階において、3つの異なるモジュールから導出された構造化された意味論的エビデンスと、バックボーンの予測を融合させる。本フレームワークは、推論時のLLMの使用を最小限に抑えるために、学習中に構築される再利用可能なアーティファクトを格納する**知識バンク（Knowledge Bank, $K$）**を維持する。

1. 学習時のエビデンス構築

推論の前に、LogSemFuseは学習データを処理して、2種類の再利用可能なエビデンスを構築する：

• ローカル・イベント・パターン・バンク ($K_{ngram}$): ラベル付けされた異常な学習セッションのEventIdシーケンスから、識別的なunigram、bigram、trigramをマイニングする。パターンは「リフト（lift）」（正常なサポートに対する異常なサポートの比率）によってランク付けされ、正常なセッションで過剰に発生しないことが検証される。これらのパターンは、短く連続的な異常挙動（例：繰り返されるリトライや例外シーケンス）の決定論的かつ解釈可能なエビデンスを提供する。
• クラスター由来のルール・バンク ($K_{rule}$): 異常な学習セッションは、イベント分布に基づいてHDBSCANを用いてクラスタリングされる。各クラスターに対して、LLMが共有される運用の挙動を要約し、構造化された実行可能なルールを誘導する。これらのルールは、contains_ngram、ordered_subset、min_count、absent_withinといったプリミティブを使用する。結果として得られるルールは、より広範で非連続的な運用のパターンを捉え、推論時の決定論的なマッチングのために保存される。

2. 推論時の意味論的拡張

入力されるログセッション $x$ に対して、LogSemFuseは4つのバイナリ信号を集計して、最終的な決定と説明を生成する：

1. バックボーン信号 ($s_b$): バックボーン検知器（例：DeepLog, LogBERT）からの元の異常スコアまたはラベル。
2. ローカル・パターン信号 ($s_n$): セッションのEventIdシーケンスを $K_{ngram}$ と照合することで決定される。
3. ルール信号 ($s_r$): $K_{rule}$ 内のルールをセッションに対して実行することで決定される。
4. LLM意味論的推論信号 ($s_\ell$): LLMがセッションを分析し、高リスクの予測、信頼度スコア、および根拠（期待される挙動 vs 観察された挙動）を提供する。コストを制御するため、LLMは新しいセッションに対してのみ呼び出され、結果はセッション識別子によってキャッシュされ、再利用される。

融合と説明:
融合オペレータ（検証データに基づき、OR、AND、またはvote-$k$ポリシーから選択）が、これら4つの信号を組み合わせて最終的な異常ラベルを決定する。その後、システムは、一致したローカルパターン、トリガーされたクラスター由来のルール（クラスターレベルの説明を含む）、およびLLMの論理的根拠を追跡することで、エビデンスに基づいた説明を生成する。

主な貢献

本論文は、以下の具体的な貢献を行う：

• プラグイン・フレームワーク: 元の学習または推論パイプラインを変更することなく、既存のログ検知器を実行可能な意味論的エビデンスで強化する手法。
• 知識バンクのデザイン: 再利用可能なローカルイベントパターンとクラスター由来のルールを、キャッシュされたセッションレベルのLLM推論と共に保存するメカニズムにより、効率的かつ低コストな再利用を可能にする。
• エビデンスに基づく説明: 事後的な特徴量属性ではなく、発火したパターン、トリガーされたルール、およびLLMの論理的根拠を用いて、異常決定を説明するアプローチ。
• 実証的検証: 3つのデータセット（HDFS, BGL, Liberty）と4つのバックボーン検知器を用いた包括的な評価により、適度なオーバーヘッドで検知性能と説明の質が向上することを示す。

評価結果

フレームワークは、DeepLog、LogAnomaly、LogBERT、NeuralLogをバックボーンとして、HDFS、BGL、Libertyのデータセットで評価された。

• 検知性能: LogSemFuseは、すべての非完全なベースラインに対してF1スコアを向上させた。テストセット全体で、バックボーンの偽陰性（False Negatives）の**98.8%**を回収した。特筆すべきは、バックボーンが既に最適であった場合（例：LibertyにおけるLogAnomaly）でも、完全な性能を維持したことである。
• 効率性: ローカルパターンの照合とルールの実行に依存することで、フレームキズムは、データセットに応じて約2.3〜5.8秒という、緩やかで安定した推論時のオーバーヘッドを追加する。LLMのトークン使用量は、キャッシュされた結果の再利用と知識バンクを通じて償却される。
• 人間による評価: 開発者や研究者を含む14人の参加者を対象としたユーザー調査では、LogSemFuseの説明は、論理的一貫性、技術的な妥当性、明快さなどのすべての指標において、直接的なLLMによる説明よりも有意に高い評価を得た。LogSemFuseは、ベースラインのLLMの3.06に対し、平均総合品質スコア4.13を達成した。
• アブレーション研究: ローカルイベントパターンの除去が最も顕著な性能低下を引き起こし、それらが特定の異常インジケーターを検出する上で極めて重要な役割を果たしていることが示された。クラスター由来のルールバンクは説明のための再利用可能なエビデンスを提供し、LLMによる推論は困難な構成においてターゲットを絞った利点を提供した。

意義と主張

本論文は、**意味論的拡張（semantic augmentation）**が、既存のログ異常検知器を強化するための実用的な戦略であることを示している。LLMとルール誘導を、スタンドアロンの検知器ではなく、再利用可能なエビデンスのソースとして扱うことで、LogSemFuseは以下を実現する：

1. 有効性の向上: シーケンスベースのモデルが希薄または希釈された信号のために見落としてしまう異常を回収する。
2. 解釈可能性: オペレーターに対し、不透明なスコアではなく、具体的なエビデンスに基づいた説明（パターン、ルール、および論理的根拠）を提供する。
3. スケーラビリティ: 意味論的アーティファクトをキャッシュし、すべての要求に対してLLM推論を行わないことで、低く安定した実行時コストを維持する。

著者らは、LogSemFuseを従来の検知器や新しいLLM中心のパラダイムに代わるものとしてではなく、高パフォーマンスな検知と、実行可能な意味論的理解との間のギャップを埋めるための統一的な手法として位置づけている。