テクニカルサマリー：AllLinLog – 線形自己注意機構を用いたログベースの異常検知

1. 問題提起

相互接続されたシステムが拡大するにつれ、サイバー脅威に対する攻撃対象領域（アタックサーフェス）が増大しており、システムログにおける異常のタイムリーな検知が極めて重要になっています。ログベースの異常検知は標準的な手法ですが、既存の手法には主に2つの課題があります。

1. ログ解析への依存: 現在の多くの手法は、非構造化の生ログを構造化されたイベントテンプレートに変換するためのログ解析ステップを必要とします。このプロセスは、パラメータをキーワードとして誤認したり、異なるメッセージを統合したりといったエラーが発生しやすく、それが意味論的な誤解や文脈の詳細の喪失につながります。さらに、進化し続けるソフトウェアシステムにおいては、新しいテンプレートに対応するためにパーサーの頻繁な再学習が必要となります。
2. 長いシーケンスの計算複雑性: 完全な意味情報を保持するためには、モデルは生ログを直接処理する必要がありますが、その結果、入力シーケンスは非常に長く（多くの場合、数千トークン）なります。マルチヘッド自己注意（multi-headed self-attention）に依存する標準的なTransformerベースのモデルは、シーケンス長に対して二次関数的な計算複雑性（$O(n^2)$）に苦しみます。これにより、モデルは入力を切り詰める（truncate）か、特徴量を破棄することを余儀なくされ、貴重な異常指標を見失う可能性があります。

2. 手法：AllLinLog

著者らは、ログ解析を行わずに生システムログから直接異常検知を行うために設計された、合理化されたフレームワークである AllLinLog (All Contextual Information with Linear Self-Attention Encoder) を提案しています。このモデルは、以下の3つのコアコンポーネントで構成されています。

A. データ処理

• セッション構築: 生ログは、HDFSのような一意の識別子を持つデータセットではセッションIDグルーピングを、BGLやThunderbirdのような明確なIDを持たないデータセットではスライディングウィンドウグルーピングを用いて、セッションごとにグループ化されます。
• トークン化: ログパーサーを使用する代わりに、モデルは GPT-4 BPE (Byte Pair Encoding) トークナイザーを採用しています。このバイトレベルのサブワード・トークナイザーは、生ログメッセージをトークンIDに変換し、未知語（OOV）の問題を、未知の単語をサブワード単位（例：「crond」 $\rightarrow$ 「cr」, 「ond」）に分解することによって効果的に処理します。
• 位置エンベディング: 時間的依存関係を捉えるために、カウントベースの絶対位置エンベディングがトークンベクトルに加えられます。
• クラス不均衡の処理: ログデータにおける正規セッションと異常セッションの深刻な不均衡を認識し、モデルは埋め込みの前に生データに対して ランダム・オーバーサンプリング (ROS) を適用します。訓練時のターゲット異常比率は、偏りのない分類を確実にするため、40%に設定されています。

B. 線形自己注意 (LSA) エンコーダ

長いシーケンスを処理する際の非効率性を解決するため、AllLinLogは標準的な二次関数的自己注意メカニズムを 線形自己注意 (Linear Self-Attention) エンコーダに置き換えています。

• 低ランク近似: この手法は、アテンション行列の低ランク特性を利用しています。$n \times n$ の全空間に対してアテンションを計算する代わりに、2つの学習可能な投影行列 ($E$ および $F$) を導入し、Key ($K$) と Value ($V$) のシーケンスをより低い次元 $k$ （ここで $k \ll n$）へと圧縮します。
• 複雑性の削減: これにより、計算複雑性はシーケンス長に対して $O(n^2)$ から $O(nk)$ へと変換され、時間および空間要件が実質的に線形化されます。
• パラメータ効率: モデルはレイヤーごとのパラメータ共有を利用しており、単一の投影行列 $E$ をすべてのレイヤーとヘッドで共有することで、メモリフットプリントをさらに削減しています。

C. 分類レイヤー

エンコーダの出力は、シーケンス長全体にわたる 平均プーリング (average pooling) を用いて集約され、セッションレベルの表現が生成されます。このベクトルは線形層を通過し、二値分類（正規 vs 異常）のためのロジットを生成します。モデルは、少数派（異常）クラスの誤分類をさらに厳しく罰するために、重み付きクロスエントロピー損失関数を使用しています。

3. 主な貢献

• パーサーフリーのアーキテクチャ: AllLinLogはログパーサーへの依存を排除することで、意味論的なエラーを回避し、生ログに内在するすべての文脈情報（動的なパラメータを含む）を保持します。
• 長いシーケンスに対する線形複雑性: 線形自己注意エンコーダを統合することで、モデルは入力を切り詰めることなく、フルレングスのログセッション（数千トークン）の処理を可能にし、標準的なTransformerの拡張性の限界を克服しています。
• OOVに対する堅牢性: GPT-4 BPEトークン化の使用により、定義済みの語彙や解析ルールを必要とせずに、未知の技術用語やパラメータを効果的に扱うことができます。
• 効率性: このアーキテクチャは、標準的なTransformerエンコーダと比較して、推論時間とメモリ消費の両方を大幅に削減しており、リソース制約のある環境にも適しています。

4. 実験結果

モデルは、DeepLog、LogCluster、LogAnomaly、FSMFLogを含む最先端のベースラインと比較しながら、公開データセット BGL (Blue Gene/L) および HDFS (Hadoop Distributed File System) で評価されました。

• 検出精度: AllLinLogは、すべての指標において最高のパフォーマンスを達成しました。HDFS データセットでは、適合率 (Precision) 0.997、再現率 (Recall) 0.995、F1スコア 0.996 に達しました。BGL データセットでは、適合率、再現率、F1スコアともに 0.999 というほぼ完璧なスコアを達成しました。これらの結果は、HDFSで0.966、BGLで0.961のF1スコアを記録した最良のベースライン (FSMFLog) を上回りました。
• アブレーション研究:
  • 低ランク因子 ($k$): 最適な値として $k=32$ が特定され、F1スコア 0.99888 を導き出しました。
  • エンコーダの深さ: パフォーマンスと複雑性のバランスをとる上で、単一のエンコーダレイヤーが最適であることが判明しました。
  • LSA vs 標準Transformer: LSAエンコーダを標準的なTransformerに置き換えると、F1スコアはわずかに上昇しましたが（0.99888 から 0.99967 へ）、効率性の面で大きなコストを支払うことになりました。
• 効率性ベンチマーク:
  • メモリ: バッチサイズを1から16に増やしたとき、LSAエンコーダのメモリ使用量はわずか 202.61 MB しか増加しませんでしたが、標準的なTransformerの使用量は 2,931.48 MB も急増しました。
  • 推論時間: LSAエンコーダは優れたスケーラビリティを示しました。バッチサイズを1から16に増やすと、LSAの推論時間は 4.9倍 の増加にとどまったのに対し、標準的なTransformerは 10.8倍 に増加しました。
  • スループット: バッチサイズ16において、LSAエンコーダは 4,032.52 サンプル/秒 を達成し、これは標準的なTransformer (312.02 サンプル/秒) の約 12.9 倍 のスループットです。

5. 意義と限界

本論文は、AllLinLogが高精度と計算効率を両立させることで、ログベースの異常検知において実用的な利点を提供すると主張しています。ログパーサーへの依存を取り除き、線形自己注意を利用することで、モデルは完全な意味的文脈を保持しながら、長いシーケンスに対してもスケーラブルであり続けます。

著者らは、BPEトークナイザーに関する限界についても認めています。BPEはOOV問題を解決しますが、特定の技術的パラメータ（例：IPアドレス）をサブワードに分割してしまう可能性があり、それによって文脈情報が歪んだり、シーケンス長が増大したりする可能性があります。著者らは、今後の研究として、このようなパラメータをサブワードに分解することなくログメッセージをセグメント化できる、バイトレベルのトークン化手法の開発に焦点を当てるべきであると示唆しています。これにより、特徴量の完全性をさらに保持することが可能になります。