技術要約：MINES – Web API 不変量推論による説明可能な異常検知

問題提起

政府や企業にとって重要なインフラとなっている現代のWebアプリケーションは、公開されたWeb API（例：RESTful、SOAP、WebSockets）にますます依存しています。これらのAPIは意図的な攻撃や意図しない不正アクセスの標的となりやすく、異常なシステム挙動を引き起こします。既存のログベースの異常検知手法は、以下の2つの根本的な課題に直面しています。

1. ログを超えた観測可能性 (C1): 真のシステムの正常性は、生のログには記録されない情報（例：注文がキャンセルされる前に、その注文が「支払い済み」である必要があるといったデータベースの状態や、セッションの環境情報など）に依存することが多いです。インストルメンテーションされたログのみに頼ることは、これらの重要な因果関係を見落とすことになります。
2. ノイズの多いログインスタンスからの真の不変量 (C2): 包括的なロギングはノイズを導入することがよくあります。生のログインスタンスで学習された学習モデルは、因果関係ではなく、偽の相関関係（例：特定のAPI呼び出しのシーケンス）を捉えてしまう可能性があり、それが偽陽性や偽陰性を招きます。さらに、既存のルール学習アプローチは、ログから表面的なルールを導き出すことが多く、ログに重要なコンテキストが欠けている場合には機能しません。

LogRobustやLogFormerのようなモデル学習型、あるいはWebNormのようなルール学習型の現在の最先端ソリューションは、攻撃ログが正常なログとテキスト的に類似しているものの、基礎となるシステムの不変量（例：データベースの制約）に違反している場合、正常なログと攻撃ログを区別することに苦慮しています。

手法：MINES

著者らは、詳細な生のログインスタンスではなく、スキーマレベル（APIシグネチャとデータベーススキーマ）から説明可能なAPI不変量を推論する手法であるMINES（Mining Invariants for aNomaly dEtection via Schema）を提案しています。MINESは、異常検知を仕様マイニング問題として扱います。

コアワークフロー

1. スキーマのパースと拡張:

   • MINESは、APIシグネチャ、データベーススキーマ、および環境情報（例：セッションデータ）をパースします。
   • APIシグネチャを、API名をエンティティとし、パラメータや戻り値を属性とするエンティティ型に変換します。
   • これらのAPIエンティティをデータベーステーブルおよび環境エンティティと統合し、拡張エンティティ・リレーションシップ（ER）図を形成します。

2. 関係性の推論 (ステージ1):

   • 大規模言語モデル（LLM）を使用して、拡張されたエンティティ間の関係性を推論します。
     • API-DB関係: APIパラメータとデータベースカラムを結ぶ外部キー制約。
     • API-API関係: 異なるAPI呼び出し間の時間的依存関係。
     • API-Env関係: API呼び出しとセッション/環境データの間のリンク。
   • ヒューリスティックなルール（例：値の重複閾値、シーケンス確率のための隠れマルコフモデル）を適用して、誤った関係性を排除します。

3. 不変量の生成 (ステージ2):

   • 推論された関係性に基づき、MINESは関連するエンティティテーブルを結合します。
   • LLMに対して、これらの結合されたテーブルに対する候補となる不変量（制約）を生成するようプロンプトを出します。これらの不変量は、常識的制約、フォーマット制約、データベース制約、環境制約、および関連API制約の5つのカテゴリをカバーします。
   • 推論された制約は、実行可能なPythonコードに翻訳されます。

4. 不変量の精緻化:

   • LLMのハルシネーション（幻覚）や偽陽性を軽減するため、生成された不変量は既知の正常ログのコレクションに対して検証されます。
   • 不変量が正常データに対して誤報を発生させた場合、そのエラーはLLMにフィードバックされ、不変量の修正または破棄が行われます。この反復ループは、不変量がすべての正常ログに対して成立するまで継続されます。

5. 実行時検証:

   • オフライン検知: システムはオフライン方式で動作します。ログコレクターが実行時のログを収集し、オフラインチェッカーが学習されたPython不変量をこれらのログに対して実行します。
   • バイナリログの追跡: 動的なデータベース状態という課題に対処するため、MINESはデータベースのバイナリログを再生して、各API呼び出し時の履歴データベース状態を再構成し、正確な不変量評価を保証します。

主な貢献

• 手法: APIシグネチャ、データベーススキーマ、およびセッション情報を統合して因果的な不変量を導出する、スキーマベースの仕様マイニング技術であり、ログのみのアプローチの限界に対処しています。
• ツール: JavaベースのWebアプリケーション向けの実装フレームドであり、APIシグネチャとデータベーススキーマのみを必要とするため、実世界への導入を容易にします。
• ベンチマーク: Train-TicketおよびNiceFishにおいて、31種類の攻撃を含む新しいWeb改ざん攻撃データセットを提供します。これには、正常および異常なログを生成するための動的かつ再現可能なスクリプトが含まれています。
• 評価: 最先端のベースライン（LogRobust, LogFormer, WebNorm）に対する広範な評価、および一般的な産業用アプリケーション（Gitea, Mastodon, NextCloud）に対する汎用性テストを実施しました。

結果

評価の結果、MINESはWeb異常検知における新たな最先端（SOTA）を達成したことが示されました。

• 高い再現率と適合率: Train-TicketおよびNiceFishのベンチマークにおいて、MINESは100%の適合率と、それぞれ**94.8%および91.7%**の再現率を達成しました。これは、LogRobust、LogFormer、WebNormと比較して、再現率が14%以上向上していることを意味します。
• ゼロの偽陽性: 精緻化プロセスにより誤報が排除され、偽陽性はほぼゼロとなりました。
• 効率性: MINESはTrain-Ticketにおいて$4.0 \times 10^5$ログ/秒のスループットでログを処理し、モデル学習型のベースラインよりも大幅に高速です。
• 堅牢性:
  • LLMへの独立性: このアプローチは、異なるLLM（GPT-4o, Claude 3.7, DeepSeek-V3）間で高い性能を維持していますが、GPT-4o-miniのような小型モデルは、コード生成においてやや低い性能を示しました。
  • 汎用性: MINESは、人気のあるオープンソースアプリケーション（Gitea, Mastodon, NextCloud）への汎用に成功し、高い適合率と再現率を達成しました。
  • アブレーション研究: スキーマベースの推論や特定の関係性（API-DB, API-Env）を削除すると、再現率が大幅に低下し、スキーマレベルの推論とコンテキスト情報の必要性が確認されました。

重要性

本論文は、ノイズの多いログインスタンスから学習するのではなく、抽象的なスキーマから仕様を導出するというパラダイムシフトにより、MINESがWebアプリケーションの運用における新たな最先端を確立すると主張しています。APIとデータベースの間の構造的な整合性を活用することで、MINESは、ログのみのモデルでは不可視な、データベースの状態の不一致を悪用する攻撃などの異常を検出できます。このアプローチは、実行可能なPythonコードによって表される不変量を通じて高い説明性を提供し、偽陽性が極めて少ない高い精度を実現しており、信頼性の高いWebサービスの保守に適しています。著者らは、この手法は意味のある命名規則に依存しているものの、一般的なエンジニアリング慣行に対して堅牢であり、最小限のドキュメントでさらに強化できると述べています。