A structured event logging framework for language model assisted security event analysis

デジタル界において、コンピュータが行うあらゆる動作は痕跡を残します。ユーザーがログインしたとき、ファイルが保存されたとき、あるいはセキュリティ設定が変更されたとき、システムはそのイベントの記録を書き込みます。これらの記録は「イベントログ」として知られ、セキュリティチームがネットワーク内部で何が起きているかを理解するための主要な手段となっています。数十年にわたり、これらのログを分析する標準的な手法は、それらを専門のソフトウェアや人間のアナリストに投入し、脅威を示唆するパターンを探させることでした。しかし、新しい世代の人工知能ツール、特に大規模言語モデル（LLM）が、このタスクの自動化において有望であることを示しています。これらのモデルは膨大な量のテキストで学習されており、自然言語を理解できるため、理論的にはセキュリティログの中に隠された物語を読み解くのに最適です。しかし、重大な問題が生じています。これらの強力なAIツールに標準的なコンピュータログを読ませると、しばしば失敗してしまうのです。一貫性のない回答を出したり、重要な詳細を見落としたり、あるいは起こってもいない事実を捏造したりすることがあります。この信頼性の欠如は、誤った推測が検知漏れや、無害な動作を攻撃と誤認させることにつながる実世界のセキュリティにおいて、非常に危険なものです。

ハダースフィールド大学とマンチェスター・メトロポリタン大学の研究者たちは、異なる問いを投げかけることで、この問題を解決しようと試みました。彼らは、人工知能をもっと賢くしようとするのではなく、ログそのものが問題なのではないかと考えたのです。彼らは、コンピュータが現在これらの記録を書き込む方法が、AIにとって理解するにはあまりにも乱雑でテクニカルすぎると仮定しました。これを検証するため、チームは、言語モデルが読み取れるように特別に設計された、コンピュータの活動を記録する新しい方法を開発しました。彼らは、コンピュータシステムのさまざまな部分からイベントをキャプチャし、ノイズを取り除き、分析される前にデータを明確で構造化された形式へと書き換えるツールを構築しました。その結果、コンピュータが情報の整理という重労働を行い、AIに対して混沌としたコードのストリームではなく、クリーンで一貫性のある物語を提示するシステムが実現しました。

チームは、単純なパスワード変更から複雑なネットワーク侵入に至るまで、20種類の異なるセキュリティシナリオをシミュレートして、この新しいアプローチをテストしました。彼らは新しいツールを使用してイベントを記録し、その結果を現在業界で使用されている標準的なロギング手法と比較しました。これらのログをいくつかの異なる言語モデルに投入したところ、その差は歴然でした。新しいフォーマットを使用したモデルは、一貫して正しい問題を特定し、関連する解決策を提示しました。対照的に、同じモデルに従来の非構造化ログを与えた場合、そのパフォーマンスは著しく低下しました。モデルは通常の活動と潜在的な脅威を区別することに苦戦し、重要なセキュリティ設定が変更されたことさえ認識できないことがよくありました。新しいフォーマットは、AIが混乱するコードを推測したり解釈したりする必要性を排除し、精度の劇的な向上をもたらしました。

最も注目すべき発見の一つは、この新システムが非常にうまく機能したため、モデルが事実を捏造する現象、いわゆる「ハルシネーション（幻覚）」がほとんど発生しなかったことです。この特定の実験において、エラー率はすべてのテストにおいて実質的にゼロでした。これは、従来のフォーマットを使用した場合も含みます。研究者らは、この結果については、他の研究と比較して使用されたログの数が比較的少ない影響を受けている可能性があり、より大きなデータセットを用いたさらなるテストなしには、ハルシネーションが永久に排除されたと断定することはできないと指摘しています。このことは、AIの混乱の主な原因が知能の欠如ではなく、入力データの質の低さであったことを示唆しています。ログを生成する瞬間から、構造化され、一貫性があり、平易な言葉で書かれるようにすることで、研究者たちはAIがつまずく原因となっていた障壁を取り除いたのです。また、このシステムは関連するイベント同士を紐付けるタスクも処理できました。二つの異なるログが同時に発生し、一つの攻撃の一部であることを別のプログラムが判断するのを待つのではなく、この新しいツールはイベントが発生した時点で自動的にそれらの点をつなぎ合わせました。

研究者たちはまた、より多くのデータでAIモデルを訓練すれば、古い乱雑なログに対してもパフォーマンスが向上するかどうかについても調査しました。その結果、追加の訓練を行ったとしても、モデルは依然として従来のフォーマットに苦戦することが判明しました。しかし、新しいフォーマットを使用した場合、モデルは追加の訓練なしでも非常に優れたパフォーマンスを発揮しました。これは、データの構造がモデルの訓練セットの大きさよりも重要であることを示しています。チームはログの分析にかかる時間を測定し、彼らの新しい手法がほとんどの伝統的な手法よりも大幅に高速であることを発見しました。Sysmonのような標準的なツールが分析に数分を要する一方で、他のツールは同じ量の情報を処理するのに数時間を要していました。このスピードと高い精度を組み合わせることで、新しいアプローチはAIによるセキュリティ分析を日常的な用途として実用的なものにできることを示唆しています。

この研究は、あらゆるサイバーセキュリティの問題を解決したと主張しているわけではなく、研究者らは、テストが単一のコンピュータシステムに対して行われたことを認めています。彼らは将来的に他のオペレーティングシステムへと研究を拡大する計画です。しかし、核心となる発見は明白です。人工知能にデジタルイベントを理解させたいのであれば、記録の方法を変える必要があるということです。ログのフォーマットを単なる技術的な記録としてではなく、コミュニケーションツールとして扱うことで、研究者たちは人間、機械、そして人工知能の間の架け橋を作り上げました。この視点の単純な転換により、AIは生データのノイズの中で迷うことなく、その得意分野である「言語の理解」と「パターンの発見」を行うことができるようになったのです。その結果、より信頼性が高く、より速く、より安全なコンピュータシステム保護の方法が生まれ、時にはツールを改善する最善の方法は、それをより複雑にすることではなく、受け取る情報をより明確にすることであるということが証明されました。