ThreatQwen: Domain-Adaptive Fine-Tuning of a 1.7B LLM for Security Event Classification and SOC Triage

銀行、病院、政府機関のセキュリティチームは、日々、デジタルアラームの洪水に直面しています。これらのアラートは、不審なファイルの移動や奇妙なネットワーク接続といった、コンピュータログ内の不審なパターンをスキャンする自動システムによって引き起こされます。これらのシステムは潜在的な脅威を検知することには非常に優れていますが、そのアラートが真の危険なのか、それとも無害なミスなのかを判断することはできません。この「トリアージ」として知られる最終判断には、従来、人間のアナリストが生のデータを読み、状況を推論する必要がありました。この手作業によるプロセスは低速であり、多くのアラートの量に圧倒されがちです。近年、強力な人工知能モデルがこのような推論を実行できることを示していますが、最も助けを必要としている組織は、それらを利用できないことがよくあります。厳格なセキュリティ規則とプライバシー法により、これらのチームは、大規模なモデルが存在する外部サーバーに機密性の高いログを送信することが禁じられているからです。彼らは、専門家のように思考しながらも、完全に自社の安全な壁の中に留まることができるソリューションを必要としています。

新しい研究は、インターネット接続を必要とせず、標準的なコンピュータハードウェア上でローカルに動作するように設計された、小型で特化した人工知能モデルである「ThreatQ

Qwen」と呼ばれるソリューションを紹介しています。研究者は、人間言語を理解し生成するように訓練されたソフトウェアの一種であるコンパクトな言語モデルを取り、それをセキュリティアラートを分析する方法に特化して教え込みました。研究者は、膨大な数の実世界の検知ルールと、通常のコンピュータ活動の合成例をモデルに投入し、モデルが真の脅威と無害なイベントを区別できるように学習させました。その結果、セキュアなオフィス内の単一のコンピュータ上に配置でき、アラートを読み取り、それが悪意のあるものか良性のものであるかを即座に人間のオペレーターに伝えることができるツールが誕生しました。このアプローチにより、高度に規制された組織は、プライベートなデータを外部の世界に一切さらすことなく、高度な人工知能の推論を利用できるようになります。

研究者が対処した核心的な課題は、既存のほとんどの人工知能モデルは、ローカルマシンで実行するには大きすぎ、かつセキュリティログの特定の言語（用語）で訓練されていないということでした。これを解決するために、チームは、オープンソースプロジェクトからの数千の実際の検知ルールと、数千の新しい通常のコンピュータ行動の例を組み合わせたトレーニングデータセットを構築しました。彼らは強力な外部人工知能を使用してこれらの「正常な例」を生成し、モデルが危険なイベントと安全なイベントのバランスの取れた混合物を見ることができるようにしました。これは極めて重要でした。なぜなら、元のデータは脅威に大きく偏っていたため、追加の正常な活動の例がなければ、モデルは単にすべてを「危険」とラベル付けするように学習してしまうからです。データを注意深く調整し、安易なショートカットとして機能する特定のフィールドを削除することで、研究者はモデルが表面的な手がかりに基づいて推測するのではなく、イベントのパターンを実際に学習するように強制しました。

その後、モデルは、完全に再構築する必要なく新しいタスクを学習できる手法を用いて微調整（ファインチューニング）されました。このプロセスは、標準的なグラフィックスカードを用いたわずか数時間で完了しました。実世界の脅威と正常なイベントを均等に分けた882個の例を用いたテストにおいて、この新しいモデルは95.1パーセントの精度を達成しました。モデルは、実際の脅威の96.1パーセントを正しく特定し、正常なイベントの94.2パーセントを正しく特定しました。直接比較すると、この小型のローカル実行モデルは、同じタスクにおいて52パーセント未満の精度しか出せなかった世界で最も高度なクラウドベースの人工知能システム2つを大幅に上回りました。クラウドモデルは、ほとんどのものを脅威であると推測してしまい、正常な活動を認識することに失敗しましたが、この新しいモデルは、セキュリティエキスパートにとって重要な微妙な違いを学習しました。

この開発が特に重要である理由は、その実用性にあります。モデルの特殊な訓練を含む全体がわずか3.1ギガバイトのコンピュータメモリに収まり、多くのオフィスにある一般的な消費者向けグラフィックスカードで実行できるほど十分に小さいものです。ネットワーク接続を必要としないため、セキュリティ上の理由からコンピュータがインターネットから物理的に隔離されている「エアギャップ」環境にも展開可能です。これにより、銀行、防衛請負業者、情報機関は、データプライバシー規制に違反することなく、数百万のアラートの初期レビューを自動化できます。また、研究者は、このモデルをローカルで実行することは、クラウドベースのサービスを利用するよりも大幅に安価であり、高ボリュームの処理において、クラウドプラットフォームで同等の作業を行う場合の約20ドルに対し、1日あたり2ドル未満であると指摘しています。

この研究には、著者が率直に認めている限界もあります。訓練データおよび正常な挙動のテスト例は、ライブのリアルなネットワークから直接取得されたものではなく、コンピュータによって生成されたものです。検知ルールは、実世界で観察された実際の攻撃手法に基づいたものですが、モデルはまだ、ライブのセキュリティセンターにおける複雑で乱雑なデータストリームに対してテストされていません。研究者は、次の重要なステップは、モデルが使用された合成例を超えて、実世界のテレメトリに対して汎用性があることを検証することであると述べています。さらに、現在のモデルは英語のみを理解するため、非英語の脅威インテリジェンスの情報源が対象外となっています。それにもかかわらず、この研究は、適切に訓練された小型のオープンソースモデルが、大規模で汎用的なシステムよりも専門的なセキュリティタスクを優れた方法で実行できることを証明しており、重要なインフラにおける安全なローカル人工知能への実行可能な道筋を示しています。