Multi-LLM Consensus Framework for Evaluating Banking-Sector NIDS Dataset Coverage of MITRE ATT&CK Techniques
本論文は、既存のNIDSベンチマークデータセットが銀行特有のMITRE ATT&CKテクニックをどの程度カバーしているかを評価するためのマルチLLMコンセンサスフレームワークを提案しており、CIC-DDoS2019における89.9%のブラインドスポットといった重大な欠陥を明らかにし、実世界の運用上の有効性を確保するためのセクター固有のデータセットの必要性を確立している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
インターネットを、銀行が最も重要な金庫である、巨大で賑やかな都市だと想像してみてください。これらの金庫を守るために、「ネットワーク侵入検知システム（NIDS）」と呼ばれる警備員がデジタルの街路をパトロールし、侵入しようとする者がいないか監視しています。これらの警備員は、「訓練演習」と呼ばれる膨大な偽の攻撃データ、すなわちデータセットを用いて訓練されます。問題は、ほとんどの訓練が一般的すぎるという点です。それらは警備員に対し、一般的なスリや車泥棒を止める方法を教えますが、銀行の特別な送金システムをハッキングする方法や、ATMを欺く方法を正確に熟知している黒幕を止める方法を教えることは滅多にありません。それは、消防士にキッチンの火災の対処法だけを教え、その後に化学プラントの爆発現場へ送り出すようなものです。彼らはホースの使い方は知っているかもしれませんが、化学物質が反応し始めたときに何をすべきかは分からないでしょう。この論文は、シンプルですが極めて重要な問いを投げかけています。現在の訓練演習は、果たしてこれらのデジタルの警備員に対し、銀行を標的とした具体的で巧妙な攻撃に対して実際に備えさせているのか、それとも単に警備員に自信を持たせているだけで、実際には脆弱なままにさせているのか、という問いです。
論文の著者たちは、このギャップを調査するために、これらの訓練データセットをテストするための、よりスマートな新しい方法を構築することで、この問題を調査することにしました。データセットの中にどれだけの「悪党」が含まれているかを単に数えるのではなく、彼らは現実世界のセキュリティセンサーが実際にどのように機能するかを模倣した手法を用いました。彼らはまず、MITRE ATT&CKと呼ばれる有名なガイドブックから引用した、ハッカーが銀行を攻撃する210通りの異なる方法の膨大なリストから着手しました。しかし、彼らは現実のセキュリティセンサーには限界があることも理解していました。センサーは暗号化されたメッセージ（鍵のかかった手紙のようなもの）の中身を見ることはできず、コンピュータの脳内（ファイルが削除されている最中など）で何が起きているかを見ることもできず、また、通信を遮断することなく、電柱に設置されたカメラのように受動的にトラフィックを監視することしかできません。
これら210種類の攻撃のうち、センサーが実際に検知できるものはどれかを判断するために、研究者たちは一人の専門家に尋ねるだけではありませんでした。彼らは、4つの強力な人工知能モデルで構成された「コンセンサス・エンジン（合意形成エンジン）」を使用しました。これは、4人の非常に賢い探偵によるパネル会議のようなもので、特定の攻撃が目に見える形跡を残すかどうかについて、全員が同意しなければなりません。もし4人中3人の探偵が「はい、それは検知可能です」と言えば、それは検知可能とカウントされました。もし意見が分かれた場合は、チームは慎重を期し、その攻撃はセンサーからは見えないものとみなしました。この厳格なルールによって、リストは、現実の銀行センサーが現実的に察知できるわずか68種類の攻撃へと絞り込まれました。
次に、彼らはこれら68種類の「検知可能な」銀行攻撃を取り上げ、5つの一般的な訓練データセットがこれらの特定の脅威をどの程度カバーしているかを検証しました。その結果は、目を見張るものでした。UNSW-NB15というデータセットが最も優れており、重要な銀行攻撃の約82.2%をカバーしていることが分かりました。しかし、そこには落とし穴がありました。そのカバー率のうち、直接的な一致（ダイレクトマッチ）はわずか18.4%に過ぎなかったのです。残りは、火事なのかバーベキューなのか判別できないまま煙だけを見ているような、漠然としたヒントに過ぎませんでした。一方で、テストによく使われるCIC-DDoS2019というデータセットは、銀行セキュリティにとって悲惨な状況でした。このデータセットは、中核となる銀行の挙動の89.9%を見逃しており、巨大な盲点を残していました。このデータセットは、大規模で派手なDoS攻撃（サービス拒否攻撃）を検知することには長けていますが、金を盗むための巧妙で多段階的なトリックに対しては、全く役に立たないことが判明したのです。
本論文は、こうした古い、一般的なデータセットに依存することは、銀行に「偽りの安心感」を与えることになると示唆しています。セキュリティシステムが一般的なテストで高いスコアを獲得したとしても、それが、現実のハッカーがSWIFT送金を操作したり、ATMをジャックしようとしたりする際に機能するとは限りません。著者たちは、銀行に特化した、銀行独自の言語やプロトコルを含む新しい訓練データが緊急に必要であると結論付けています。それまでは、デジタルの警備員たちは一般的な泥棒を見つけることには非常に長けているかもしれませんが、世界の金融システムを脅かすような洗練された強盗に対しては、不意を突かれてしまう可能性が高いのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。