OrgForge-IT: 大規模言語モデル（LLM）向け内部脅威検出の検証可能な合成ベンチマーク

論文概要（Flynt, 2026）

本論文は、LLM ベースの内部脅威検出システムを評価するための新しい合成ベンチマーク「OrgForge-IT」を提案するものです。既存のベンチマーク（特に CERT データセット）が抱える「事実性の不整合」や「多面的な行動テレメトリの欠如」といった課題を解決し、決定論的なシミュレーションエンジンと LLM を組み合わせたアーキテクチャにより、厳密なグランドトゥルース（正解）を保証するデータセットと評価フレームワークを提供しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

内部脅威の検出は、単一の信号ではなく、時間的・文脈的に分散した複数のシグナル（Slack の感情変化、異常な認証、データ持ち出しの痕跡など）を相関させる高度な推論タスクです。しかし、現在の評価環境には以下の重大な課題がありました。

• 既存ベンチマーク（CERT データセット）の限界:
  • 外部の事実制約なしに生成されたため、異なるアーティファクト間（例：Slack の記録と JIRA タスクの時刻）に矛盾が生じる可能性がある。
  • 静的であり、新しい組織構成や脅威プロファイルでの再生成が不可能。
  • LLM 時代以前のデータであり、現代の企業環境（Slack, JIRA, コードリポジトリ等）のテレメトリを網羅していない。
• LLM 生成データの課題:
  • LLM だけでデータ生成を行う場合、ハルシネーション（幻覚）により、事実に基づかない矛盾が生じやすく、信頼性の高い評価基準として機能しない。

2. 手法：OrgForge-IT のアーキテクチャ

OrgForge-IT は、「物理・認知の境界（Physics-Cognition Boundary）」というアーキテクチャ的アプローチを採用しています。

• 決定論的シミュレーションエンジン（Python）:
  • すべての事実状態（システム状態、チームの士気、個人ごとのストレス、組織図、イベントの真実）を管理します。
  • 内部脅威の行動（データ持ち出し、権限昇格など）はこのエンジンによって決定論的に注入されます。
• LLM 生成レイヤー:
  • LLM は事実状態を変更せず、表面の文章（プロース）のみを生成します。
  • 例：エンジンが「3 時にファイルコピーが発生した」という事実を決定し、LLM はそれを「3 時の Slack メッセージ」や「JIRA 記録」として自然言語化します。
  • この分離により、アーティファクト間の矛盾が構造的に排除され、「検証可能なグランドトゥルース」が保証されます。

データセットの特性:

• 規模: 51 日間のシミュレーション、2,904 件の観測記録。
• ノイズ率: 96.4%（真の脅威は 106 件、ノイズは 2,798 件）。
• 脅威クラス: 3 種類（不注意、不満を持つ、悪意のある）。
• 4 つの検出シナリオ:
  1. ゴーストログイン: 認証成功後の活動がないという「不在」を検知するタスク。
  2. ビジング（Vishing）: 電話攻撃後に被害者のアカウントで認証が行われる。攻撃者と被害者の分離が鍵。
  3. ホストデータホーディング: 3 段階にわたるデータ持ち出し（コピー→圧縮→クラウド転送）。単一日のウィンドウでは検出不可。
  4. 信頼構築型社会工学: 初期の benign な接触と、数日後の攻撃の相関。

3. 評価パイプラインとスコアリング

10 種類の LLM に対して、3 段階の評価パイプラインを実施しました。

1. ステージ 1（ベースライン較正）: 脅威発生前のクリーンなデータに対する誤検知（False Positive）率を測定。
2. ステージ 2（トライアージ）: 7 日間のスライドウィンドウで信号を監視し、2 つのシグナルが揃った場合に疑わしい人物をエスカレート。
3. ステージ 3（相関と判決）: エスカレートされた人物の全履歴を分析し、構造化された JSON 形式で「無罪」「疑わしい」「脅威」という判決を下す。

主要な評価指標:

• トライアージ F1 スコア: どの人物を疑うべきかの選別精度。
• 判決 F1 スコア: 最終的な脅威判定の精度。
• ベースライン誤検知率（Base FP Rate）: クリーンなデータに対する誤ったエスカレーションの割合（運用上の実用性を決める重要指標）。
• 被害者帰属（Victim Attribution）: ビジング攻撃において、被害者（アカウント所有者）を正しく「無罪」と判断できるか。

4. 結果と発見

10 種類のモデル（Devstral 2, Claude Opus, Llama 3.3/4, Mistral, DeepSeek など）の評価結果から、以下の 4 つの重要な発見が得られました。

① トリアージと判決の乖離（Dissociation）

• 8 つのモデルがトライアージ F1 = 0.80（同程度の選別能力）を達成しましたが、判決 F1 は 1.0（Tier A）と 0.80（Tier B）に二極化しました。
• 単に「怪しい人物」を拾う能力（トライアージ）と、「誰が犯人か、誰が被害者か」を正しく判断する能力（判決）は、異なるスキルセットであることを示しています。

② ベースライン誤検知率の重要性

• 判決 F1 が同じ（0.80）でも、ベースライン誤検知率はモデル間で 2 桁以上異なりました。
• 例：DeepSeek は誤検知率が 0.021 だが、Llama 3.3 70B は 0.813（48 人の無実の従業員のうち 39 人を誤って疑う）でした。
• 高い判決精度を持っていても、誤検知が多すぎるモデルは運用上「検知システム」ではなく「レビューシステム」として機能しないため、実用性は否定されます。

③ 被害者帰属能力によるティアの分離

• Tier A（Devstral 2 123B, Claude Opus 4.6）: ビジング攻撃において、被害者（Chris）のアカウントに異常な認証があったとしても、その人物の通常の行動パターン（デバイス、MFA 方法）と比較し、「これは攻撃者の乗っ取りであり、Chris は無実だ」と正しく推論しました。
• Tier B（その他 8 モデル）: 攻撃を検知しつつも、被害者を「疑わしい」または「脅威」と誤判定しました。これは、異常なセッションと通常セッションの同時存在を「矛盾」として解釈できず、アカウント所有者を犯人とみなす推論エラーです。

④ プロンプト感度と語彙ハルシネーション

• 構造化されていないプロンプト（v2 natural）を使用すると、モデルが意味的には正しいが、評価基準となる用語（Taxonomy）と一致しないラベルを生成する「語彙ハルシネーション」が発生しました。
• 例：「ホストデータホーディング」を「データ収集とアーカイブ作成」と記述すると、厳密な一致評価では 0 点となります。
• Tier A モデルは、ラベルが異なっても論理（被害者の無罪判断）は維持しましたが、Tier B モデルはプロンプト構造の変化により、ビジング検知そのものを失うなど、推論の安定性が低かったです。

5. 主要な貢献

1. 検証可能な合成ベンチマーク: 決定論的エンジンによるグランドトゥルース保証により、アーティファクト間の矛盾を排除した初の内部脅威ベンチマーク。
2. 多面的な検出シナリオ: 単一表面・単一日の検出戦略を破る 4 つのシナリオ（ゴーストログイン、ビジング、多段階データ持ち出し、信頼構築）の導入。
3. IDP 認証ログサブシステム: 現実的な SSO ベースラインと、ゴーストログインやデバイス異常を検知可能なシナリオの実装。
4. 多形式 SIEM エクスポート: JSONL, CEF, ECS, LEEF 形式での出力により、Splunk や Elastic などの既存 SIEM への直接導入を可能に。
5. 新しい評価指標の提案: 判決 F1 だけでなく、ベースライン誤検知率を必須指標として提示。また、**「被害者帰属」**をモデル能力を分ける決定的な指標として特定。
6. オープンソース化: シミュレーションフレームワーク、データセット、評価ハarness（eval insider threat.py）を MIT ライセンスで公開。

6. 意義と結論

OrgForge-IT は、LLM ベースのセキュリティオペレーション（SOC）評価における新たな基準を確立しました。

• 実用性の重視: 単なる検出精度だけでなく、運用コスト（誤検知）を考慮した評価の必要性を浮き彫りにしました。
• 推論能力の解像度: 「攻撃を検知する」ことと「文脈を理解して犯人と被害者を区別する」ことの間には、モデルの規模やアーキテクチャ（特にエージェント型最適化と大規模コンテキスト）に依存する明確なギャップがあることを示しました。
• 評価手法の進化: 厳密な一致評価の限界を指摘し、意味的類似性を考慮した「2 つのトラック（厳密一致＋意味評価）」によるスコアリングの必要性を提唱しています。

本ベンチマークは、LLM が企業内の複雑な行動パターンを分析し、誤検知を最小化しながら真の脅威を特定する能力を、再現性高く検証するための基盤を提供します。