論文要約：SoK: Honeypots & LLMs, More Than the Sum of Their Parts?

（要約：SoK：ハニーポットと LLM、それらの合計以上のものか？）

この論文は、大規模言語モデル（LLM）を統合したハニーポット（罠システム）に関する最初の体系的な知識の体系化（Systematization of Knowledge: SoK）です。著者らは、従来のハニーポットが抱える「高忠実度（本物らしさ）」と「低リスク・低運用コスト」の間の矛盾を、LLM が解決する可能性があるという期待と、現実の展開における課題を分析し、この新興分野の現状、課題、そして将来の研究方向を提示しています。

1. 背景と問題定義

背景

• ハニーポットのジレンマ: 従来のハニーポットは、「低インタラクション型（安全だが検知されやすく、単純）」と「高インタラクション型（本物に近いがリスクとコストが高い）」の間に存在するトレードオフに悩まされてきました。
• LLM の登場: 2022 年末以降、LLM が自然言語やコード、シェル操作を生成する能力により、低インタラクション型のハニーポットに動的で適応的な振る舞いを付与し、このジレンマを解決できる「銀の弾丸」として期待されました。

問題点

• 研究の断片化: 多くの研究が並行して行われており、相互参照や標準化された評価基準が不足しています。
• 実用性の限界: 現実世界での展開では、LLM によるシミュレーションの効果が限定的であり、攻撃者によるハニーポットの検知（指紋認証）を回避できていないケースが多いです。
• 評価の欠如: どのようなアーキテクチャが有効か、どのように評価すべきかという共通理解が欠けています。

2. 手法とアプローチ

著者らは、以下の 3 つの主要な研究領域を横断的に調査・分析しました。

1. ハニーポット検知ベクトルの分類: 攻撃者がハニーポットを特定する 4 つの主要な手法を整理し、LLM シミュレーションがどの程度対応可能かを分析しました。
2. LLM 搭載ハニーポットの文献統合: 既存の研究を統合し、標準的なアーキテクチャ、評価基準、攻撃者モデルを定義しました。
3. ログ分析からインテリジェンス生成への進化: ハニーポットログの分析が、単なるデータ削減から、LLM を活用した自動化された脅威インテリジェンス生成へとどう発展しているかを追跡しました。

3. 主要な貢献と知見

3.1 ハニーポット検知ベクトルの体系化

攻撃者がハニーポットを特定する 4 つのベクトルを特定し、LLM の限界を明確にしました（Table 1 参照）。

1. コンテンツとネットワーク姿勢: デフォルト設定、不自然なサービス、ファイルシステムの内容など。LLM はコンテンツ生成には役立ちますが、ポートや TCP/IP スタックの挙動自体は隠せません。
2. 出力と振る舞い: 応答のタイミング、不自然な統計データ（例：top コマンドの出力が更新されないなど）。LLM は文脈に応じた応答はできますが、リアルタイムな時間的忠実度（Temporal Fidelity）の再現は困難です。
3. 機能的制限: 外部接続の失敗、ファイルのダウンロード実行の欠如、インタラクティブなアプリ（vim など）の動作不全。LLM は「成功」をシミュレートできますが、実際のネットワークトラフィックやファイルシステム操作は行えません。
4. 多機能の合成: 機械学習を用いて複数の特徴量を組み合わせて検知する手法。LLM は特徴空間の複雑さを増しますが、静的なシグネチャを回避するだけで、根本的な検知を完全に防げるとは限りません。

3.2 LLM 搭載ハニーポットの標準アーキテクチャ

研究から導き出された「標準的なアーキテクチャ（Figure 1）」を定義しました。

• フィルタ/ルーター: スキャナーや DoS 攻撃をブロックし、LLM のコストを節約するため、単純なリクエストはキャッシュや決定論的レスポンスで処理し、複雑なリクエストのみ LLM に渡す。
• プロンプト作成と状態管理: システムの状態（セッション履歴、仮想環境の変化）を管理し、文脈を適切に LLM に提示する。
• LLM エンジン: 生成を行うコア部分。
• 課題: 現在、これらすべての機能を備えたオープンソースの包括的なアーキテクチャは存在せず、研究の再現性を阻害しています。

3.3 評価の体系化（Evaluation Tetrad）

ハニーポットの性能を評価するための 4 つの基準を提案しました。

1. 信憑性（Believability）: 人間や攻撃者が本物だと信じるか（人間による評価や意味的類似度）。
2. 忠実度（Fidelity）: 応答のタイミング、コマンド実行成功率、エラーメッセージの正確さ。
3. 攻撃者のコストとインテリジェンス: 攻撃セッションの長さ、引き出せる MITRE ATT&CK 技術の多様性。
4. 防御者のコスト: トークン消費量、API レイテンシ、ハードウェアコスト。

3.4 攻撃者モデルの再定義（Trichotomy）

従来の「人間 vs ボット」という二分法ではなく、以下の 3 つの階層を提案しました。

• Tier 1: スクリプトボット: 単純なスキャン。LLM は過剰コストであり、静的なハニーポットで十分。
• Tier 2: 自律型 LLM エージェント（主要なターゲット）: 推論、ツール使用、戦略適応が可能な AI 攻撃者。これに対抗するには、高忠実度で一貫性のある LLM ハニーポットが必要であり、最も研究の価値が高い領域です。
• Tier 3: 熟練した人間: LLM だけでは不十分で、高インタラクション型の実システムが必要。

3.5 脅威インテリジェンスの自動化

LLM を用いて、ハニーポットログから MITRE ATT&CK の TTPs（戦術・技術・手順）を自動的にマッピングする「意味的飛躍（Semantic Leap）」が可能になりつつあります。しかし、大規模なラベル付きデータセットの不足により、まだ概念実証（PoC）の段階です。

4. 結果と課題

• 「データの砂漠（Data Desert）」: 現実世界の展開では、高度な攻撃ではなく、単純なスキャンボットによるノイズが大半を占めています。これでは LLM ハニーポットの真価（高度な攻撃者との対峙）を評価できず、開発サイクルが停滞しています。
• 評価のパラドックス: 高度な LLM 化はコストがかかる一方、現在の攻撃データ（単純なスキャン）に対しては効果が限定的です。
• 技術的限界: vim のようなインタラクティブな操作や、外部ネットワークへの実際の接続（wget など）をシミュレートすることは、現在の LLM アーキテクチャでは本質的に困難です。

5. 将来の研究方向と意義

著者らは、以下のロードマップを提案しています。

1. 敵対的エコシステムの構築: LLM 搭載の攻撃者とハニーポットを対峙させる「動的な研究プラットフォーム」を作成し、高品質な攻撃データを生成し、評価基準を確立する。
2. 自律的・自己改善型ハニーポット:
   • 攻撃ラベル付けを自動化し、SOC（セキュリティ運用センター）にリアルタイムでインテリジェンスを供給する。
   • フィードバックループを通じて、ハニーポット自身が攻撃者の行動に合わせて再構成（再設定）を行う自律システムの実現。
3. アーキテクチャの進化:
   • 小規模言語モデル（SLM）や LoRA（低ランク適応）を用いた効率的なプロトコル別ファインチューニング。
   • REST/JSON API 向けハニーポットへの展開。
   • 非同期マルチエージェントフレームワークの導入。

論文の意義

この論文は、単に「LLM でハニーポットをより本物らしくする」という技術的な進歩だけでなく、**「LLM 搭載の自律型攻撃者という新たな脅威に対抗するための、自律的・自己改善型の防御システム」**というパラダイムシフトを提唱しています。
LLM とハニーポットの融合は、単なる「より良い偽装」ではなく、AI 同士の対決（AI vs AI）という新たなセキュリティ戦域を開く可能性を秘めており、そのための基礎的な枠組みと研究指針を提供した点に大きな意義があります。