💻 computer science

Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

この論文は、クラウドやコンテナ技術の進展を背景に、強化学習と大規模言語モデル（LLM）を融合させることで、従来の手動依存型や高コストな欺瞞手法を克服し、動的かつ費用対効果の高いネットワークおよびデバイスレベルのサイバー欺瞞戦略を構築し、OT システムに対するステルス攻撃への有効性を検証する AI 駆動のアプローチを概説しています。

原著者： Abhijeet Sahu, Shuva Paul, Richard Macwan

公開日 2026-03-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abhijeet Sahu, Shuva Paul, Richard Macwan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🏰 物語の舞台：お城（重要インフラ）と泥棒（ハッカー）

想像してください。電力会社や発電所のような重要な施設は、**「お城」です。
一方、ハッカーは「泥棒」**です。

従来の守り方（壁と警備員）：
昔は、お城の壁を高くし、警備員（ファイアウォールやウイルス対策ソフト）を配置して、「泥棒が入ってこないように」していました。
しかし、泥棒は非常に賢く、壁を乗り越えたり、警備員をだましたりして、お城の中に忍び込んでしまいます。一度中に入ると、お城のどこに宝物（重要なデータや制御装置）があるか探り始めます。
問題点：
お城の守り手（防御側）は、泥棒が侵入したことに気づくのに時間がかかりますが、泥棒はゆっくりと探りを入れることができます。この「時間差」が致命傷になります。

🎭 新しい戦術：「ごまかし」の芝居（サイバー・ディセプション）

この論文が提案するのは、**「泥棒を本物だと思い込ませる、完璧な芝居」**です。

お城の守り手は、泥棒が入ってきたら、すぐに捕まえるのではなく、**「あえて道案内をして、偽物の宝物庫（ハニープット）へ誘導する」**作戦に出ます。

1. 道案内役：AI 将棋の達人（強化学習：RL）

まず、お城の廊下（ネットワーク）を動かす**「AI 将棋の達人」**がいます。

役割： 泥棒が「宝物庫」の方へ進もうとすると、AI が瞬時に廊下を曲げたり、扉を変えたりして、**「偽物の宝物庫（ハニープット）」**へと誘導します。
学習： 泥棒が「あ、ここは違うな」と気づかないように、AI は何度も試行錯誤して、最も効果的な誘導ルートを学びます。

2. 芝居役：天才俳優（大規模言語モデル：LLM）

誘導された先にある「偽物の宝物庫」には、**「天才俳優（AI）」**が待っています。

役割： この俳優は、泥棒が「ここは本物の制御室だ！」と疑わないように、完璧な演技をします。
- 泥棒が「スイッチの状況は？」と聞けば、本物の機械と同じように答えます。
- 泥棒が「ログを見せて」と言えば、本物の履歴を再現します。
進化： 従来の偽物は「決まった台詞」しか言えなかったため、すぐにバレていました。でも、この**「天才俳優（LLM）」**は、泥棒の反応に合わせて、その場に応じた自然な返事を即座に作り出せます。まるで本物と見分けがつかないほどです。

🤝 二人のチームワーク：「道案内」と「演技」の融合

この論文のすごいところは、**「道案内役（AI 将棋）」と「演技役（天才俳優）」**が、お互いに協力して戦っている点です。

演技が上手くなると： 泥棒が偽物に気づかない時間が長くなります。
道案内が上手くなる： 泥棒が偽物に引き寄せられる確率が上がります。
結果： 泥棒は、本物の宝物（実際の発電所制御システム）に手を出す前に、偽物の部屋で時間を浪費し、守り手が「捕まえる準備」をする時間を稼げます。

🎯 なぜこれが重要なのか？

コストの逆転： 泥棒は、偽物を探り続けるために、お金と時間を大量に使わされます。一方、守り手は、AI が自動で芝居をしているだけなので、コストはかかりません。
リアルタイムな対応： 従来の偽物は「マニュアル通り」でしたが、このシステムは AI がリアルタイムで「泥棒の性格」を読み取り、対応を変えます。まるで、泥棒の会話に反応して、その場限りの嘘をつく天才詐欺師のようです。

🚀 今後の展望

現在は、シミュレーション（ゲームのような仮想空間）でこの戦術をテストしています。
今後は、**「本物の発電所のネットワーク」**でも、この AI たちが活躍できるように、より高速で正確なシステムを作ろうとしています。

まとめ

この論文は、**「AI 将棋の達人」が泥棒を「偽物の部屋」へ誘導し、「天才俳優 AI」がそこで完璧な「本物そっくりの演技」**を披露することで、ハッカーを騙し、重要な社会インフラを守る新しい方法を紹介しています。

「壁を高くする」のではなく、「泥棒をだまして、時間を稼がせる」。それが、この論文が提案する、賢くてクリエイティブなセキュリティの未来です。

論文技術サマリー：競合環境における RL と LLM を用いたネットワークおよびデバイスレベルのサイバー欺瞞

1. 概要

本論文は、運用技術（OT）環境、特に電力系統の制御に使用される分散型ネットワークプロトコル 3（DNP3）を対象とした、高度なサイバー欺瞞（Cyber Deception）手法を提案しています。従来の静的なハニーポットや単純な IP アドレスのランダム化では、熟練した攻撃者による検知や回避が容易であるという課題に対し、**強化学習（RL）と大規模言語モデル（LLM）**を融合させた階層的なアプローチを採用しています。この手法は、ネットワークレベルでのトラフィック誘導と、ホストレベルでのプロトコル準拠の応答生成を協調させることで、攻撃者のリソース消費を増大させ、防御側の優位性を確立することを目指しています。

2. 問題定義と背景

2.1 課題

攻撃者と防御者の非対称性: 攻撃者は長期間偵察や横移動を行えるが、防御者は短時間で検知・対応しなければならない。
OT 環境の特殊性: 従来の IT 環境向けの欺瞞手法（SSH や HTTP 用ハニーポット等）は、OT プロトコル（DNP3 など）が要求する厳密なタイミング制約、状態一貫性、決定論的な動作を維持できず、検知されやすい。
既存手法の限界: 既存の RL 適用例は、シミュレーションベースのルーティングや低インタラクションなハニーポットに留まっており、プロトコルを理解したホストエミュレーションや、より強力な攻撃者モデル（MITM 攻撃など）への評価が不足している。

2.2 脅威モデル

攻撃者はネットワーク内に初期足場を確保し、DNP3 マスターと RTU（遠隔端末装置）の間で**中間者（MITM）**として動作していることを想定。
攻撃者の能力：DNP3 ポリングトラフィックの受動的監視、測定値の能動的クエリ、悪意のある制御コマンドの注入、レスポンスのタイミングや構造に基づく指紋認証。
防御者の目的：攻撃者のトラフィックをハニーポット RTU へ誘導し、実機の侵害を防ぐと同時に、プロトコル整合性と時間的妥当性を保ちながら攻撃者の行動を遅延・観察すること。

3. 提案手法：階層的 RL-LLM 欺瞞アーキテクチャ

提案システムは、ネットワーク制御層とホストエミュレーション層の 2 つの主要コンポーネントから構成される。

3.1 ネットワーク制御層（RL ベース）

目的: 攻撃者の探査トラフィックを実際の RTU ではなく、ハニーポット RTU へ動的に再ルーティングする。
アプローチ: マルチエージェント強化学習（MARL）を採用。各ルーターが独立したエージェントとして動作し、局所的な観測（パケットドロップ率、インターフェース利用率、疑わしいトラフィック指標など）に基づいてルーティング方針を学習する。
報酬設計:
- サイバー報酬: ハニーポットへの到達率の最大化、実 RTU への到達のペナルティ、ネットワーク劣化の最小化。
- 物理報酬: 重要な負荷バスの復旧状況に基づき、物理システムへのダメージを考慮。
- 結合報酬: 両者の目標達成状態に基づいて調整され、部分的な成功に対する過剰な報酬を防止する。

3.2 ホストエミュレーション層（LLM ベース）

目的: 攻撃者の DNP3 クエリに対して、現実的な RTU の挙動を模倣したプロトコル準拠の応答を生成する。
技術: 構造化されたプロンプト条件付けと RAG（Retrieval-Augmented Generation）を用いて、LLM に RTU の「人格（Personality）」や文脈（セキュリティポリシー、アクセス制限など）を注入。
制約と検証:
- LLM の非決定論的な出力を制御し、プロトコル構造（DNP3 構造）の整合性を保証。
- 応答のタイミング（ジッター）を許容範囲内に収める。
- 評価指標: 生成された応答の精度を「パープレキシティ（Perplexity）」スコアで測定し、これを RL の報酬関数にフィードバックする（ $P_{dec}$ ）。

3.3 双方向フィードバックループ

LLM → RL: 生成された応答のリアルさ（ $P_{dec}$ ）がサイバー報酬を調整し、LLM の精度が低い場合、そのノードへのトラフィック誘導を RL エージェントが回避するように学習する。
RL → LLM: ルーティング決定により変化するトラフィック分布や攻撃パターンを LLM の知識ベース（RAG データストア）に反映させ、将来の応答の整合性を向上させる。

4. 主要な貢献

形式的な RL フレームワークの定義: 境界付き複合報酬設計を備えた、単一およびマルチエージェント RL による適応型ネットワークレベル欺瞞の確立。
プロトコル対応型 LLM ハニーポット: DNP3 のタイミング制約と状態意味論を保持する、世界初のプロトコル対応型 LLM 駆動ハニーポットの実装。
統合アーキテクチャ: ネットワークレベル（ルーティング）とホストレベル（応答生成）の欺瞞を協調させる RL-LLM 複合アーキテクチャの提案。
実用性の分析: 実時間 OT 環境における計算オーバーヘッドと展開に関する考察。

5. 実験結果と分析

IEEE 123 バス系統モデルを基盤とした競合環境で評価を実施。

RL 単独のパフォーマンス:
- 単一エージェント（A2C, PPO）と比較して、マルチエージェント（PettingZoo 環境）の方が、より短いエピソード長で目標達成（ハニーポット誘導）に成功し、報酬も安定した。
- ネットワーク混雑（パケットドロップ）シナリオにおいても、PPO や正規化アドバンテージを用いた A2C が有効であった。
物理システム統合（Cyber-Physical）:
- 物理モデル（IEEE 123 バス）を統合した環境では、RL 単独よりも LLM を組み合わせたアプローチ（RL + LLM）が、エピソード長を短縮し、報酬を早期に安定させることが確認された。
LLM の精度向上:
- パーソナリティファイルの反復更新と RAG を用いることで、LLM の生成する DNP3 応答のパープレキシティが低下（精度向上）し、 $P_{dec}$ （欺瞞確率）が 0.06 から 0.9 まで向上した。
- 高精度な LLM 応答は、RL エージェントがより効果的なルーティング戦略を学習するのを促進した。

6. 意義と将来展望

学術的意義: OT 環境における「生成 AI（LLM）」と「強化学習（RL）」の統合を初めて体系的に実証し、プロトコル制約下での動的な欺瞞戦略の有効性を示した。
実用的意義: 攻撃者の偵察時間を延ばし、物理的被害を未然に防ぐための新たな防御パラダイムを提供。特に、DNP3 のようなレガシーで脆弱なプロトコルを持つ重要インフラの保護に寄与する。
今後の課題:
- 学習時間の短縮と、シミュレーション環境（OpenAI Gym）から実環境・高忠実度エミュレーション（NREL Cyber Range, Minimega, HELICS）への転移（Sim-to-Real Transfer）の検討。
- 異種アクション空間（Heterogeneous Action Space）に対応したマルチエージェント学習の拡張。
- LLM の微調整（Fine-tuning）や重み内学習（In-weight learning）によるさらなる適応性の向上。

本論文は、AI を活用した次世代の OT セキュリティ防御において、攻撃者のコストを最大化し、防御者の意思決定を支援する画期的なアプローチを示しています。