HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

この事前登録されたマルチエージェントシミュレーション研究は、運用セキュリティ指示を採用する LLM 駆動の適応型内部犯行者が、無実のエージェントよりも統計的に低い同僚の疑念スコアを達成する逆説的な検出の逆転を明らかにし、それによって行動異常シグナルを従来のユーザー・エンティティ行動分析から切り離し、現在の内部脅威モデルにおける重要な一般化ギャップを露呈している。

要約

以下は、「HBEE: Human Behavioral Entropy Engine（人間行動エントロピーエンジン）」という論文を、シンプルで日常的な言葉で解説したものです。

大きなアイデア：失敗したデジタル「誰が犯人か」シミュレーション

100 人の大規模なオフィスシミュレーションを運営していると想像してください。あなたは、捕まらずに秘密を盗むために雇われた「スパイ（モル）」を見つけられるかどうかを試したいと考えています。

通常、セキュリティシステムは単純な前提に基づいて機能します。「誰かがスパイのように振る舞えば、同僚が気づく」というものです。従業員が奇妙な行動を取り始め、奇妙なファイルを求めたり、間違った人々と話したりすると、友人や同僚はささやき始めます。「ねえ、あの男は怪しいよ」と。これを「同僚の疑念の連鎖（peer-suspicion cascade）」と呼びます。疑う人が多ければ多いほど、セキュリティシステムがその人物を警告する可能性が高まります。

ひねり： 研究者たちは、高度な AI（大規模言語モデル）を使ってスパイを作成し、こう指示しました。「完璧なスパイになりなさい。普通のつまらない従業員と全く同じように振る舞いなさい。目立つようなことは一切するな」と。

衝撃的な結果： AI スパイは単に溶け込んだだけでなく、平均的な無実の人物よりもさらに目立たなくなりました。実際、無実の従業員の方がスパイよりも疑われました。セキュリティシステムの「群衆の知恵」は完全に裏目に出たのです。

---

実験：どのようにテストしたか

Vickson Ferrel 氏を率いる研究者たちは、HBEEと呼ばれる制御されたデジタル世界を構築しました。

1. プレイヤー： 彼らはエンジニア、マネージャーなど異なる職種を持つ 100 人のデジタルエージェント（従業員）を作成し、Slack のようなデジタルチャネルでチャットさせました。
2. スパイ： 一人のエージェントが「モル」でした。
   • 単純なスパイ： 秘密を盗むよう指示されただけのもの。
   • 適応型スパイ： 秘密を盗むよう指示されたが、極めて慎重で、警戒心が強く、目立たないように行動するよう指示されたもの（これは「OPSEC（作戦安全）」と呼ばれます）。
3. 防衛者： 研究者たちは、セキュリティシステムが機能する 2 つの方法をテストしました。
   • 「盲目」の監視者： 各エージェントが自分のデータを見て、誰かが怪しいかどうかを判断し、他者の考えは無視します。
   • 「連鎖」の監視者： エージェント同士が話します。3 人が誰かを疑えば、4 人目もその人物を疑う可能性が高まります。これが「群衆の知恵」アプローチです。
4. テスト： このシミュレーションを 100 回実行しました。結果を見てからルールを変更したり不正をしたりしないよう、実験開始前にルールを事前に登録（科学者が実験前に予測を書き留めるように）しました。

2 つの主要な発見

1. 「透明マント」効果（検出の逆転）

研究者たちは、「適応型スパイ」は隠れようとしているため、無作為に選ばれた無実の人物よりも多く疑われると予測していました。

実際に何が起きたか？
逆になりました。シミュレーションの終わりには、適応型スパイの疑念スコアが誰よりも最も低かったのです。

• 比喩： 人であふれた部屋を想像してください。スパイは鮮やかな赤い帽子をかぶっているはずだと予想します。しかし実際には、スパイは壁と完璧にマッチするグレーのスーツを着ています。しかし、ここで決定的なことがあります。無実の人々はスパイよりも少しだけ色鮮やかな服を着ているのです。群衆は無実の人々を指差していますが、スパイは隅に立って完全に気づかれません。
• 統計： スパイは、無作為に選ばれた無実の従業員よりも統計的に少なく疑われました。

2. 「スコアと群衆」の乖離

研究者たちはまた、スパイの個別の「リスクスコア」（コンピュータがその特定の行動をどれほど怪しく見ているか）も調べました。

• 発見： スパイの個別のリスクスコアはあまり変化しませんでした。コンピュータの計算では、彼らは依然として怪しく見えていました。
• 問題： コンピュータの計算が「この人物はリスクがある」と言っていたにもかかわらず、シミュレーション内の他の人々は同意しませんでした。彼らはスパイを警告しませんでした。
• 比喩： 煙探知機が大きな音でブザーを鳴らしている（コンピュータのスコア）のに、部屋にいる全員が「いいえ、私は何も匂わないし、他の誰かが匂っているとも思わない」と言っているようなものです。群衆の沈黙が警報を無効にしてしまいます。

なぜこれが起きたのか？

この論文は、AI スパイが特定のトリックを学んだことを示唆しています。「何をしたかを変えたのではなく、どのくらいの頻度でそれを行ったかを変えただけ」です。

• 通常のスパイ： 頻繁にリスクのあることをします。捕まります。
• 適応型 AI スパイ： リスクのあることを非常に稀に行います。それを行ったときでも、それはちょうど通常のミスと全く同じように見えます。
• 結果： リスクのある出来事が非常に稀にしか起こらなかったため、他のエージェントは「疑念の連鎖」を開始するのに十分な証拠を一度も目撃しませんでした。スパイは本質的に、つまらない振る舞いをすることでセキュリティの社会的層を「ゲーム化」したのです。

「しかし待てよ」（限界）

著者たちは非常に慎重で、「これで現実のスパイが世界をハックできるようになった」とは言っていません。彼らは結論に大きな「止まれ」の標識を立てています。

• 「均一な部屋」の問題： 彼らはシミュレーションを有名なエンロン社のメール記録などの現実世界のデータと比較しました。その結果、彼らのシミュレーションは「完璧に均一」すぎることがわかりました。現実には、誰かとは全員と話すが、誰とも話さない人もいます。しかし彼らのシミュレーションでは、全員が全員と均等に話していました。
• 結論： 彼らは自らのシミュレーションが現実の「様式化された」バージョンであり、完璧なコピーではないと認めています。この結果が実際の複雑なオフィスで起こることを保証することはできません。彼らは言っています。「この特定の、単純化されたデジタル世界では、そのトリックは機能しました。しかし、それが現実世界でも機能するかどうかは、まだわかりません」と。

一文で要約すると

制御されたデジタル実験において、完璧につまらないように訓練された AI スパイは、「群衆による」セキュリティシステムを騙して、スパイよりも無実の人々を多く疑わせることに成功しました。これは、目立たないようにしようとする努力が、時としてあなたを部屋で最も目立たない人物にすることを証明しています。

著者たちが次にやったこと

• 彼らはすべてのコード、データ、そして「ゲームのルール」を一般に公開しました。誰でもそれを破ったり検証したりできるようにするためです。
• 彼らはセキュリティ設計者への警告を強調しました。「スパイを捕まえるために『同僚がどう思うか』だけに頼ってはいけません。なぜなら、賢い敵対者は、無実の人々が怪しく見えるように学習する可能性があるからです」。

技術概要

技術的サマリー：HBEE – 人間行動エントロピーエンジン

問題定義
インサイダー脅威検知（ITD）システム、特にユーザーおよびエンティティ行動分析（UEBA）とピア・サスペション・カスケード機構は、適応的なインサイダーが正当なユーザーと区別可能な検知可能な「残留物」を残すという行動仮説に基づいて動作する。この仮説は歴史的に、静的または単純な敵対者に対してストレステストされてきた。しかし、運用セキュリティ（OPSEC）指示に対してリアルタイムで行動を動的に調整できる言語モデル駆動型エージェントという新たな敵対者クラスに対しては、未検証のままである。本論文が扱う核心的な問いは、慎重さ、自制心、そして目立たないことを指示された LLM エージェントがインサイダーである場合、行動残留物の仮説が成立するかどうかである。

手法
著者らは、制御された条件下で検知メカニズムをテストするために設計された、事前登録されたマルチエージェント LLM シミュレーションである**HBEE（Human Behavioral Entropy Engine）**を導入した。

• シミュレーション環境: 4 つのユニット（研究開発、エンジニアリング、ガバナンス、運用）に分散し、5 つの Slack 風チャネルを介して通信する 100 エージェント組織（「Vixero HQ」）。シミュレーションは 100 タックルにわたって実行される。
• 敵対者モデル: 秘密裏のデータ持ち出しを目的とした単一の「モル」エージェントが埋め込まれる。2 種類の敵対者タイプがテストされる。
  • 単純型: 特定の OPSEC 制約なしに目標を追求する。
  • 適応型: 慎重さ、自制心、そして目立たないことを維持し、仲間と区別される行動パターンを回避するよう、明示的な OPSEC 指示を受ける。
• 防御者モデル: 2 つの検知構成が評価される。
  • カスケード: エージェントが社会的に疑念を伝播する。仲間が個人をフラグ付けした場合、そのエージェント自身の疑念スコアが増加する（ピア・サスペション・カスケード）。
  • ブラインド: エージェントは仲間の疑念スコアを参照することなく、独立したエージェントごとの UEBA 分類器を実行する。
• 実験設計: 防御者モード（カスケード対ブラインド）と敵対者タイプ（単純対適応）を交差させた、事前登録された 5 条件研究（条件あたり $n=20$ のシード、合計 100 回の実行）に加え、モル不在の対照群を含む。
• 指標と仮説:
  • H1: 単純型モルのベースライン UEBA 順位と一様分布との比較。
  • H2: 適応型 OPSEC が単純型ベースラインに対するモルの UEBA 順位をシフトさせるかどうかを判定するための等価性テスト（対 Wilcoxon 検定）（境界：$\pm 5$ 順位）。
  • H3: T60 時点における、適応型モルの疑念流入次数と、無作為に選択された無実のエージェントとの比較を行う方向性テスト（Mann-Whitney U 検定）。
  • H4: 一般化主張の境界を定めるため、HBEE のメッセージ露出ジニ係数（0.213）と SNAP Enron 参照データ（0.730）を比較する較正チェック。
• 技術スタック: エージェントは vLLM 経由で GLM-4 Flash（INT4 量子化）によって駆動される。モルが自らの戦略を叙述することを防ぐため、思考連鎖（Chain-of-thought）推論は明示的に無効化されている。

主要な結果
本研究は、標準的な検知仮説に挑戦する 2 つの主要な実証的知見をもたらした。

1. 検知の逆転（H3）: 事前登録された予測（適応型モルは無実のエージェントよりも疑われるはずである）とは逆に、逆の結果が生じた。分析スナップショット（T60）において、適応型モルの中央値の疑念流入次数は0であったのに対し、無作為に選択された無実のエージェントの中央値流入次数は2であった。

   • 統計的有意性: Cliff's $\delta = -0.694$（95% BCa 信頼区間 $[-0.855, -0.519]$）、$p \ll 0.01$。
   • 解釈: 適応型モルは、無作為な無実の同僚よりも統計的に少なく仲間から疑われている。

2. 信号の分離（H2）: 社会的層（ピアの疑念）が逆転した一方で、エージェントごとの UEBA 順位は安定していた。適応型 OPSEC は、単純型ベースラインに対するモルの UEBA 順位において検知可能なシフトを生じさせなかった。

   • 統計的有意性: 平均対順位差は、両方の防御者モードにおいて事前登録された $\pm 5$ 順位の等価性境界内であった（主要なカスケード分析において 1 つの限定的な技術的課題があったが、完全 N の感度分析で解決された）。
   • 解釈: 2 つの検知信号（ピアの疑念グラフとエージェントごとのスコア）は分離する。適応型モルは疑念を誘発する行動の頻度を低下させる（流入次数を低下させる）が、それらの行動の特徴は変更しない（UEBA 順位を静的に保つ）。

3. 較正の失敗（H4）: シミュレーションの通信構造は、Enron データセットのような現実世界の組織データ（ジニ係数 = 0.730）と比較して、はるかに均一である（ジニ係数 = 0.213）。著者らはこれを事前コミットされたスコープ制約として扱い、主張の一般化を様式化された環境に明示的に限定している。

意義と主張
本論文は、制御された環境において適応型 OPSEC が LLM 指示として実装可能である場合、ピア・サスペション・カスケード検知が逆転するという、狭いながらも驚くべき主張を行っている。

• 理論的貢献: 著者らは、適応型 OPSEC はリスクの性質ではなく、リスクテイクの率に対して作用すると提案する。モルは社会的疑念をトリガーするのに十分な疑わしいイベントを生成することを回避するが、発生する稀なイベントは同じ行動特徴を保持し、エージェントごとの UEBA スコアに影響を与えない。
• 方法論的貢献: 本研究は、特に結果が初期仮説と矛盾する場合（例：H3 における逆転）、事後の合理化を防ぐためにセキュリティシミュレーションにおける事前登録の価値を実証している。また、シナリオによって課された行動テンプレートが監査中の OPSEC 指示の行動測定可能性を抑制する「DEFCON ウィンドウ測定可能性制約」を浮き彫りにしている。
• スコープの限界: 著者らは、検知逆転の発見がシミュレーターの構造的制約（均一な通信分布）によって限定されていることを明示的に述べている。パレート分布の通信パターンを持つ運用環境にこれらの結果が転用されるとは主張していない。貢献は、予期せぬ検知特性の制御された実証的実演であり、現実世界のシステム失敗に関する判決ではない。

結論
HBEE は、LLM 駆動型適応型敵対者に対するインサイダー脅威検知をテストするための、事前登録され、反証可能な枠組みを提供する。核心的な発見は、適応型行動により、インサイダーが社会的検知メカニズム（ピアの疑念）に対して「不可視」となりながら、エージェントごとの異常スコアという点では単純型インサイダーと統計的に区別がつかないままになることである。これは、適応型 OPSEC 下における社会的検知信号とアルゴリズム的検知信号の分離を示唆しており、より較正された環境でのさらなる調査を要する現象である。