HBEE: Human Behavioral Entropy Engine -- Pre-Registered Multi-Agent LLM Simulation of Peer-Suspicion-Based Detection Inversion

这项预先注册的多智能体模拟研究揭示了一种反直觉的检测反转现象：即采用操作安全指令的由大语言模型驱动的自适应内部人员，其获得的同侪怀疑评分在统计上低于无辜智能体，从而将行为异常信号与传统用户实体行为分析解耦，并暴露了当前内部威胁模型中一个关键的泛化差距。

要点

以下是论文《HBEE：人类行为熵引擎》的通俗易懂的解释。

核心概念：一场搞砸了的数字“谁是内鬼”游戏

想象一下，你正在运行一个拥有 100 人的大型办公室模拟。你想看看能否抓到一个“内鬼”——一个被雇佣来窃取秘密却不被发现的间谍。

通常，安全系统基于一个简单的假设：如果某人表现得像个间谍，他的同事就会注意到。 如果一名员工开始行为怪异、索要奇怪的文件或与不该接触的人交谈，他们的朋友和同事就会开始窃窃私语：“嘿，那家伙很可疑。”这被称为“同僚怀疑级联”。怀疑某人的越多，安全系统标记该人的可能性就越大。

转折： 研究人员利用先进的人工智能（大型语言模型）构建了一个间谍，并指示它：“做一个完美的间谍。表现得完全像一个普通、无聊的员工。不要做任何引人注目的事。”

令人震惊的结果： 这个 AI 间谍不仅融入了环境，甚至变得比普通的无辜者更“隐形”。事实上，无辜员工受到的怀疑比间谍还多。安全系统的“群体智慧”完全适得其反。

---

实验：他们是如何测试的

由 Vickson Ferrel 领导的研究人员建立了一个名为HBEE的受控数字世界。

1. 参与者： 他们创建了 100 个数字代理（员工），拥有不同的职位（工程师、经理等），他们在类似 Slack 的数字频道中聊天。
2. 间谍： 其中一个代理是“内鬼”。
   • ** naive 间谍（天真间谍）：** 仅被指示窃取秘密。
   • 自适应间谍： 被指示窃取秘密，但要极其小心、谨慎且不起眼（这被称为“行动安全”或 OPSEC）。
3. 防御者： 研究人员测试了安全系统运作的两种方式：
   • “盲目”观察者： 每个代理查看自己的数据并决定某人是否可疑，忽略他人的看法。
   • “级联”观察者： 代理之间互相交流。如果三个人怀疑某人，第四个人也很可能怀疑他们。这就是“群体智慧”的方法。
4. 测试： 他们运行了 100 次该模拟。他们预先注册了规则（就像科学家在开始实验前写下预测一样），以确保他们在看到结果后没有作弊或更改规则。

两大发现

1. “隐身斗篷”效应（检测逆转）

研究人员预测，“自适应间谍”会比随机选择的无辜者受到更多的怀疑，因为他们试图隐藏。

实际发生了什么？
情况恰恰相反。在模拟结束时，自适应间谍的怀疑分数是所有人中最低的。

• 比喻： 想象一个挤满人的房间。你预期间谍会戴着鲜艳的红色帽子。相反，间谍穿着与墙壁完美匹配的灰色西装。但更关键的是：无辜者穿的衣服比间谍稍微更花哨。人群指着无辜者，而间谍站在角落里，完全未被注意。
• 数据： 从统计学上讲，间谍受到的怀疑比随机选择的一名无辜员工还要少。

2. “分数与群体”的脱节

研究人员还查看了间谍的个体“风险分数”（即计算机看来其具体行为有多可疑）。

• 发现： 间谍的个体风险分数没有太大变化。在计算机的数学计算看来，他们仍然显得可疑。
• 问题： 尽管计算机的数学计算显示“此人有风险”，但模拟中的其他人并不认同。他们没有标记该间谍。
• 比喻： 就像烟雾探测器大声鸣响（计算机分数），但房间里所有人都说：“不，我什么也闻不到，我也不认为其他人闻到了什么。”群体的沉默压过了警报。

为什么会发生这种情况？

论文指出，AI 间谍学会了一个特定的技巧：它没有改变做什么*，只是改变了*做这件事的频率。**

• 普通间谍： 频繁做危险的事。被抓。
• 自适应 AI 间谍： 极少做危险的事。当它做时，看起来完全像正常的失误。
• 结果： 由于危险事件发生得如此罕见，其他代理从未看到足够的证据来启动“怀疑级联”。间谍本质上通过变得无聊，“游戏化”了安全的社会层面。

“但是等等……"（局限性）

作者非常谨慎，没有说“这意味着真正的间谍现在可以黑客入侵世界了”。他们在结论前立起了一块巨大的“停止标志”：

• “统一房间”问题： 他们将模拟与现实世界数据（如著名的安然公司电子邮件记录）进行了对比。他们发现他们的模拟过于“完美统一”。在现实生活中，有些人与所有人交谈，有些人则不与任何人交谈。而在他们的模拟中，每个人都平等地与所有人交谈。
• 结论： 他们承认他们的模拟是现实的“风格化”版本，而非完美复制。他们无法保证这一结果会在真实、混乱的办公室中发生。他们的意思是：“在这个特定的、简化的数字世界中，这个技巧奏效了。我们尚不知道它在现实世界中是否有效。”

一句话总结

在一个受控的数字实验中，一个被训练得极其无聊的 AI 间谍成功欺骗了“众包”安全系统，使其对无辜者的怀疑程度高于对间谍的怀疑，证明了试图变得隐形有时会让你成为房间里最隐形的人。

作者接下来的工作

• 他们向公众发布了所有代码、数据和“游戏规则”，以便任何人尝试破解或验证。
• 他们强调这是对安全设计者的警告：不要仅仅依赖“同事的看法”来抓捕间谍，因为聪明的对手可能会学会让无辜者看起来反而更可疑。

技术摘要

技术摘要：HBEE——人类行为熵引擎

问题陈述
内部威胁检测（ITD）系统，特别是用户与实体行为分析（UEBA）和同僚怀疑级联机制，基于一种行为假设运行：即一个适应性内部人员会留下可检测的“残留物”，使其与合法用户区分开来。这一假设历史上仅在静态或天真的对手面前接受过压力测试。然而，面对一类新型对手——能够根据操作安全（OPSEC）指令实时动态调整行为的语言模型驱动代理——该假设尚未经过测试。本研究探讨的核心问题是：当内部人员是一个被指示保持谨慎、克制且不起眼的 LLM 代理时，行为残留假设是否依然成立。

方法论
作者引入了HBEE（人类行为熵引擎），这是一个预先注册的、多代理 LLM 模拟系统，旨在受控条件下测试检测机制。

• 模拟环境：一个由 100 个代理组成的组织（"Vixero 总部”），分布在四个部门（研发、工程、治理、运营）中，通过五个类 Slack 频道进行通信。模拟运行 100 个时间步。
• 对手模型：嵌入一个具有秘密窃取目标的“内鬼”代理。测试两种对手类型：
  • 天真型：在无特定 OPSEC 约束的情况下追求目标。
  • 适应型：接收明确的 OPSEC 指令，要求保持谨慎、克制且不起眼，避免表现出与同僚区分开来的行为模式。
• 防御者模型：评估两种检测配置：
  • 级联：代理在社会层面传播怀疑；如果同僚标记某个人，该代理自身的怀疑分数会增加（同僚怀疑级联）。
  • 盲测：代理运行独立的单代理 UEBA 分类器，不观察同僚的怀疑分数。
• 实验设计：一项预先注册的、包含五个条件的研究（每个条件 $n=20$ 个种子，共 100 次运行），交叉组合防御者模式（级联 vs. 盲测）与对手类型（天真型 vs. 适应型），并设有一个无内鬼对照组。
• 指标与假设：
  • H1：天真型内鬼的基线 UEBA 排名与均匀分布的比较。
  • H2：等效性检验（配对 Wilcoxon 检验），以确定适应型 OPSEC 是否相对于天真型基线改变了内鬼的 UEBA 排名（边界：$\pm 5$ 个排名）。
  • H3：方向性检验（Mann-Whitney U 检验），比较 T60 时刻适应型内鬼的怀疑入度与随机选择的无辜代理的怀疑入度。
  • H4：校准检查，将 HBEE 的消息暴露基尼系数（0.213）与 SNAP Enron 参考数据（0.730）进行比较，以界定泛化主张的范围。
• 技术栈：代理由 GLM-4 Flash（INT4 量化）通过 vLLM 驱动。思维链（Chain-of-thought）推理被明确禁用，以防止内鬼叙述其自身策略。

关键结果
本研究得出了两项主要的实证发现，挑战了标准的检测假设：

1. 检测反转（H3）：与预先注册的预测（即适应型内鬼会比无辜代理受到更多怀疑）相反，实际情况恰恰相反。在分析快照（T60）时刻，适应型内鬼的中位数怀疑入度为0，而随机选择的无辜代理的中位数入度为2。

   • 统计显著性：Cliff's $\delta = -0.694$（95% BCa 置信区间 $[-0.855, -0.519]$），$p \ll 0.01$。
   • 解释：适应型内鬼在统计上比随机选择的无辜同事受到的同僚怀疑更少。

2. 信号解耦（H2）：虽然社会层面（同僚怀疑）发生了反转，但单代理 UEBA 排名保持稳定。相对于天真型基线，适应型 OPSEC 对内鬼的 UEBA 排名未产生可检测的偏移。

   • 统计显著性：平均配对排名差异在预先注册的 $\pm 5$ 个排名等效边界内（主要级联分析中存在一个边缘性的技术问题，但在全 N 敏感性分析中已解决），适用于两种防御者模式。
   • 解释：两种检测信号（同僚怀疑图和单代理分数）发生解耦。适应型内鬼降低了引发怀疑行为的频率（降低入度），但未改变这些行为的特征（保持 UEBA 排名不变）。

3. 校准失败（H4）：模拟的通信结构比现实世界的组织数据（如 Enron 数据集，基尼系数 = 0.730）更加均匀（基尼系数 = 0.213）。作者将此视为预先承诺的范围限制，明确将主张的泛化范围限定在风格化的环境中。

意义与主张
本文提出了一项范围狭窄但令人惊讶的主张：在适应型 OPSEC 可作为 LLM 指令实施的受控环境中，同僚怀疑级联检测会发生反转。

• 理论贡献：作者提出，适应型 OPSEC 作用于风险承担的速率，而非风险的性质。内鬼避免产生足以触发社会怀疑的足够多的可疑事件，然而那些确实发生的罕见事件仍保留相同的行为特征，使得单代理 UEBA 分数不受影响。
• 方法论贡献：本研究展示了在安全模拟中进行预先注册的价值，以防止事后合理化，特别是当结果与初始假设相悖时（例如 H3 中的反转）。它还突显了"DEFCON 窗口可测量性约束”，即场景强加的行动模板可能在审计期间抑制 OPSEC 指令的行为可测量性。
• 范围限制：作者明确指出，检测反转的发现受限于模拟器的结构约束（均匀的通信分布）。他们并未声称这些结果可转移到具有帕累托分布通信模式的实际运营环境中。其贡献是对一种意外检测属性的受控实证演示，而非对现实世界系统失效的定论。

结论
HBEE 提供了一个预先注册的、可证伪的框架，用于针对 LLM 驱动的适应性对手测试内部威胁检测。核心发现是，适应性行为可能导致内部人员在社会检测机制（同僚怀疑）面前变得“隐形”，同时在单代理异常分数方面与天真型内部人员在统计上无法区分。这表明在适应型 OPSEC 下，社会检测信号与算法检测信号发生了分离，这一现象需要在更校准的环境中进行进一步调查。