✨ 要点🔬 技术摘要
这篇论文介绍了一个名为 OrgForge-IT 的新工具，它就像是为“人工智能侦探”（大语言模型）量身定做的一场高难度模拟演习 ，用来测试它们能否在海量数据中揪出“内鬼”。
为了让你轻松理解，我们可以把这篇论文的内容想象成一场**“超级侦探训练营”**。
1. 为什么要搞这个训练营？（背景与痛点）
以前的侦探训练（比如著名的 CERT 数据集）有两个大问题：
剧本太老： 那是几年前的剧本，现在的公司都用 Slack 聊天、Jira 工单，老剧本里没有这些新场景。逻辑不通： 以前的剧本是 AI 瞎编的，经常出现“早上 3 点在 Slack 说开会，下午 9 点工单却说没开过会”这种自相矛盾的情况。这就像让侦探去解一个本身就有漏洞的谜题，没法真正考验水平。
OrgForge-IT 的解决方案：
核心逻辑（物理引擎）： 由一个死板的计算机程序决定“谁在什么时候做了什么”，保证所有事实绝对真实、绝不矛盾。表面文章（AI 生成）： 只有具体的“台词”（比如 Slack 消息的具体措辞、邮件的标题）才由 AI 生成。比喻： 就像导演（物理引擎）规定“主角必须在 3 点偷东西”，但让演员（AI）自己决定是用中文说还是英文说，是用愤怒的语气还是冷漠的语气。这样，无论演员怎么演，“偷东西”这个事实是铁板钉钉的 ，不会出现逻辑 bug。
2. 演习考什么？（四大难关）
这次演习设计了四个专门用来“坑”普通侦探的关卡，目的是测试 AI 能不能跨时间、跨线索 思考，而不是只看眼前的一点点信息：
“幽灵登录”关： 有人登录了系统，但之后什么都没做。
难点： 侦探必须学会**“没发生的事也是证据”**。如果一个人登录了却没干活，这本身就是可疑的。
“钓鱼电话”关（Vishing）： 坏人给员工 A 打电话骗了密码，然后用 A 的账号登录。
难点： 很多 AI 会误以为“员工 A 是坏人”。但真正的侦探要能看出：A 是受害者，打电话的那个才是坏人。 这需要把“电话记录”和“登录记录”跨人关联起来。
“三天偷货”关： 坏人分三天行动：第一天复制文件，第二天打包压缩，第三天上传云端。
难点： 如果侦探只看“今天”的数据，会觉得这很正常。只有把三天连起来看 ，才能发现这是一个完整的偷窃链条。
“温水煮青蛙”关： 坏人先假装友好地认识员工，几天后再下手。
难点： 侦探要有长期记忆 ，能把几天前的“友好接触”和今天的“攻击行为”联系起来。
3. 演习结果如何？（十大模型大比拼）
作者找了 10 个不同的 AI 模型来当“侦探”，结果发现了一个有趣的现象：
第一层：抓嫌疑人（Triage） 第二层：定案判决（Verdict） 两个梯队 ：
Tier A（神探组）： 只有 2 个模型（Devstral 和 Opus）能拿满分。它们不仅能发现坏人，还能精准地洗清无辜者（受害者 A）的冤屈 ，指出“他是被利用的，不是坏人”。Tier B（普通组）： 其他 8 个模型虽然也能发现坏人，但分不清谁是受害者 。它们看到“受害者 A 的账号登录了”，就判定"A 是坏人”，导致误抓好人。
最关键的发现：
有的模型像**“神探”**，只抓 3 个嫌疑人，其中 2 个是真的坏人。
有的模型像**“疯狗”**，为了抓那 2 个坏人，把公司里 40 个无辜员工都抓起来审问。
结论： 在安全领域，**“不冤枉好人”**比“抓到坏人”更重要。如果误报太多，保安系统就废了。
4. 为什么有的 AI 会“翻车”？（提示词与词汇幻觉）
作者还发现了一个有趣的现象：AI 的“说话方式”会影响得分。
官方考题： 如果题目要求用标准的“犯罪术语”（比如“数据外泄”），AI 就能得分。自由发挥题： 如果题目让 AI 用大白话描述，AI 虽然心里明白 发生了什么（推理能力没问题），但它会发明一些奇怪的词 （比如“半夜偷偷摸摸复制文件”），导致系统判定它“没答对”，因为它没用标准术语。比喻： 就像学生做数学题，心里算对了，但把“加法”写成了“凑数”，老师（评分系统）就给他打零分。这说明现在的评分系统太死板，只认“标准答案”，不认“正确逻辑”。
5. 总结：这篇论文告诉我们什么？
新标准： 以前测 AI 看它能不能“猜对”，现在要测它能不能在复杂、矛盾、跨时间的数据中理清逻辑 。新发现： 很多 AI 能发现异常，但分不清“受害者”和“加害者” ，这是目前最大的短板。新指标： 评价安全 AI 不能只看“抓了多少坏人”，必须看**“抓错了多少好人”**。误报率太高，系统就没法用。开源共享： 这个“训练营”的所有剧本、数据和评分工具都是免费公开 的，全世界的开发者都可以来测试自己的 AI 侦探，看看谁才是真正的“神探”。
一句话总结： 逻辑严密、绝不矛盾的“内鬼模拟游戏” ，测试发现：现在的 AI 侦探虽然能**“看见”异常，但很多还 “想不通”谁是真凶、谁是受害者；而且， “不冤枉好人”**才是检验安全 AI 是否合格的终极标准。
OrgForge-IT：基于 LLM 的内部威胁检测可验证合成基准
技术摘要
本文介绍了 OrgForge-IT ，这是一个专为大型语言模型（LLM）驱动的内部威胁检测而设计的可验证合成基准（Verifiable Synthetic Benchmark） 。针对现有基准（如 CERT 数据集）存在的跨工件矛盾、缺乏多表面相关性以及无法生成新配置实例等局限性，OrgForge-IT 提出了一种全新的架构，通过确定性模拟引擎确保事实真相（Ground Truth）的绝对一致性。
1. 研究背景与问题定义
内部威胁检测是一个典型的多信号推理问题，涉及跨时间、跨类型（如 Slack 消息、身份提供商日志、主机事件等）的行为痕迹关联。然而，现有的评估面临以下核心挑战：
事实一致性缺失 ：现有的合成数据集（如 CERT）通常由 LLM 直接生成，缺乏外部事实约束，导致不同工件（如 Slack 线程与 JIRA 工单）之间可能存在时间或内容上的矛盾，无法作为可靠的评估基准。场景覆盖不足 ：现有数据集缺乏身份提供商（IDP）异常、多阶段数据窃取、社会工程学攻击（如鱼叉式网络钓鱼、语音钓鱼）等现代企业环境中的关键场景。评估维度单一 ：传统评估往往只关注检测召回率，忽略了误报率（False Positive Rate）和判决归因（Verdict Attribution）的准确性。
2. 方法论：物理 - 认知边界架构
OrgForge-IT 的核心创新在于其**物理 - 认知边界（Physics-Cognition Boundary）**架构设计：
确定性引擎（物理层） ：一个确定性的 Python 引擎维护所有事实状态（系统健康、员工压力、社交图谱、SimEvent 总线）。它生成所有底层事实数据（如时间戳、设备指纹、IP 地址、行为类型），并生成不可篡改的“真相文件”（Ground Truth）。LLM 生成层（认知层） ：语言模型仅作为“表面文本渲染器”。它们接收经过验证的提案（Validated Proposals），仅负责生成自然语言文本（如 Slack 消息内容、邮件正文），无法 直接写入事件日志或修改状态。优势 ：这种架构从物理上消除了跨工件矛盾的可能性（例如，不可能出现 Slack 记录为凌晨 3 点而 JIRA 记录为上午 9 点的同一事件），确保了基准的可验证性。
数据集特性
规模 ：51 天的模拟时间，包含 2,904 条可观测记录。噪声率 ：96.4%（2,798 条良性记录 vs 106 条真实威胁记录），模拟真实企业环境的高噪声挑战。威胁主体 ：3 名内部威胁者，分为三类：疏忽型（Negligent）、不满型（Disgruntled）、恶意型（Malicious）。注入行为 ：8 种可注入行为，覆盖 5 种工件表面（PR、Slack、邮件、Confluence、主机事件、IDP 日志等）。
四大检测场景（旨在击败单表面/单日策略）
幽灵登录（Ghost Logins） ：IDP 认证成功但无下游活动，需通过“未发生的事件”进行推理。语音钓鱼（Vishing） ：电话记录后，攻击者使用受害者账户进行认证。需跨用户进行时间窗口关联，单用户排查无法发现。三阶段主机数据囤积 ：跨连续三天的“复制 - 压缩 - 外传”链条，需跨天重建完整轨迹。信任建立型社会工程学 ： benign 的初次接触与后续攻击之间存在时间间隔，需跨事件记忆。
3. 评估管道与指标
评估流程分为三个阶段：
基线校准 ：在威胁发生前的清洁数据上运行，建立误报基线。分级与凭证扫描 ：使用 7 天滑动窗口和“双信号升级阈值”检测多阶段行为；同时并行扫描单表面致命事件（如明文凭证）。关联与判决 ：针对升级的嫌疑人，Tier 2 调查员代理分析完整时间线，输出结构化 JSON 判决（包括员工姓名、判决类别、行为证据、置信度）。
关键指标 ：
分级 F1 (Triage F1) ：衡量将嫌疑人升级的准确性。判决 F1 (Verdict F1) ：衡量最终判决（无辜/可疑/威胁）的准确性。基线误报率 (Baseline FP Rate) ：在清洁数据上错误升级无辜员工的比例（关键操作指标 ）。特定能力 ：语音钓鱼检测（Vishing Detected）、主机轨迹重建（Host Trail Reconstructed）。
4. 实验结果与发现
研究对 10 个主流模型（包括 Devstral, Claude, Mistral, Llama, Qwen 等）进行了评估，得出以下核心发现：
A. 分级能力与判决能力的解耦 (Triage/Verdict Dissociation)
8 个模型在分级阶段 表现一致（F1 = 0.80），均能识别出威胁信号。
但在判决阶段 ，模型分化为两个梯队：
Tier A (Devstral 2 123B, Claude Opus 4.6)：判决 F1 = 1.0，完美识别并归因。Tier B (其余 8 个模型)：判决 F1 = 0.80，虽然检测到攻击，但在归因上出现错误。
B. 基线误报率是操作可行性的决定性因素
在判决准确率相同的情况下，模型在基线误报率 上差异巨大（跨越两个数量级）。
例如，DeepSeek v3.2 的基线误报率为 0.021（仅 1 个误报），而 Llama 3.3 70B 高达 0.813（41 个误报）。
结论 ：仅看判决 F1 会掩盖操作风险。高误报率的模型即使判决准确，也会因审查成本过高而失去实用价值。
C. 受害者归因（Victim Attribution）是 Tier A 与 Tier B 的分水岭
在**语音钓鱼（Vishing）**场景中，所有模型都能检测到攻击事件。
Tier B 模型 错误地将受害者（Chris）标记为“可疑”或“威胁”，因为他们只看到了受害者账户上的异常登录，未能结合上下文（如受害者当天的正常活动、设备指纹不匹配）进行推理。Tier A 模型 能够进行跨会话推理 ：识别出异常会话（macOS/TOTP/住宅 IP）与受害者正常画像（iOS/推送/公司 IP）的不一致性，从而正确判定受害者无辜，攻击者为外部人员。这一能力是区分模型推理深度的关键。
D. 提示词敏感性与词汇幻觉
使用非结构化提示词（v2 natural）会导致词汇幻觉（Vocabulary Hallucination） ：模型能正确推理，但生成的行为标签不符合标准分类法（如将"host data hoarding"描述为"data exfiltration via cloud"），导致在严格匹配评分下得分为零。
这一现象在所有模型（包括 Tier A）中均存在，表明当前评估框架需要引入“语义评分”轨道。
5. 主要贡献与意义
首个可验证的合成基准 ：通过“物理 - 认知边界”架构，彻底解决了合成数据中跨工件矛盾的问题，为 LLM 安全评估提供了事实真相保证。重新定义评估指标 ：证明了基线误报率 必须与判决 F1 并列作为核心指标；揭示了受害者归因 是高级推理能力的试金石。场景创新 ：引入了 CERT 数据集中缺失的 IDP 异常、多阶段数据窃取和复杂的社会工程学场景，迫使模型进行跨表面、跨时间的推理。开源与可扩展性 ：
提供完整的模拟框架、数据集和评估代码（MIT 协议）。
支持多种 SIEM 格式（JSONL, CEF, ECS, LEEF），可直接集成到 Splunk、Elastic 等主流安全平台。
提出了双轨评分框架 （精确匹配 + 语义相似性）的建议，以解决词汇幻觉带来的评估偏差。
6. 结论
OrgForge-IT 不仅是一个数据集，更是一套验证 LLM 在复杂安全运营（SOC）任务中推理能力的完整方法论。研究表明，当前的 LLM 在检测信号方面已具备一定能力，但在多步归因推理 和低误报操作 方面仍存在显著差距。该基准为未来构建更可靠、可解释的内部威胁检测系统提供了必要的评估工具和理论依据。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。