OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora

本文介绍了 OrgForge，一个开源的多智能体模拟框架，它通过确定性引擎维护事件真相总线并约束大语言模型仅生成表面文本，从而构建出具备严格时间因果一致性、可验证且包含 Slack、JIRA 等多源异构数据的合成企业语料库，以解决现有数据集在法律模糊性和事实幻觉方面的缺陷。

要点

这篇文章介绍了一个名为 OrgForge 的新工具，它的核心目的是为人工智能（AI）创建一个完美的“模拟职场”来考试。

想象一下，你想测试一个 AI 助手能不能像人类员工一样处理复杂的公司事务（比如查邮件、找文档、理清时间线）。如果你用真实的邮件和文档来测试，会有两个大问题：

1. 隐私和法律风险：真实的商业数据不能随便给 AI 看。
2. 事实混乱：如果你让 AI 自己编造这些文档，它很容易“精神分裂”——比如上午的邮件说“服务器坏了”，下午的工单却说“服务器正常”。这种自相矛盾会让测试结果毫无意义。

OrgForge 就是为了解决这个问题而生的。 它不像普通 AI 那样“自由发挥”，而是像一位严谨的导演，先写好剧本，再让演员（AI）去表演。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心理念：导演与演员的分离

OrgForge 把“事实”和“说话”彻底分开了：

• 导演（确定性引擎）：这是一个用 Python 写的“物理引擎”。它掌管所有事实：谁在值班、几点几分出了故障、谁负责修、心情好不好。它像是一个绝对公正的裁判，手里拿着一个不可篡改的“真理账本”（SimEvent 日志）。
• 演员（大语言模型）：AI 只负责写台词。它根据导演给的“事实提示”，去写 Slack 消息、Jira 工单、邮件等。
• 比喻：这就好比拍电影。导演（引擎）规定：“现在 10 点，主角 A 必须很生气，因为服务器挂了。”演员（AI）负责把这句话写得像真的一样（“天哪！服务器又挂了！”）。演员不能改剧本，如果演员想写“服务器没挂”，导演会直接喊“卡！”，因为这与事实不符。

2. 三大“职场魔法”机制

为了让这个模拟的职场看起来像真的，OrgForge 设计了三个自动运行的规则：

• 压力传染（像病毒一样）：
  • 如果一个关键员工（比如技术大牛）压力爆表（Burnout），他的压力会像病毒一样传染给和他关系好的人。
  • 比喻：就像办公室里，如果那个最忙的人崩溃了，他周围帮忙的人也会觉得累。系统会自动计算这种“情绪传染”，让模拟更真实。
• 关系网动态变化（像水温一样）：
  • 同事之间的关系不是固定的。如果两个人一起修过 Bug，关系就变好（权重增加）；如果很久没说话，关系就变淡（权重衰减）。
  • 比喻：就像人际关系网，经常一起“并肩作战”的人关系更铁，不常联系的人就慢慢生疏了。
• 升级路由（像快递分拣）：
  • 当发生严重事故时，系统会自动计算“谁该负责”。它不是随机找人，而是像快递分拣一样，沿着关系网最强的路径，把问题一步步“升级”给更高级别的人。
  • 比喻：就像你修电脑找不到人，先问同事，不行问组长，再不行问总监。系统会自动算出这条“最快路径”。

3. 时间线的“绝对真理”

这是 OrgForge 最厉害的地方之一。

• 问题：以前的模拟工具，写邮件和写工单是分开生成的，经常会出现“工单说故障发生在 9 点，但回复邮件的时间却是 8 点”这种穿越时空的 bug。
• OrgForge 的解法：它给每个员工都配了一个独立的“个人时钟”。
  • 比喻：就像每个人手腕上都有一个精准的秒表。只有当一个人真正“做完”一件事，他的时间才会往前走。系统强制保证：回复邮件的时间永远晚于收到邮件的时间。这消除了所有时间线上的逻辑漏洞。

4. 制造“噪音”：真实的职场不只有工作

真实的职场充满了无意义的闲聊、午餐八卦和被打断的时刻。

• OrgForge 会故意制造一些**“良性噪音”**：比如工程师在 Slack 上聊周末去哪玩，或者被临时拉去开会。
• 目的：这就像在清澈的水里滴入几滴墨水。如果 AI 能在这种充满干扰的信息流中，依然精准地找到那个“真正的故障报告”，那它才是真正聪明的。

5. 考试系统：如何给 AI 打分？

OrgForge 不仅生成数据，还自带一套自动阅卷系统：

• 出题：系统会根据生成的“真理账本”自动生成问题。比如：“周二下午 3 点，谁负责那个故障？”或者“这封客户投诉邮件最后有人处理了吗？”
• 阅卷：
  • 如果 AI 答对了，给满分。
  • 如果 AI 找对了文档但没答对结论，给部分分数。
  • 如果 AI 连文档都没找到，给零分。
• 对比测试：作者还拿这个系统测试了两种常见的搜索方法（关键词搜索 vs. 语义搜索），发现对于这种复杂的职场逻辑，简单的关键词搜索有时候反而比“聪明”的语义搜索更管用，这给未来的 AI 研究指明了方向。

总结

OrgForge 就像是一个“职场模拟器”，但它不是用来玩游戏的，而是用来给 AI 做“高考”的。

它通过**“导演管事实，演员管说话”的严格分工，创造了一个没有谎言、时间线完美、逻辑自洽**的虚拟公司。在这个公司里，AI 必须学会在充满噪音和复杂人际关系的环境中，像侦探一样理清真相。

这对于未来让 AI 真正进入企业工作（比如自动处理客服、自动分析项目进度）至关重要，因为它提供了一个可验证的、安全的、完美的测试场。

技术摘要

OrgForge：可验证的合成企业语料库技术总结

1. 研究背景与问题定义

背景：
检索增强生成（RAG）已成为企业大语言模型（LLM）应用的主要部署模式，但其评估基础设施滞后于实际部署需求。现有的评估基准（如基于维基百科的静态语料）无法捕捉真实企业知识库的核心特性：跨系统文档引用、随时间演变的事实、以及跨多种工件（Artifact）类型（如 Slack、JIRA、Git、邮件）同时留下的事件痕迹。

现有方案的局限性：

• 真实数据集（如 Enron 语料库）： 存在法律风险、人口统计学偏差，且缺乏结构化的“事实真相（Ground Truth）”，难以验证 RAG 系统是否检索到了正确的事实。
• 纯 LLM 生成的合成数据： 虽然解决了法律问题，但引入了更隐蔽的缺陷。生成模型无法防止在不同文档间产生自相矛盾的“幻觉”（例如，Slack 线程称服务在凌晨 3 点中断，而 JIRA 工单却记录为上午 9 点）。这种内部不一致性会无声地破坏 RAG 评估的有效性。

核心问题：
如何构建一个可验证的、具有时间结构且跨工件一致的合成企业语料库，使其既能模拟真实的企业沟通复杂性，又能提供绝对的“事实真相”以用于严格评估？

---

2. 方法论：OrgForge 架构

OrgForge 是一个开源的多智能体模拟框架，其核心创新在于严格分离“事实控制”与“散文生成”。

2.1 核心架构：M = (S, P, V, E)

系统形式化定义为四元组，确保 LLM 仅负责表面文本生成，而所有事实由确定性引擎控制：

• S (State, 状态)： 可变的模拟变量（系统健康度、团队士气、工程师压力值、工单状态等）。
• P (Planners, 规划者)： 基于 LLM 的部门智能体，观察状态并生成结构化的 JSON 提案（如“计划举行黑客松”），但不能直接修改状态或写入日志。
• V (Validator, 验证器)： 确定性函数，在生成任何文本前，将 LLM 的提案与当前状态 $S$ 和事件日志 $E$ 进行比对。只有符合逻辑、状态允许（如系统健康度低时禁止庆祝）且角色存在的提案才会被通过。
• E (Events, 事件)： SimEvent 地面真相总线。所有通过验证的动作都会生成一个结构化的 SimEvent 记录并持久化到 MongoDB。这是唯一的权威事实来源。

2.2 关键子系统与机制

1. 图动力学系统 (Graph Dynamics)：

   • 压力传播 (Stress Propagation)： 基于介数中心性（Betweenness Centrality）计算关键人物，将压力从“过劳”的关键人物按比例传播给同事。
   • 时间边权衰减与强化： 关系强度随时间衰减，但通过协作（如共同处理事故、代码审查）增强。
   • Dijkstra 升级路由： 将事故升级建模为图上的最短路径问题（基于关系强度的逆权重），模拟事故如何沿着最强的沟通链路升级。

2. 因果时间戳一致性 (Actor-Local Clock)：

   • 为每个员工维护独立的“时间光标”。
   • 通过 advance_actor（并行工作）和 sync_and_tick（因果链同步）原语生成时间戳。
   • 效果： 彻底消除了传统合成数据中常见的“时间旅行”错误（如回复早于触发），确保跨工件（Slack -> JIRA -> 邮件）的时间线在因果上是单调递增的。

3. 多工件生成与因果链追踪：

   • 生成 Slack 线程、JIRA 工单、Confluence 页面、Git PR、邮件和服务器日志。
   • CausalChainHandler： 为每个事故累积有序的工件 ID 列表，形成完整的证据链。
   • 外部邮件引擎： 模拟供应商警报、客户投诉和 HR 邮件。包含概率性丢弃模拟（部分邮件无后续处理），用于评估 RAG 系统对“缺失证据”的检测能力。

4. 环境社会中断模型：

   • 引入非任务驱动的“良性噪声”（如茶水间闲聊、非阻塞性 Slack 消息），模拟真实企业沟通中的注意力分散，使评估更贴近现实。

---

3. 主要贡献

1. 架构创新： 提出了 $M=(S, P, V, E)$ 架构，通过验证器（Validator）将 LLM 的“认知层”限制在“物理层”（状态机）之内，从根源上杜绝了合成语料中的事实幻觉。
2. 形式化机制： 定义了三个图动力学机制（压力传播、边权衰减、Dijkstra 升级），在不依赖 LLM 的情况下确定性驱动组织行为。
3. 因果时间一致性： 设计了基于 Actor 本地时钟的机制，解决了跨文档时间戳不一致的长期难题。
4. 评估流水线： 提供了一套完整的评估工具链，包括：
   • 8 种问题类型： 涵盖检索、因果推理、时间推理、缺口检测（Gap Detection）、路由、计划、升级和知识缺口。
   • 确定性评分： 基于证据链的 Jaccard 重叠度和答案正确性进行加权评分。
   • 基准测试： 自动运行 BM25 和稠密检索（Dense Retrieval）基线。
5. 开源与可复现： 代码和语料库生成工具已开源，支持通过配置图表、角色定义和随机种子来复现实验。

---

4. 实验结果

研究团队运行了一个为期 22 个工作日（约 30 个日历日）、包含 43 名虚拟员工的模拟，生成了 1,079 个文档和 83 个评估问题。

4.1 检索基线表现

• BM25 (关键词检索)： 在大多数问题上表现优于稠密检索，特别是在 CAUSAL (因果) 问题上（MRR@10 = 0.54），因为事故复盘文档中的术语与问题高度匹配。
• Dense Retrieval (稠密检索，Stella 1.5B)： 整体表现低于 BM25 (MRR@10 = 0.20 vs 0.28)。仅在 RETRIEVAL (检索) 问题上略胜一筹，表明在大规模语料中语义相似度对开放性问题更有效。
• 共同弱点： 两种方法在 PLAN (计划) 和 ESCALATION (升级) 问题上得分均为 0。这表明基于关键词或简单向量相似度的检索无法解决需要多跳推理或理解复杂升级链路的任务。
• 时间推理 (TEMPORAL)： 两种方法得分极低，证实了缺乏证据的推理（Absence-of-evidence reasoning）是现有检索系统的盲区。

4.2 成本分析

• 一次完整模拟耗时约 3 小时，消耗约 5 亿输入 Token 和 3.5 亿输出 Token。
• 按当时价格计算，总成本约为 $285.30。

---

5. 意义与未来展望

学术与工程意义：

• 填补评估空白： OrgForge 提供了首个具备可验证事实真相、时间结构和跨工件一致性的企业级 RAG 评估基准。
• 重新定义合成数据： 证明了通过“事实控制与文本生成分离”的架构，可以生成既逼真又内部一致的合成数据，解决了纯 LLM 生成数据的根本缺陷。
• 揭示现有系统局限： 实验表明，当前的检索系统（无论是 BM25 还是向量检索）在处理多跳推理、时间推理和“缺失信息”检测方面存在显著短板，为未来的 Agentic RAG 系统指明了优化方向。

未来工作：

• 端到端 RAG 代理评估： 测试完整的“检索 + 生成”管道在基准上的表现。
• 跨组织模拟： 扩展外部邮件引擎，模拟供应商和客户之间的双向状态交互。
• 历史语料生成： 将模型应用于历史行政记录（如中世纪行会记录）的合成与评估。
• 插件架构： 支持更多企业通信工具（如 Zoom 转录、Zendesk 工单）的集成。

总结：
OrgForge 不仅是一个数据集生成工具，更是一套严谨的评估方法论。它通过引入确定性状态机和因果时间戳，为 RAG 系统的评估建立了一个“可验证的实验室”，使得研究人员能够精确测量系统在复杂、动态且充满噪声的企业环境中的真实能力。