💻 computer science

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

本文介绍了OSCToM，这是一种由强化学习引导的方法，通过生成观察者与自我冲突的场景，显著提升了大语言模型的心理理论推理能力，在信息不对称的FANToM基准测试中达到了76%的准确率，而此前方法仅为0.2%。

原作者： Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一出复杂的戏剧，演员们窃窃私语地交换秘密、藏匿物品，并假装知道他们其实并不知晓的事情。如今的大多数人工智能模型就像观众，能够完美地复述台词，却在剧情发生转折时感到困惑。它们可能会想：“哦，那个演员正拿着一个红球”，而实际上，那个演员只是在假装拿着红球以欺骗他人。

本文介绍了OSCToM，一种教导人工智能理解这些棘手“心理游戏”的新方法。以下将借助简单的类比，解析其工作原理。

问题所在：“读心”能力的差距

当前的人工智能模型擅长撰写故事，但在心理理论（Theory of Mind）方面却表现挣扎。这是人类理解他人拥有与我们不同的思想、信念和知识的能力。

这就像玩“传话”游戏。如果我告诉你一个秘密，而你又对第三个人撒了谎，一个聪明的人工智能应该知道：

事实真相是什么。
你认为什么是真的。
第三个人认为什么是真的（即使他们是错的）。

过去对人工智能的测试就像简单的谜语。人工智能可以通过识别词语中的模式来猜出答案。但当故事变得复杂——例如，当一个观察者试图弄清楚另一个人对第三个人的秘密在想什么时——人工智能就会迷失方向。

解决方案：OSCTO（“冲突”训练器）

作者们创建了一个名为OSCToM（观察者 - 自我冲突心理理论）的系统。其核心理念是，在观察者内心信念与其认为他人所持信念相冲突的故事中训练人工智能。

类比：想象一部间谍电影。间谍（观察者）知道保险箱是空的。但间谍也知道，反派认为保险箱里装满了黄金。间谍必须表现得好像保险箱是满的，以此欺骗反派。OSCToM 训练人工智能处理这种特定的心理周旋。

构建方法：“电子游戏”式 approach

团队没有手动编写成千上万个故事，而是构建了一个“游戏引擎”来自动生成这些故事。

规则书（扩展的 DSL）：他们创建了一种特殊语言，充当游戏的规则书。它允许他们编程特定的“动作”，例如欺骗性定位（谎报物体位置）或单向镜（一个人看到了另一个人没看到的东西）。这使得他们能够构建包含多达四层“思考思考”的故事。
教练（代理模型）：通常，训练人工智能编写这些故事需要超级计算机来评估每一句话，这既缓慢又昂贵。相反，团队训练了六个微小、快速的“迷你教练”（小型人工智能模型）。这些教练快速检查故事：有谎言吗？思维深度足够吗？时间线是否令人困惑？ 这使得整个过程快了 6 倍。
玩家（强化学习）：他们使用了一个“玩家”人工智能（采用名为 DQN 的方法），反复进行游戏。它试图创造出最令人困惑、最棘手的故事，以愚弄测试模型。“迷你教练”因其使故事更具挑战性而给它加分。玩家由此学会创造完美的“烧脑”场景。
学生（两阶段训练）：最后，他们利用这些棘手的故事训练了一个标准人工智能模型（Llama-3.1-8B）。他们并没有一开始就给它最困难的故事。
- 第一阶段：他们教导它简单的谎言和基本的信念（就像孩子学习分享一样）。
- 第二阶段：一旦它掌握了基础，他们就引入了复杂的、多层面的间谍故事。

结果：小而强大

结果是一个名为OSCToM-8B的模型。尽管它比许多其他著名的人工智能模型更小，但其表现却非常出色：

FANToM 测试：在一项涉及信息不对称（角色知晓的信息不同）的困难测试中，之前的最佳方法（ExploreToM）的正确率仅为0.2%。而 OSCToM-8B 的正确率达到了76%。这是一个巨大的飞跃。
速度：旧方法就像试图逐一尝试每一块拼图来解谜（缓慢）。而 OSCToM-8B 就像看着盒子上的图片瞬间完成拼图。它在回答问题时的速度快了 5.7 倍。
效率：它仅用比那些大 3 到 4 倍的模型更少的计算资源（参数）就取得了这些成果。

核心结论

该论文声称，通过教导人工智能处理“观察者 - 自我冲突”（即你所知与你认为他人所知之间的冲突），并利用智能的自动化训练游戏，我们可以创造出更小、更快的人工智能模型，使它们在理解复杂的社会情境和欺骗行为方面表现得更好。

它未声称的内容：论文并未表示该人工智能现在可用于心理治疗、实时安全检测中的谎言识别，或理解人类情感（如爱或悲伤）。它严格专注于基于文本的场景中信念、知识和欺骗的逻辑。

技术摘要：OSCTOM——基于强化学习引导的高阶心智理论对抗性生成

1. 问题陈述

大型语言模型（LLM）在标准语言任务中表现出熟练度，但在心智理论（ToM）推理方面表现不一致，尤其是在涉及递归信念和信息不对称的复杂社会情境中。现有的基准测试（如 ExploreToM）往往无法充分测试观察者 - 自我冲突——这是一种特定的认知状态，即观察者将某种信念归因于另一个智能体，而该信念与观察者自身的内部事实知识相矛盾。

当前的局限性包括：

静态基准测试： 早期数据集（如 ToMi）依赖手工编写的短篇故事，模型可通过表面模式匹配而非真正的信念追踪来解决这些问题。
基于搜索的生成局限： 像 ExploreToM 这样的框架使用启发式 A*搜索与领域特定语言（DSL）。虽然这些方法在生成对抗性故事方面有效，但它们受限于僵硬的搜索空间，缺乏从经验中进行策略适应的能力，并且往往优先考虑信息量而非嵌套信念冲突的具体结构复杂性。
推理差距： 当任务结构发生微小变化时，模型往往会失败，这表明其缺乏对因果信念状态的稳定内部模型，特别是在多层级、递归场景（例如：智能体 A 推理智能体 B 关于智能体 C 意图的信念）中。

2. 方法论

OSCToM 框架通过一个旨在生成和训练高阶对抗性 ToM 场景的四组件管道来解决这些差距。

2.1 扩展领域特定语言（OSCT-DSL）

作者引入了OSCT-DSL，这是对现有 DSL 的扩展，能够形式化观察者 - 自我冲突。

形式化： 它定义了智能体的世界状态（ $W$ ）和信念状态（ $B$ ），支持高达4 阶的递归信念： $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$ 。
对抗性原语： 该语言包含特定的算子以打破信息对称性：
- 欺骗性定位： 一个智能体就位置撒谎，在另一个智能体中制造错误信念，同时保持其内部知识的真实性。
- 非对称观察： 一个智能体目睹了一个动作，而被观察方并未获得互惠的知识。
- 递归欺骗（双重欺骗）： 一个智能体操纵另一个智能体向第三方撒谎，在 1 阶 falsehood 之上叠加 3 阶信念。

2.2 组合式代理评估管道

为了克服在强化学习（RL）期间使用大型 LLM 进行奖励计算的计算成本，作者采用了组合式代理管道。

蒸馏： 将 Llama-3.3-70B 的知识蒸馏到六个轻量级DistilBERT模块中，这些模块在 10,000 个标注故事上进行训练。
六个认知维度： 奖励被分解为具体分数，而非单一标量：
1. 错误信念检测器： 二元有效性检查（ToM 必须存在）。
2. ToM 深度分类器： 估计递归阶数（1 阶至 4 阶）。
3. 欺骗评分器： 操纵性算子的密度。
4. 社会复杂性评分器： 智能体间通信的频率。
5. 时间复杂性评分器： 不同世界状态转换的数量。
6. OSCT 检测器： 专门识别观察者 - 自我冲突状态（最高奖励权重）。
效率： 这将每篇故事的评估时间从约 14 秒（LLM 查询）减少到<50 毫秒，从而能够合成包含 15,000 个样本的语料库。

2.3 强化学习引导的对抗性生成

故事生成过程被建模为马尔可夫决策过程（MDP）。

算法选择： 作者比较了 A2C、PPO 和深度 Q 网络（DQN）。选择 DQN 是因为其在 DSL 状态空间内学习离散符号转换方面具有卓越的稳定性，并且能够发现启发式搜索可能遗漏的 ToM 失败案例。
训练： DQN 代理优化复合奖励函数（ $R$ ），该函数高度加权于 OSCT 检测（40%）和 ToM 深度（30%）。
叙事增强： RL 代理生成的符号 DSL 轨迹通过 OpenRouter API 使用 Llama-3.3-70B 转换为自然散文，保留认知标记，如欺骗链和非线性时间排序。

2.4 两阶段课程微调

生成的数据集用于使用分阶段课程微调Llama-3.1-8B-Instruct，以确保高阶推理的稳定学习：

阶段 1（基础）： 在 1 阶和 2 阶 ToM 场景上进行训练，使模型扎根于基本的观点采择。
阶段 2（精通）： 在完整语料库上进行训练，包括 3 阶和 4 阶递归冲突，从阶段 1 的检查点初始化。
技术： 通过LoRA（秩 16，缩放因子 32）对所有投影层进行参数高效微调（PEFT），允许在单个 GPU 上进行训练。

3. 关键结果

生成的模型OSCToM-8B在四个基准测试中与七个基线系统（包括 Llama-3.1-8B、Mistral-NeMo-12B、Phi-3-Medium-14B 和 Qwen2.5 变体）进行了评估。

FANToM 基准测试（信息不对称）： OSCToM-8B 实现了**76.0%的准确率。这相对于 ExploreToM 基线（在同一基准测试上报告0.2%**的准确率）是一个巨大的改进。
ToMi 基准测试： OSCToM-8B 实现了**79.5%**的准确率，优于基础 Llama-3.1-8B（64.3%）和更大的模型如 Qwen2.5-32B（74.7%）。
BigToM 基准测试： 该模型达到了**89.8%**的准确率，尽管参数少 40 亿，但仍与 Mistral-NeMo-12B（90.5%）非常接近。
Hi-ToM 基准测试： OSCToM-8B 得分为65.3%，与 Phi-3-Medium-14B 持平，并显著优于 Gemma-2-27B（20.6%）。

推理效率：

与依赖 $O(N)$ 复杂度启发式 A*搜索且每次查询延迟约 15.0 秒的 ExploreToM 不同，OSCToM-8B 使用直接神经推理（ $O(1)$ 复杂度）。
测得的延迟为2.62 秒，响应时间减少了5.7 倍，同时保持了卓越的准确率。

4. 意义与主张

该论文声称，OSCToM 证明了针对性的对抗性数据合成结合课程学习可以使较小的模型（80 亿参数）在复杂的社会推理任务上优于显著更大的模型。

观察者 - 自我冲突： 这项工作识别并解决了当前 ToM 评估中的特定失败模式：无法区分观察者的内部知识与他们对他人的信念归因。
效率与规模： 该框架证明，如果训练数据经过结构化以明确针对递归信念冲突，高阶推理能力并不严格需要巨大的参数量。
实用性： 通过用 RL 引导的生成和代理评估取代启发式搜索，该系统在数据合成方面实现了 6 倍的效率提升，在推理速度方面实现了 5.7 倍的改进，使得高阶 ToM 推理具有实际部署的可能性。

作者总结道，虽然当前的 DSL 专注于定位和欺骗冲突，但该框架为 LLM 中更通用的社会智能提供了一条原则性路径，表明“推理差距”可以通过结构化的对抗性训练来弥合，而不仅仅是扩大模型规模。