技术摘要：克服多模态心理理论推理中的多步复杂性

1. 问题陈述

心理理论（ToM）是一种从可观察线索中推断心理状态（信念、欲望、意图）的认知能力。虽然心理理论对人类社交认知至关重要，但多模态环境中的计算心理理论面临着显著的扩展性挑战。现有方法通常分为两类：（1）具有特定心理理论先验的结构化规划工作流，以及（2）通过专门训练将这些先验整合到语言模型（LMs）中。

本文指出了阻碍这些方法在复杂的多模态心理理论任务中有效扩展的两个根本障碍：

1. 推理边界：推理时的扩展方法（例如思维链、类 o1 系统）和标准微调无法在规划步骤增加时保持准确性。较小的模型（例如 8B、70B 参数）在多步场景中表现出准确率迅速下降，而只有超大模型（例如 405B）才能维持性能。
2. 世界知识依赖：多模态心理理论推理需要整合广泛的社会和世界知识。较小的语言模型缺乏预训练容量来有效编码和利用这些多样化的知识，导致在未见过的情景中泛化能力差。

现有方法难以在结构化推理（以处理多步复杂性）与海量世界知识（以夯实推理基础）的需求之间取得平衡，往往导致一种权衡：增加模型规模虽然能改善知识储备，但若没有特定且昂贵的适配，却无法解决推理复杂性。

2. 方法论

作者提出了一种可扩展的贝叶斯心理理论规划器，通过结合贝叶斯逆规划（BIP）与弱到强控制机制的协同方法来解决这些局限性。

2.1. 贝叶斯逆规划（BIP）框架

核心推理引擎基于 BIP，它将复杂的多模态心理理论任务分解为模块化的、逐步的贝叶斯更新。代理的行为被建模为部分可观察马尔可夫决策过程（POMDP）。系统根据观察到的状态（$s_{1:t}$）和动作（$a_{1:t-1}$）推断代理目标（$g$）和信念（$b_t$）的后验概率：

$$P(g, b_t | s_{1:t}, a_{1:t-1}) \propto \prod_{\tau=1}^{t} \pi(a_\tau | g, b_\tau) P(b_\tau | b_{\tau-1}, s_\tau) P(b_0)P(g)$$

其中，$\pi(a_\tau | g, b_\tau)$ 表示策略（给定目标和信念的动作似然度）。该框架通过比较不同目标 - 信念对的累积对数似然度，迭代地细化假设。

2.2. 弱到强控制机制

为了克服对大规模模型进行似然估计的依赖以及直接微调这些模型的困难，作者引入了一种弱到强控制策略：

1. 弱组件（专用控制器）：一个较小的语言模型（例如 8B 或 4B 参数）经过专门针对心理理论任务的后训练。该训练包括：
   • 指令微调：优化策略 $\pi_{E0}$，以最大化特定情景中观察到的动作的似然度。
   • 偏好优化：利用修改后的直接偏好优化（DPO）损失，使模型能够区分有效（简洁、成功）和无效（冗长、失败）的动作。
2. 强组件（扩展策略模型）：一个大型语言模型（高达 405B 参数）在推理期间作为主要策略模型。它拥有广泛的世界知识，但缺乏特定的心理理论行为先验。
3. 推理时引导：系统不使用微调大型语言模型，而是利用经过后训练的小型语言模型来引导大型语言模型的输出。大型语言模型的策略分布（$\bar{\pi}$）通过经过后训练的小型语言模型的策略（$\pi_E$）与朴素小型语言模型的策略（$\pi_N$）之比进行调整：

$$\bar{\pi}(a_t | s_t, g, \hat{b}_t) = \frac{1}{\bar{Z}} \pi_L(a_t | s_t, g, \hat{b}_t) \frac{\pi_E(a_t | s_t, g, \hat{b}_t)}{\pi_N(a_t | s_t, g, \hat{b}_t)}$$

该机制有效地将大型语言模型的 logits 重定向至心理理论特定行为，而无需对大型模型进行昂贵的直接后训练。

2.3. 理论基础

该方法基于定理 1，该定理提出，从后训练的小型语言模型与朴素小型语言模型之间的差异得出的输出调整 $\Delta s$，近似于大型语言模型交叉熵损失的缩放负梯度。因此，大型语言模型的输出分布近似于直接微调的大型模型的分布，其 KL 散度受学习率和损失函数 Hessian 矩阵的有界约束。

3. 主要贡献

• 可扩展的贝叶斯规划器：一种新颖的框架，将多步心理理论复杂性分解为可处理的贝叶斯更新，避免了困扰标准推理时扩展的推理边界。
• 弱到强控制：一种在推理时将特定于心理理论的推理行为从经过后训练的小型语言模型转移到大型语言模型（7B 至 405B）的方法。这使得大型模型在遵循贝叶斯一致性的同时，能够利用其世界知识。
• 理论依据：形式化证明（定理 1）表明，弱到强控制机制以有界误差近似了直接微调的大型模型的行为。
• 实证验证：广泛的实验表明，该方法在多模态心理理论基准测试（包括未见过的场景）中实现了最先进的性能。

4. 实验结果

该方法在MMToM-QA基准测试（VirtualHome 模拟器）上进行了评估，并扩展到了五个未见过的主题环境（安徒生童话、古埃及、外太空、狂野西部、中世纪城堡）。

• 准确率提升：所提出的方法在多模态心理理论任务中达到了81.3% 的准确率，比现有最佳基线（例如使用 GPT-J-6B 或 Llama2-7B 的 BIPALM）提高了4.6%。
• 扩展优势：
  • 强组件：将大型语言模型的大小从 70B 增加到 405B 参数，持续提升了心理理论理解能力，特别是在需要动态推理的目标推断任务中。
  • 弱组件：将控制器从 8B 缩小到 4B 参数（宽度和深度均减少），保持了稳定的性能（78.0%–79.15%），证明较小的模型可以有效地引导较大的模型。
• 泛化能力：该方法表现出强大的未见场景迁移能力，在多样化的环境中优于零样本和直接后训练的基线。
• 消融研究：
  • 将小型语言模型的朴素 logits 直接添加到大型语言模型中效果次优，证实了结构化弱到强控制的必要性。
  • 直接微调大型模型（70B）不如所提出的控制机制稳定和有效，这可能是由于超参数敏感性所致。
  • 后训练显著提升了信念推断（世界知识）和目标推断（动态推理）的性能。

5. 意义与主张

本文声称在复杂动态环境中建立了一个建模人类心理状态的新标准。其意义在于：

• 克服扩展限制：它证明了多步心理理论推理中持续的准确性需要结构化框架（BIP）和具有广泛泛化能力的模型（大型语言模型），而不仅仅依赖微调或推理时扩展。
• 效率：通过避免对大规模模型（例如 405B）进行直接后训练，该方法降低了计算成本，同时实现了卓越的性能。它利用了“两全其美”：大型模型的世界知识和小型高效训练模型的专业行为先验。
• 泛化性：该方法证明在未见过的场景中有效，表明学习到的心理理论行为是稳健的，并且可以在不同的文化和环境背景下进行迁移。

作者强调，他们的方法不仅仅是改进现有的基线，而是从根本上解决了将当前计算心理理论方法困住的“多步规划复杂性的引力”。