💬 自然语言处理

Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue

本文介绍了 MASP，一种心理化对抗自博弈（Mentalized Adversarial Self-Play）框架，该框架将主动对话建模为一场针对具有基于 BDI 模型心理状态的理性抵抗型用户的部分可观测博弈，从而训练智能体即使在面对困难且不配合的用户时，也能实现稳健的任务成功率和效率。

原作者： Zanwu Liu, Dan Zhang, Xiaodi Wang, Yongbo Mao, Xiaoyang Guo, Yonglin Wu, Peiyue Jiang, Yangyang Wei, Zecheng Lin

发布于 2026-10-16✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zanwu Liu, Dan Zhang, Xiaodi Wang, Yongbo Mao, Xiaoyang Guo, Yonglin Wu, Peiyue Jiang, Yangyang Wei, Zecheng Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，仅仅是回复你所说内容的聊天机器人与能够主动引导对话走向特定目标的聊天机器人之间存在着明显的区别。后者被称为“主动式对话”（proactive dialogue），它是数字助手背后的引擎，这些助手试图说服你向慈善机构捐款、帮助你在焦虑时冷静下来，或是在二手物品的议价中进行谈判。为了让这些系统发挥作用，它们不仅要能生成流利的句子，还必须预判其言语如何在长对话的过程中改变你的想法、感受和意图。挑战一直在于，最先进的 AI 模型通常是在真空中训练的，它们在面对那些过于乐于讨好的计算机程序进行练习。这些程序，或者说模拟器，就像是过度顺从的学生，对一切都表示赞同，这使得 AI 能够获得高分，却从未学会如何应对一个可能持有怀疑态度、表现出抵触情绪或仅仅是改变主意的真实人类。

来自东次科技（Dongchezu Technology）和北航大学的一个研究小组引入了一种旨在修复这一缺陷的新型训练方法。他们将这种方法称为 MASP，即“心理化对抗自我博弈”（Mentalized Adversarial Self-Play）。研究人员并没有让 AI 在一个柔软、容易的目标上进行练习，而是建立了一个训练场，让 AI 与一个被设计为理性且难以对付的数字对手进行对抗。在这种设定下，AI 必须学会读取用户的隐藏心理状态——即用户的信念、欲望和意图——并据此调整其策略。该系统获得的奖励不仅在于获胜，还在于能够充分理解用户，从而在用户产生抵触情绪时仍能取得进展。这种方法迫使 AI 开发出一种稳健的能力，去驾驭复杂的真人互动，而不是仅仅通过记忆如何战胜一个顺从的脚本来取胜。

这项工作的核心思想是，如果 AI 从未遇到过真正的阻力，它就无法学会如何引导对话。在以往的方法中，AI 是针对一个静态或过于容易被操纵的固定用户模型进行训练的。研究人员发现，这导致了“软用户”问题，即 AI 在测试中表现出色，但在面对拥有自身不断变化的思维的真实人类时却会失败。为了解决这个问题，研究人员创建了一个训练循环，让 AI 和用户模拟器在连续的游戏中相互对抗。用户模拟器不仅仅是一个随机的阻碍者；它被训练为以理性的方式抵制 AI 的建议。如果 AI 提供了一个充分的理由，用户可能会同意；如果 AI 提供了一个软弱的论点，用户则会予以回击。这种动态机制迫使 AI 学习如何循序渐进地构建一个有说服力的案例，而不是依赖于运气或过于简单的策略。

该系统的一个关键部分是它如何追踪用户的内部状态。研究人员使用了一个基于信念、欲望和意图的框架。想象一张 AI 试图解读的隐藏地图，这张地图显示了用户当前的想法、他们希望实现的目标以及他们下一步的计划。AI 并不能直接看到这张地图，它只能通过对话来推断这张地图。为了确保 AI 能够正确推断，训练设置采用了“教师”和“学生”的方法。一个经过大量数据预训练的冻结教师模型知道用户的真实隐藏状态。而作为学生的 AI 只能看到该状态的一个估计值。随后，AI 会因为朝着目标取得进展而获得奖励，同时也会因为其对用户心智的估计错误而受到惩罚。这确保了 AI 学习的是如何理解正在与之交谈的人，而不仅仅是理解他们所说的话。

研究人员在多种不同类型的对话中测试了这种方法，包括说服人们捐款、提供情感支持、展现共情以及进行价格谈判。他们将这种新方法与另外两种常见方法进行了对比：一种是仅在人类对话中进行训练而没有任何特殊策略的 AI，另一种是使用了规划器但在面对简单用户时进行训练的 AI。结果显示，新方法始终优于其他方法。在说服测试中，面对简单用户时，该 AI 的成功率接近 86%，面对困难用户时为 79%，而其他方法在面对困难用户时表现得明显挣扎。新方法还减少了达成目标所需的轮次，这意味着对话更加高效。或许最重要的一点是，使用这种方法训练的 AI 能够更好地维持理性的对话，避免了通过迷惑或激怒用户来强行获胜的情况。

研究还观察了当用户特别固执时 AI 的表现。在这些困难场景下，新方法保持了较高的成功率，而其他方法的效果则大幅下降。这表明该 AI 学习到了一种更具灵活性和韧性的策略。它不仅仅是学会了战胜某种特定类型的用户，而是学会了适应广泛的人类行为。研究人员指出，AI 的成功并非仅仅在于更快或更具攻击性，而在于能够“察言观色”，并根据用户不断变化的心智状态来调整其方法。当用户表现出抵触时，AI 会停下来收集更多信息；当用户表现出开放迹象时，AI 则会采取行动。

一个关键发现是，AI 的成功与其理解用户理性程度的能力密切相关。研究人员引入了一种新的衡量标准，即只有当用户出于逻辑合理的理由而同意时，才计为获胜。在这一更严格的衡量标准下，新方法依然表现优于其他方案。这表明 AI 并不是在诱骗用户屈服，而是真正引导他们达成了一个对他们而言合乎逻辑的结论。这个涉及 AI 与用户相互对抗的数千次模拟对话的训练过程，让系统能够随着时间的推移不断完善其策略。AI 逐渐明白，获胜的最佳方式是建立信任并为其建议提供清晰、诚实的理由。

研究人员还对系统失败的情况进行了详细分析。在 AI 未能成功的案例中，通常是因为用户存在强大的财务约束或根深蒂固的不信任感，而 AI 无法在有限的轮次内克服这些因素。这些失败并非由于 AI 感到困惑或表现出攻击性，而是因为用户的内在状态在给定的时间范围内过于难以改变。这一分析帮助研究人员了解了系统的局限性，并证实了 AI 即使在失败时也是表现理性的。它不会在用户明确表示拒绝后仍坚持索要捐款；相反，它识别出了僵局并停止了。

这项工作代表了在使 AI 代理能够以更自然、更有效的方式与人类互动方面迈出的重要一步。通过让 AI 与一个理性但困难的对手进行对抗，研究人员创造了一个为应对复杂人类对话做好更充分准备的系统。该方法并不依赖于魔法或复杂的技巧，而是依赖于一个简单而强大的理念：要学会如何说服，你必须首先学会如何倾听和理解。研究结果表明，这种方法可以应用于许多其他 AI 需要引导人类行为的领域，从心理健康支持到客户服务。研究结论认为，将用户视为训练过程中积极且理性的参与者，对于构建能够在现实世界中真正成功的 AI 至关重要。

研究人员谨慎地指出，他们的系统目前仍处于模拟阶段，尚未在真实的人类环境中进行实测。所描述的成功率和行为是基于计算机程序之间的交互。然而，该方法在不同类型对话中的一致性以及在面对困难用户时的鲁棒性，为该方法的效果提供了有力证据。团队计划继续完善该系统，并最终在真实用户中进行测试，以观察其在受控环境之外的表现。目前，这项研究为我们如何教机器与我们交谈提供了一个引人注目的新方向——从简单的模式匹配转向对人类思维更深层、更具策略性的理解。

技术摘要：用于主动对话的心理化对抗自我博弈 (MASP)

问题陈述

主动对话智能体必须引导多轮交互以实现特定的任务目标（例如：说服、谈判、情感支持），同时适应用户不断变化的意图和态度。现有的方法通常通过搜索、学习规划器或用户感知规划来改进系统侧的动作选择。然而，这些方法通常面临一个关键的训练不对称性：系统被优化为唯一的策略学习者，而用户则被建模为一个固定的、外部指定的或过度顺从的模拟器。

这种不对称导致了“软用户偏差”（soft user bias），即策略虽然在模拟成功率上表现很高，但其学习到的行为是脆弱的，在面对理性的、具有抵抗力的或具有策略性的用户时会失效。目前旨在改进用户模拟（例如：专用用户大语言模型、迭代对抗性精炼）的努力主要是在加强评估环境，但并未直接解决主动策略应如何训练，以在面对更强、部分可观测且具有策略性抵抗的用户时生存下来的问题。此外，标准的评估指标往往无法区分真正的任务成功与通过模拟器谄媚（sycophancy）或不合理的让步所实现的成功。

方法论：MASP 框架

作者提出了 MASP（心理化对抗自我博弈），这是一种将主动对话建模为系统智能体与一个在共享隐性心理状态空间上的理性抵抗用户智能体之间的部分可观测博弈的训练范式。

1. 问题建模

该交互被建模为一个博弈，其中：

用户策略 ( $\pi_\psi$ )： 以代表用户不断变化的内部状态的隐藏隐性心理状态 $z_t$ 为条件。
系统策略 ( $\pi_\theta$ )： 仅观察从对话历史中推断出的估计值 $\hat{z}_t$ 。
不对称性： 系统无法直接获取用户的真实状态，从而被迫动态地推断用户的信念、欲望和意图（BDI）。

2. 隐性心理状态表示

MASP 使用基于 BDI（信念、欲望、意图） 的混合表示来构建隐性状态 $z_t$ ：

文本组件： 关于信念 ( $B_t$ )、欲望 ( $D_t$ ) 和意图 ( $I_t$ ) 的自由形式自然语言描述。
标量组件： 接受度 ( $\rho_t$ )、承诺度/置信度 ( $c_t$ ) 和效价 ( $v_t$ )。
这些组件使用冻结的文本编码器进行编码，并组合成向量状态。这种表示法允许进行可解释的目标状态设计，同时对于多样化的领域保持足够的通用性。

3. 教师-学生心理化架构

一个关键的设计选择是将心理化过程分为两个角色，以防止策略被利用：

冻结教师心理化器 ( $F_\omega$ )： 在离线“银标”（LLM 生成的 BDI 标签）注释上进行训练，并在自我博弈期间保持冻结。它提供用于计算奖励的地面真值（ground-truth）隐性状态 $z_t$ 。
学生心理化器 ( $M_\phi$ )： 仅以可观测的对话历史为条件，生成用于系统策略的估计值 $\hat{z}_t$ 。
这种分离确保了系统学习的是如何推断用户的状态，而不是直接利用奖励模型的状态估计器进行投机取巧。

4. 对抗性奖励与目标

该框架定义了不同的奖励函数给系统和用户，以鼓励鲁棒的行为：

系统奖励 ( $r^S_t$ )：
$r^S_t = w_{prog}\Delta s_t - w_{inf}\|\hat{z}_t - z_t\|^2_A$
系统因相对于用户初始状态在特定任务目标状态上的进展 ( $\Delta s_t$ ) 以及准确的心理化（最小化其估计值与教师状态之间的距离）而获得奖励。
用户奖励 ( $r^U_t$ )：
$r^U_t = -w_{prog}\Delta s_t + w_{rat}q_t$
用户被训练去抵抗不合理的（无理性的）状态变化（负向进展项），但也会因为理性行为 ( $q_t$ ) 而获得奖励。一个固定的理性评判器会判断用户的抵抗行为在其当前心理状态下是否具有连贯性。这防止了用户坍缩为无条件的拒绝或无条件的同意。

5. 训练流水线

MASP 遵循三个阶段的流水线：

阶段 0： 使用银标 BDI 注释训练教师和学生心理化器。
阶段 1： 使用人类对话进行行为克隆（监督学习）来热启动系统和用户策略。
阶段 2： 交替进行 GRPO（组相对策略优化） 自我博弈。系统和用户策略轮流更新，而奖励侧模块（教师、评判器）保持冻结。学生心理化器会定期使用自我博弈前缀进行刷新。

核心贡献

首个基于 BDI 的心理化训练： 据作者所知，MASP 是第一个显式地将演化的 BDI 心理状态作为训练交互基础（而非仅仅作为辅助特征）的多轮对话框架。
心理化自我博弈： 本文引入了一种联合训练系统和对抗性用户的自我博弈方法，专门通过将理性抵抗作为核心训练目标来避免“软用户”问题。
理性约束下的成功 (RCSR)： 作者引入了一种新的评估指标 RCSR，该指标规定只有当任务完成且用户在整个交互过程中的行为保持理性时，才将对话视为成功。这过滤掉了由模拟器谄媚或不合理让步导致的成功。

实验结果

MASP 在四个基准数据集上进行了评估：Persuasion for Good (P4G)、ESConv（情感支持）、EmpatheticDialogues 和 CraigslistBargain（谈判）。

性能提升： 在所有数据集和骨干模型（Qwen3-4B 和 Qwen3-0.6B）上，MASP 显著优于监督微调（SFT）和“仅规划器”（Planner-only）基线（后者使用自适应规划但没有对抗性用户训练）。
- 成功率 (SR)： MASP 在软用户和硬用户条件下均取得了最高的成功率。例如，在 Qwen3-4B 的 P4G 数据集上，MASP 在软用户条件下达到 0.859 SR，在硬用户条件下达到 0.788 SR，而 SFT 分别为 0.616 和 0.576。
- 效率： MASP 显著减少了达到成功所需的平均轮数 (AT)。
- 理性度： MASP 展示了最高的 RCSR，表明其成功是基于理性用户交互而非模拟器顺从。
鲁棒性： 在消融研究和针对用户模拟器集合的鲁棒性测试中，即使在最坏情况下，MASP 仍保持了高性能，而基线模型则大幅下降。
学习动态： 分析表明，MASP 的收益出现在对话早期（例如第 3-4 轮），而非由于后期轮次的恢复，这表明系统学会了识别用户状态并快速实现理性进展。

意义与主张

本文的主张是，将用户抵抗视为一个训练目标而非仅仅是一个评估条件，对于开发鲁棒的主动对话智能体至关重要。通过将对话建模为在隐性心理状态上的部分可观测博弈，MASP 迫使系统不仅学习说什么，还学习正在与谁交谈以及那个人是如何变化的。

作者强调，他们的方法解决了那些针对顺从型模拟器训练的策略所存在的脆弱性问题。RCSR 的引入提供了一个更真实的衡量标准，用于评估在面对困难用户时的表现。虽然该方法依赖于银标注释和基于 LLM 的评判器（这会引入潜在偏差），但作者认为，由此产生的策略比使用标准规划或 SFT 训练的策略更具鲁棒性和策略适应性。这项工作表明，未来的主动对话系统必须将对手建模和心理化直接集成到优化循环中，以实现真正的策略能力。