🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

本文介绍了通过带有语言反馈的强化学习训练以更好地模拟人类行为的 DITTO 模型，以及 SOUL 基准套件，该模型在多项类人模拟任务上展现出相较于基础模型的显著性能提升，并超越了 GPT-5.4。

原作者： Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《通过语言反馈强化人类行为模拟》的解释。

核心理念：通过“对话”教会 AI“像人一样行动”

想象一下，你正在教一个孩子如何在晚宴上举止得体。

旧方法（标量奖励）： 孩子吃完饭后，你给他打个"6 分（满分 10 分）”。你没有告诉他为什么得 6 分。是他说话太多？是用错了叉子？还是把汤洒了？他完全不知道如何改进，所以下次只能靠猜。
新方法（语言反馈）： 你让他坐下来，说：“你使用餐巾做得很好，但你打断了祖母的讲话，这很不礼貌。下次等她说完话再开口。”

这篇论文认为，当前的人工智能模型（大语言模型）就像那个只得到"6 分”的孩子一样接受训练。它们在数学和编程方面表现出色，因为这些领域有明确的对错答案（就像考试分数）。但是，当我们要求 AI模拟人类行为——比如扮演病人、学生或朋友时——简单的分数就不管用了。人类是通过语言、解释和纠正来学习社会规范的，而不是靠数字。

作者们构建了一个名为DITTO的新系统，它利用这种“语言反馈”方法来教会 AI 像人一样行动。

DITTO 如何工作：“起草与润色”游戏

把 DITTO 想象成一个创意写作工作坊，AI 既是学生也是编辑。流程如下：

初稿（学生）： AI 尝试回答一个提示（例如：“扮演一个脾气暴躁的老师”）。它写出一份回答。
点评（裁判）： 一个强大的 AI“裁判”阅读初稿并给出语言反馈。它不只是说“做得好”，而是说：“你太有礼貌了。一个脾气暴躁的老师应该更不耐烦。另外，你忘了提到家庭作业。”
二稿（老师）： AI 根据这些具体的反馈，写出一个改进后的新版本回答。
课程（魔法）： 系统训练 AI 直接根据原始提示生成改进后的版本，而不再需要反馈文本。这就像学生阅读了老师的批注，修改了文章，然后记住了写好文章的感觉，这样下次就不需要看批注了。

结果： AI 学会了“内化”这些建议。当你稍后与它交谈时，它的表现更像人类，因为它学会了为什么某些行为更好，而不仅仅是知道它们更好。

演练场：SOUL（人类行为模拟健身房）

为了测试这是否真的有效，研究人员建立了一个名为SOUL（人类行为模拟健身房）的大型训练场。

想象一个拥有 10 个不同站点的健身房，每个站点测试一种不同类型的“人类”技能：

心理理论： AI 能否理解别人知道一些它不知道的事情？（就像捉迷藏游戏）。
角色扮演： 它能否扮演书中的特定角色而不破坏人设？
社交技能： 它能否在达成目标（如要求加薪）的同时进行对话而不失礼？
用户模拟： 它能否假装成一个困惑的顾客与客服交谈？

他们发现，现有的 AI 模型在这些测试中往往表现不佳。它们听起来太像机器人、太完美，或者彼此之间太相似。

结果：DITTO 赢得健身房挑战

研究人员将他们的新模型（DITTO）与现有的最佳模型（包括大型科技公司的巨型模型）进行了测试对比。

分数： 与基础模型相比，DITTO 提升了36%。
对决： 在 10 项挑战中，DITTO 在6 项上击败了顶级的"GPT-5.4"模型。
闪耀之处： 它在需要细微差别的任务上表现尤为出色，例如社交技能和角色扮演。它学会了更好地保守秘密，并在处理复杂对话时不会“卡住”或听起来很假。

为什么这很重要（根据论文观点）

论文声称，为了让 AI 在模拟人类方面真正有用（例如在治疗机器人、教育导师或客户服务培训中），我们必须停止将它们视为只需要分数的数学学生。我们必须将它们视为需要解释的社会性存在。

通过使用语言反馈（文字）而不仅仅是标量奖励（数字），AI 学会了人类行为的质感。它明白了“粗鲁”不仅仅是一个低分，而是一种伤害感情的具体说话方式。

简而言之： DITTO 是一个通过聆听老师详细的批评、练习修正，然后因为终于“懂了”而忘记老师批注的 AI。

技术摘要：通过语言反馈强化人类行为模拟

问题陈述
当前用于人类行为的大语言模型（LLM）模拟器存在系统性的“仿真到现实”（Sim2Real）差距，表现为输出同质化、认知偏差错位以及超越人类的行为，这些均偏离了真实用户。主要局限在于训练范式：标准的强化学习（RL）方法（如 RLHF、DPO、GRPO）将所有反馈压缩为标量奖励或二元偏好。虽然这种方法在具有可验证正确性的领域（如代码、数学）中行之有效，但标量奖励无法捕捉人类行为模拟所需的细微差别，因为后者具有主观性、多面性和情境依赖性。人类并非从分数中学习社会规范，而是从语言反馈——解释、纠正和对话中学习的。现有尝试纳入语言反馈的方法通常依赖监督微调（SFT）或推理时的反思，缺乏强化学习的探索能力，或无法从经验中有效更新模型权重。

方法：DITTO
作者提出了 DITTO，这是一种在强化学习框架内将语言反馈作为一等信号进行训练的模型。其核心创新在于一个训练循环，该循环生成基于反馈条件的改进，并将其与基础策略联合优化，使模型能够在无需测试时提供反馈的情况下内化指导。

针对给定提示 $x$ 的训练过程如下：

草稿 rollout：策略 $\pi_\theta$ 生成初始响应 $y_0$ 。
反馈生成：LLM 裁判评估 $y_0$ ，产生标量奖励 $r_0$ 和结构化语言反馈 $h$ （包括对可信度、关系维护和目标达成等维度的批评与反思）。
精修 rollout：策略基于提示和反馈（ $x, h$ ）生成第二个响应 $y_1$ 。
联合优化：使用 组相对策略优化（GRPO） 对 $y_0$ $y_{0}$ 和 $y_1$ $y_{1}$ 进行联合优化。
- 在原始 rollout 和精修 rollout 的集合上计算组相对优势。
- 对联合组应用标准的截断 GRPO 目标（ $L_{group}$ ），以鼓励基础策略从改进中学习。
- 专门对基于反馈条件的 rollout 应用额外目标（ $L_{fb}$ ），以提高模型直接响应反馈的能力。
- 最终损失为 $L = L_{group} + L_{fb}$ 。

关键在于，语言反馈 $h$ 被视为特权信息：它在训练期间可用，用于指导 $y_1$ 的生成并优化策略，但在推理期间不需要。目标是让基础策略将“教师”行为（即改进后的 $y_1$ ）内化到其标准生成过程中。

SOUL 基准
为了促进训练和评估，作者引入了 SOUL（类人行为模拟训练场），这是一个统一的基准和训练数据集套件。SOUL 通过提供涵盖六个类别的 10 个任务的精选 RL 训练划分，解决了人类模拟缺乏训练数据的瓶颈：

心智理论：FanToM、HiToM、ToMi。
角色扮演：CoSER、LifeChoices。
社交技能：Sotopia。
学习者模拟：Mistakes。
用户模拟：MirrorBench、UserLLM。
人设模拟：TwinVoice。

该套件涵盖了判别式（多项选择）、生成式（开放式对话）以及多轮/多智能体交互格式。

关键结果
实验基于 Qwen3-8B 基础模型进行。

性能：DITTO 在 SOUL 任务上的平均归一化得分为 0.726，相比基础模型提升了 36%。
与最先进模型对比：DITTO 在 10 个基准中的 6 个 上超越了前沿闭源模型 GPT-5.4，包括全部三个心智理论任务和两个用户模拟任务。它也始终超越了专门的人类模拟基线（如 Sotopia-RL、HER）。
消融实验：语言反馈机制相比标准 GRPO 提供了持续的提升，在生成式和多轮任务上观察到最大的改进（例如，TwinVoice 提升 14 分，ToMi 提升 11 分）。
安全性：分析显示，语言反馈有助于缓解安全风险。虽然标准 GRPO 在优化过程中在“保守秘密”维度上表现下降，但 DITTO 更好地保留了保守秘密的能力，这可能是因为语言反馈提供了明确的指导。

意义与主张
该论文主张，超越标量奖励转向更丰富、语言化的反馈是训练更类人模拟器的一个有前景的方向。这项工作的意义在于三大主要贡献：

作为信号的语言反馈：证明了与标量奖励相比，语言反馈提供了可操作的、特定维度的指导，能够提高学习速度并降低安全风险（如秘密泄露）。
DITTO 架构：提出了一种通过基于反馈条件的 rollout 将语言反馈蒸馏到基础策略中的方法，利用 8B 模型实现了显著的性能提升，其表现匹配甚至超越了更大规模的闭源模型。
SOUL 基准：提供了首个针对多样化任务格式的类人行为的统一训练和评估环境，解决了该领域关键缺乏训练数据的问题。

作者总结道，他们的方法使基础策略能够内化丰富且可操作的指导，表明带有语言反馈的强化学习是弥合人类行为模拟中“仿真到现实”差距的一条可行路径。