🤖 AI

Toward Anthropomorphic Dialogue: A Closed-Loop Framework for Human-Like Chat Generation, Evaluation, and Preference Alignment

本文介绍了 AnthroDial，这是一个闭环框架，它通过统一角色条件对话生成、可执行的多维评估以及认知诊断偏好对齐，显著提升了在不同人格和场景下的类人化聊天性能。

原作者： Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

发布于 2026-07-21✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何成为一名朋友。长期以来，科学家们一直擅长教机器人流利地说话、遵循指令并礼貌地回答问题。但“能够正确回答问题的机器人”与“让你觉得像是一个可以在深夜发信息聊天的真人”之间有着巨大的区别。真正的朋友不仅仅是给你一个关于“悲伤”的完美词典定义；他们会记得你昨天说过的话，知道什么时候该发一个简短的“哎哟”，什么时候该等待几分钟再回复，并且知道根据你们关系的亲疏程度，应该分享多少个人信息。这篇论文处于人工智能领域，具体来说是试图让聊天机器人听起来不再像是一个得力的助手，而更像是一个人类伴侣的分支领域。其核心思想是，所谓的“类人化”不仅仅是拥有一个酷炫的人格；它关乎于管理一个复杂的规则网络：记住你的历史、尊重短信发送的时机、了解自己的界限，以及在不陷入停滞或重复的情况下保持对话的自然流动。

开发出这个名为 AnthroDial 系统的研究人员意识到，目前的聊天机器人往往无法营造出这种“私人聊天”的氛围。它们可能听起来过于正式，忘记刚刚学到的事实，或者即使在你只是在倾诉糟糕的一天时，表现得也像个客服人员。为了解决这个问题，他们不仅仅是微调了机器人的个性；他们构建了一个完整的“闭环”工厂。把它想象成一个电子游戏，机器人在其中与自己对战，由一位严厉的教练进行评分，从错误中学习，然后再次尝试。这个工厂由三个主要部分组成：一个决定何时输入以及草拟什么内容的调度器（就像人类在按下发送键前会停顿思考一样）；一个检查机器人是否违反了人类行为准则的评判员（例如，当你在千里之外时，机器人却声称能见到你）；以及一个使用特殊评分系统来告诉机器人哪些技能需要重点练习的训练教练。

该论文的主要发现是，这种“闭环”方法确实有效。他们将他们的系统与 16 种不同的 AI 模型进行了测试，其中包括一些目前最强大、最智能的模型。结果表明，仅仅让模型变得更大或让它在回答前“思考”更久是不够的。相反，使用他们的这个“工厂”专门针对这些类人行为进行训练，产生了巨大的差异。他们训练得最好的模型——一个 270 亿参数的系统——在他们困难的测试中达到了 39.00% 的严格“及格线”，击败了表现最好的未训练模型（后者仅得 32.00%）。更令人惊讶的是，他们展示了这种训练可以被压缩进一个更小、更快的模型（90 亿参数）中，且不需要额外的“思考”时间。这个较小的模型在经过训练后，从 0.00% 的通过率跃升至 18.37%，证明了“类人”行为是模型可以真正学习并保持的能力，而不仅仅是通过增加计算量来伪装出来的。

论文明确反对“流畅的语言等于类人的对话”这一观点。他们证明了，一个机器人即使语法完美，如果它忘记了关系背景、忽略了时间点，或者在你只想找个哥们儿聊天时却表现得像个心理医生，它依然会在社交方面失败。他们还排除了仅仅通过给标准聊天机器人添加一个“人格（persona）”提示词就能达到预期效果的可能性；如果没有专门的架构来管理记忆、时机和边界，机器人不可避免地会退回到成为一个通用的助手。

在实验中，团队构建了一个庞大的测试场，包含 55 种不同的角色画像（如害羞的学生或忙碌的家长）和 50 种不同的场景（如工作挫折或宠物紧急情况）。他们为每个模型运行了 100 个测试案例。结果是通过一个非常严格的“全或无”规则来衡量的：如果机器人犯了一个小错——比如重复一句话或忘记了一个事实——整个对话就会被判定为失败。在这种严格规则下，未训练的模型表现得很挣扎。例如，一个流行的 90 亿参数模型在没有任何特殊训练的情况下，及格率为 0.00%。但在经过 AnthroDial 训练流水线处理后，同一个小模型在仅进行标准训练时提升到了 13.00%，而在使用他们先进的“奖励”训练后提升到了 18.37%。那个 270 亿参数的大模型在完全训练后达到了 39.00%。

作者指出，他们的秘诀在于一个“诊断性奖励”系统。想象一位老师，她不仅给你一个“B”的最终成绩，还会给你一份报告单，上面写着：“你数学很好，但你需要练习拼写。”他们的系统对聊天机器人需要的每一项技能都这样做：记住事实、保持自然的节奏、保持角色一致性以及知道何时停止说话。它使用一种数学技巧（称为卡尔曼滤波）来追踪机器人在各项技能上的表现，然后将训练重点放在机器人最弱的技能上。这确保了机器人不仅仅是在已经擅长的领域变得更好，而是真正解决了它的薄弱环节。

他们系统中一个非常有趣的部分是处理时间的方式。现实中的人不会每次都立即回复；有时他们会休息一下，有时会发一个快速的“哈哈”，有时会起草一条消息，然后停顿，最后改变主意。AnthroDial 将此视为一种“单草稿调度”。机器人不仅仅是吐出一条消息；它会起草消息，设置计时器，并决定是等待、中断还是结束对话。这使得聊天过程仿佛有了心跳，拥有与人类在微信上发信息相匹配的停顿和节奏。

论文还强调了“主动性”（开始一个新话题或提出问题）是非常微妙的。一个每五分钟就问一次“接下来发生了什么？”的机器人并不是在表现主动，而是在表现烦人。训练教会了模型以更聪明的方式表现主动，比如分享一个小小的个人想法、开一个温和的玩笑或建议休息一下。结果显示，虽然模型在这些细微的社交暗示方面变得更好，但在处理最难的话题时仍然面临挑战。例如，在“技术”和“金融”场景中，即使是训练最好的模型，通过严格测试的比例也分别只有 0.0% 和 12.5%。这表明，虽然该系统是一个巨大的进步，但在某些极其困难的领域，机器人尚未学会如何表现得像个人。

最终，论文得出结论，让聊天机器人感觉像人是一个系统问题，而不单纯是一个语言问题。你不能仅仅写一个更好的提示词；你需要构建一个能够管理记忆、时间和社交边界的系统，并使用一个专门针对机器人弱点的奖励系统来进行训练。作者谨慎地指出，这关乎的是“行为”，而不是机器人真的拥有情感或意识。他们强调，目标是创造一种感觉真实的文本行为，而不是去欺骗人们认为机器人是人类。事实上，他们认为一个真正的“类人”系统应该对身为 AI 的身份保持诚实，就像一个优秀的演员，既能入戏，又绝不会声称自己就是那个角色。这项工作表明，通过正确的训练循环，我们可以更接近这一目标，将冰冷的、机械式的响应转化为温暖、自然的对话，使其听起来像是来自一位真正的朋友。

技术摘要：迈向拟人化对话 (AnthroDial)

1. 问题定义

本文识别了当前开放域对话系统中的一个关键差距：尽管模型已经变得流畅且具有协作性，但在私密的多轮对话中，它们往往无法模拟出合理的真人对话者。标准模型倾向于过度解释、维持助手式的姿态、遗忘已建立的事实、切换人格，或违反特定媒介的约束（例如：时机、沉默）。

作者将拟人化对话定义为一种行为约束满足问题，而非对意识或情感的声称。系统必须生成在特定条件下遵循可观测约束的文本：

人格 (Persona)： 身份、年龄、职业、性格和知识边界。
关系 (Relationship)： 说话者之间的特定动态（例如：朋友 vs. 同事）。
记忆 (Memory)： 对偏好和事实的长时保留，区别于即时上下文。
媒介 (Medium)： 私密消息的约束（例如：微信风格、时机、节奏）。
时间 (Time)： 虚拟时间状态与步调。

核心挑战在于这些维度通常被视为扁平化的风格提示词，而非运行时状态，从而导致在长程交互中出现连贯性、主动性和自然度方面的失败。

2. 方法论：AnthroDial 框架

作者提出了 AnthroDial，这是一个由三个耦合组件组成的闭环框架：角色条件化运行时、可执行基准测试以及诊断性对齐流水线。

2.1 角色条件化调度对话运行时

不同于标准的逐轮生成，AnthroDial 将私密聊天建模为有状态的调度 (stateful scheduling)。

状态表示： 系统维护人格卡、场景卡、针对特定伙伴的长时记忆、压缩后的对话历史以及虚拟时钟。
单草稿决策 (Single-Draft Decision)： 在每一步，模型输出一个 JSON 决策元组 $y_t = (u_t, \Delta t_t, e_t)$ ，其中 $u_t$ 是消息内容， $\Delta t_t$ 是计划的发送延迟， $e_t$ 是沉默或结束决策。
调度逻辑： 调度器管理一个“草稿缓冲区 (Draft Buffer)”。它发出最早的待处理草稿，允许多条消息爆发式发送、中断以及自然的停顿。这暴露了诸如在提问后等待或丢弃陈旧草稿等在标准生成中被隐藏的行为。
记忆管理： 长时记忆通过一个独立的模块 ( $U_\phi$ ) 进行更新，以保留持久的事实并丢弃瞬时事件。短时记忆使用滑动窗口结合对较旧轮次的简洁摘要。

2.2 可执行基准测试

该框架引入了一个层次化的、可执行的基准测试，用于评估行为而非仅仅是聚合质量。

L0 有效性门槛 (L0 Validity Gate)： 一个确定性的过滤器，拒绝存在致命失败的样本（例如：AI 身份泄露、不可能的媒介行为、硬性重复、角色矛盾）。
行为维度： 有效样本根据十个维度进行评分：
- 局部 (轮次级，D1–D5)： 微信自然度、简洁度、人格一致性、知识边界，以及节奏/分段。
- 全局 (对话级，E1–E5)： 上下文一致性、场景/关系契合度、共情/社交契合度、主动性，以及对话弧度可用性。
评分： 系统报告一个加权得分和一个 Strict ACC（接受率），只有当所有轮次及整体卡片中的所有复选框均得到满足时，案例才算通过。

2.3 闭环训练流水线

该框架生成自身的训练数据，并使用诊断信号进行强化学习。

数据合成： 运行时生成的对话经过过滤。被接受的对话构成 SFT 池；被拒绝的对话则转化为带有修复建议的失败记录。
SFT： 在 16,436 个调度决策样本上进行监督微调 (SFT)，训练模型掌握语言风格和私密消息的时机（延迟、结束）。
CDT-ZPD 引导的 GRPO： 强化学习阶段使用组相对策略优化 (GRPO)，并结合一种新型奖励机制，旨在解决能力增长不均衡的问题：
- 卡尔曼滤波 (Kalman Filtering)： 为每个行为维度维护一个潜在的能力估计值 ( $\theta_{k,t}$ )。
- 能力缺陷加权 (Capability-Deficit Weighting)： 增加模型估计能力较低的维度的奖励权重 ( $d_{k,t} = \epsilon + (1 - \theta_{k,t})^p$ )。
- ZPD (近侧发展区间) 匹配： 使用当前 Rollout 的维度得分作为任务可达性的估计。奖励会被调节，以专注于那些“可学习”的任务（接近当前能力估计值），而不是过于简单或难以实现的任务。
- 自适应奖励： 最终奖励结合了传统的规则得分与这种自适应的诊断信号，将优化压力转向弱但可学习的人类化技能。

3. 核心贡献

拟人化对话的形式化： 将其定义为在人格、场景、记忆、媒介和时间约束下的条件化多轮生成，并通过调度式私密聊天架构实现。
可执行基准测试： 设计了带有 L0 有效性门槛以及独立局部/全局行为维度的系统，支持报告无效样本、分级质量及具体的失败维度。
闭环训练流水线： 一个使用 16,436 个 SFT 样本和 CDT-ZPD 引导 GRPO 目标的系统。它利用卡尔曼滤波的能力估计和 ZPD 匹配，将评估轨迹转化为自适应奖励。
经验基准测试： 对 16 个系统（包括前沿基准、开源模型及消融实验模型）进行了全面评估，涵盖 55 种人格、50 个场景以及每个模型 100 个角色条件化案例。

4. 结果

论文评估了不同规模（9B, 27B, 35B, 397B）和推理模式（思考型 vs. 非思考型）下的模型。

基准性能： 最强的非训练基准（Gemini-3.5-Flash）实现了 32.00% 的 Strict ACC。
SFT + RL 性能 (27B)： 完整的 Qwen3.6-27B-SFT+RL 系统（在思考模式下评估）实现了 39.00% 的 Strict ACC 和 98.5 的总分。这比最强的非训练基准高出 7.00 个绝对百分点，比 27B 仅 SFT 变体高出 20.00 分。
效率路径 (9B 无思考模式)： 在低延迟、无测试时思考的设置下：
- 未微调的 9B 模型：0.00% Strict ACC。
- 9B-SFT：13.00% Strict ACC。
- 9B-SFT+RL：18.37% Strict ACC。
- 意义： 9B SFT+RL 模型在 Strict ACC 上超越了未训练的 27B 思考型模型，证明了后训练可以将拟人化行为迁移到更小、更快的模型中。
维度分析： 后训练显著提升了全局维度（上下文一致性、场景契合度），这些维度在标准模型中通常较弱。9B 模型在局部维度（自然度、节奏）表现出色，但在全局连贯性方面滞后，凸显了局部流畅度与全局拟人化质量之间的差异。

5. 意义与主张

论文声称拟人化对话是一种系统属性，需要一个包含生成、评估和共享相同行为维度的奖励塑造的闭环。

超越流畅度： 高单轮自然度并不保证令人信服的对话；全局连贯性和对约束的遵循是不同的挑战。
训练 vs. 推理： 后训练（SFT 和 RL）贡献了学习到的拟人化行为，这不仅仅是测试时“思考”或审议的结果。该流水线成功地将这些行为蒸馏到更小、开销更低的模型中。
诊断性对齐： CDT-ZPD 奖励机制通过根据模型的当前能力估计动态调整奖励权重，有效地针对薄弱技能，而不是仅仅优化单一的聚合得分。
媒介特异性： 当前的实例化侧重于中文私密消息（微信风格），其中媒介特定的规范（时机、节奏、简洁性）使得失败行为变得可观测。该框架设计用于通过调整表面规范来扩展到其他媒介，同时保持行为评估结构不变。

作者保持了谦逊的态度，指出结果评估的是流水线和基准测试快照，而非部署的产品，并指出自动评判器可能存在偏差。其主要贡献是提供了一种结构化的方法论，用于衡量和对齐类人的对话行为，而不声称系统拥有真正的意识或情感。