Facial Expression Generation Aligned with Human Preference for Natural Dyadic Interaction

本文提出了一种结合监督微调与人类反馈强化学习的新方法，通过将身份无关的面部表情生成建模为动作学习过程，实现了在自然双向交互中生成符合人类偏好且情感社会适配的面部表情。

要点

这篇论文讲述了一个关于**“如何教 AI 在聊天时做出更懂人心、更自然的表情”**的故事。

想象一下，你正在和一个虚拟的 AI 朋友视频聊天。如果对方在你讲笑话时一脸严肃，或者在你难过时傻笑，你会觉得非常尴尬，甚至不想继续聊下去。这就是目前很多 AI 聊天机器人面临的问题：它们能听懂你说的话，但脸上的表情却经常“不合时宜”。

这篇论文提出了一种新方法，让 AI 学会**“察言观色”**，做出符合人类社交习惯的表情。

1. 核心难题：为什么以前的 AI 表情很“假”？

以前的 AI 生成表情，就像是一个只会模仿动作的机器人。

• 问题一：分不清“脸”和“表情”。 以前的 AI 在学表情时，容易把“长什么样”（比如是帅哥还是美女）和“做什么表情”（比如是开心还是生气）混在一起。这导致人类评委在打分时，可能会因为觉得这个 AI 长得好看就给高分，而不是因为它的表情做得好。
• 问题二：只会“死记硬背”。 它们只是机械地模仿数据里的动作，不知道根据聊天的上下文灵活调整。就像一个人背熟了“听到笑话就笑”的剧本，但如果你讲了一个悲伤的笑话，它还是机械地笑，这就很尴尬。

2. 解决方案：给 AI 装上一颗“社交大脑”

作者提出了一套两步走的“训练法”，把 AI 从一个“模仿者”培养成“社交达人”。

第一步： supervised Fine-Tuning (SFT) —— “先当个乖学生”

• 比喻： 就像让一个学生先临摹字帖。
• 做法： 作者先给 AI 看大量的真实人类对话视频，让 AI 学习：“当对方说这句话、做这个动作时，人类通常会做出什么样的表情？”
• 创新点： 他们把“做表情”看作是一种**“动作”**，而不是画一幅画。这就好比把表情拆解成一个个独立的“动作指令”（比如：眉毛上扬 0.5 度，嘴角下撇 0.2 度），这样 AI 就能专注于学习“怎么做表情”，而不被“长得像谁”干扰。

第二步：Human-Feedback Reinforcement Learning (HFRL) —— “请人类当教练”

• 比喻： 这是最关键的一步，就像请了一位严格的“社交礼仪教练”。
• 做法：
  1. 出题： 让刚才训练好的 AI 针对同一段对话，生成 4 种不同的表情反应。
  2. 打分： 请真人评委（人类）来看这 4 种反应，并选出**“最得体、最让人舒服”的一个（比如：对方很生气，AI 应该表现出关切或严肃，而不是傻笑），同时选出“最糟糕”**的一个。
  3. 强化学习： 告诉 AI：“你看，这个反应（A）大家喜欢，那个反应（B）大家讨厌。下次你要多学 A，少做 B。”
• 效果： 通过这种“试错 - 反馈 - 修正”的循环，AI 不再只是机械模仿，而是真正学会了**“什么表情在什么场合下是合适的”**。

3. 这个方法的厉害之处

• 像真人一样“读空气”： 实验证明，当说话的人表现出“厌恶”时，以前的 AI 可能会做出“开心”的表情（就像图 1 里的 Listener A），而这篇论文的方法（Listener B）能准确做出“厌恶”或“同情”的表情，完全符合人类的社交直觉。
• 不受外貌干扰： 因为把表情和长相分开了，人类评委在打分时，只关注“表情对不对”，而不是“长得好不好看”，这让训练出来的模型更纯粹、更准确。
• 动态调整： 它不是死板的，而是能随着对话的进行，实时调整自己的微表情，让对话流畅自然。

4. 总结

简单来说，这篇论文就是给 AI 装上了一个**“社交情商模块”**。

它不再是一个只会机械模仿动作的机器人，而是一个懂得察言观色、能根据对话氛围调整表情的“高情商聊天伙伴”。通过引入人类的真实反馈，它学会了在聊天中“看人下菜碟”，让虚拟互动变得像真人聊天一样自然、温暖且得体。

一句话概括： 以前的 AI 聊天是“对牛弹琴”，现在的 AI 聊天是“心有灵犀”。

技术摘要

这是一篇关于面向自然双人互动（Dyadic Interaction）的、与人类偏好对齐的面部表情生成的学术论文详细技术总结。

1. 研究问题 (Problem)

在双人互动（如对话）中，生成自然的倾听者面部表情至关重要。现有的生成方法（如基于扩散模型或 GAN 的方法）虽然能生成逼真的面部动画，但往往存在以下核心缺陷：

• 缺乏人类偏好对齐：生成的表情可能不符合社会规范或情感预期（例如，说话者表达厌恶时，倾听者却表现出开心），导致互动不自然甚至产生社交尴尬。
• 身份与表情的纠缠：直接基于人脸图像生成表情时，人类反馈容易受到身份特征（长相、吸引力）的干扰，难以获得纯粹针对“表情质量”的无偏反馈。
• 开环生成：大多数方法是一次性生成，缺乏根据说话者动态变化的多模态线索（语音、语言、视觉）进行实时闭环调整的机制。

2. 方法论 (Methodology)

论文提出了一种基于人类反馈强化学习（Human-Feedback Reinforcement Learning）的面部表情生成框架，旨在通过闭环反馈机制，使生成的倾听者表情在情感和社交层面与人类偏好对齐。

核心架构

该方法分为两个主要阶段，如图 2 所示：

阶段一：监督微调 (Supervised Fine-Tuning, SFT)

• 模型架构：构建了一个视觉 - 语言 - 动作模型 (Vision-Language-Action, VLA)。
  • 骨干网络：使用 LLaMA 2 (7B) 作为大语言模型骨干。
  • 多模态输入编码：
    • 视觉：采用双流编码器（DINO 和 SigLIP），分别提取细粒度的面部姿态/微表情细节和全局情感/社交语义线索。
    • 文本：对说话者的语言内容进行分词。
  • 动作解 Tokenizer (Action De-Tokenizer)：将连续的 3D 面部参数（表情系数 $a_{exp}$ 和姿态参数 $a_{pose}$）量化为离散的 Token（256 个桶），以便 LLM 输出。
  • 目标：通过最小化交叉熵损失，让模型学习从说话者的多模态信号（图像 + 文本）映射到倾听者的 3D 面部动作参数，建立基础的生成能力。

阶段二：人类反馈强化学习 (Human-Feedback RL)

• 核心创新：将表情生成视为身份无关（Identity-Independent）的动作学习过程。
  • 利用 FLAME 模型，固定说话者和倾听者的身份参数（$a_{shape}$），仅优化表情和姿态参数。这使得人类反馈可以专注于评估“表情是否恰当”，而不会被倾听者的长相所干扰。
• 数据收集与偏好构建：
  • 利用 SFT 训练好的策略生成多个候选倾听者动作序列。
  • 渲染为视频，由人类标注员根据共情 (Empathy)、恰当性 (Appropriateness)、参与度 (Engagement)、自然度 (Naturalness) 四个维度进行评分。
  • 构建偏好数据集：将高分序列标记为“偏好 (Preferred)"，低分序列标记为“非偏好 (Dispreferred)"。
• 优化策略：
  • 采用直接偏好优化 (Direct Preference Optimization, DPO) 算法。
  • 通过对比学习，优化策略网络，使其更倾向于生成人类偏好的表情动作，同时保持与参考模型（SFT 模型）的 KL 散度约束，防止模式崩塌。

3. 主要贡献 (Key Contributions)

1. 首创闭环人类反馈对齐：首次将人类反馈以闭环方式引入双人互动面部表情生成，确保生成的表情不仅在视觉上自然，更在语境和情感上符合人类社交规范。
2. 身份无关的动作学习框架：提出将表情生成建模为身份无关空间中的动作学习过程。这一设计成功解耦了“身份特征”与“表情质量”，使得人类反馈能够无偏地评估表情的社会适宜性。
3. VLA 模型与 RL 策略的结合：构建了基于 VLA 的生成模型，并结合 SFT 与 DPO 策略，实现了从“模仿真实数据”到“优化人类偏好”的跨越。

4. 实验结果 (Results)

论文在 L2L-trevor 和 RealTalk 两个基准数据集上进行了评估，并与 SOTA 方法（如 MMLHG, LM-listener 等）进行了对比。

• 定量评估：
  • 情感对齐 (L2 Affect)：引入 RL 后的模型（SFT+RL）在情感同步性指标上显著优于仅 SFT 的模型和现有 SOTA 方法（例如在 RealTalk 上，L2 Affect 得分从 4.52 提升至 4.35，数值越低越好）。
  • 运动质量：虽然 RL 阶段在几何重建误差（FD）上略有增加（表明模型为了追求情感恰当性牺牲了部分几何精度），但在配对 Fréchet 距离 (P-FD) 和情感指标上表现最佳，证明了其优化方向的正确性。
• 定性评估：
  • 在说话者表达负面情绪（如厌恶、严肃话题）时，基线模型（如 LM-listener）常生成不恰当的“通用积极”表情（如微笑），而本文方法能生成符合语境的严肃或共情表情。
• 用户研究 (User Study)：
  • 在 25 名参与者的盲测中，本文方法（SFT+RL）在恰当性 (4.5/5)、共情 (4.1/5)、参与度和自然度四个维度上均显著高于所有基线模型，证明了其在社交互动中的优越性。
• 消融实验：
  • 验证了 RL 阶段对于提升社交适宜性的必要性。
  • 证明了基于真实人类偏好的 DPO 优于随机偏好标签或仅使用正向样本的监督学习。

5. 意义与价值 (Significance)

• 提升人机交互体验：该方法解决了当前虚拟人/数字人在对话中“表情错位”的关键痛点，使 AI 倾听者能够像真人一样根据语境做出恰当的情感反应，显著提升社交互动的流畅度和用户接受度。
• 方法论创新：通过“身份无关空间”解决人类反馈中的偏差问题，为其他涉及人类主观评价的生成任务（如姿态生成、对话生成）提供了新的解决思路。
• 从模仿到优化：标志着面部表情生成从单纯的数据驱动模仿（Imitation Learning）向基于人类价值观的优化（Preference Alignment）转变，推动了生成式 AI 在社交智能领域的发展。

总结：这篇论文提出了一种创新的框架，利用人类反馈强化学习（DPO）在身份无关的参数空间中优化面部表情生成，成功解决了双人互动中表情情感不匹配和社会规范不符的问题，显著提升了虚拟互动的自然度和社交适宜性。