🤖 machine learning

Towards Customized Multimodal Role-Play

本文提出了定制化多模态角色扮演（CMRP）这一新任务，并设计了 UniCharacter 两阶段训练框架，该框架利用 RoleScape-20 数据集和少样本学习，使统一模型能够跨文本与图像模态一致地定制角色的个性、对话风格及视觉身份。

原作者： Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Chao Tang, Jianzong Wu, Qingyu Shi, Ye Tian, Aixi Zhang, Hao Jiang, Jiangning Zhang, Yunhai Tong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想构建一个数字朋友，它不仅仅是一个聊天机器人，而是一个完全成型的角色。也许它是一位勇敢的骑士、一个俏皮的动漫女孩，或者某位特定的名人。

目前，技术通常迫使你做出选择：你可以拥有一个说话像你想要的人物的角色（文本机器人），或者一个看起来像他们的角色（图片生成器）。但你无法在保持角色一致性的同时，真正同时拥有两者。如果你让文本机器人画一幅画，它可能看起来像一个普通的骑士，而不是你那位特定的骑士。

这篇论文介绍了一个名为UniCharacter的新项目来解决这个问题。以下是其工作原理，分解为简单的概念：

1. 目标：“终极角色扮演”

作者创建了一项新任务，称为定制化多模态角色扮演（CMRP）。这就像教导 AI 穿戴一层“数字皮肤”，同时覆盖它的声音和面容。

挑战：如果你问 AI“你在做什么？”，它需要用角色的特定个性来回答，并生成一张图片，展示该角色正在做它所说的事情，且外貌与它完全一致。
结果：AI 不再在“文本模式”和“图像模式”之间切换。它在两种模式下都保持角色状态，维持相同的个性、说话风格和视觉身份。

2. 训练场："RoleScape-20"

为了教导 AI，研究人员不能仅仅使用随机的互联网数据。他们建立了一个名为RoleScape-20的特殊训练营。

演员阵容：他们收集了 20 个不同的角色，范围从现实人物（如演员）到动漫角色，甚至包括动物。
课程大纲：对于每个角色，他们不仅给 AI 提供了几张照片，还提供了一个“角色圣经”（个性档案）、几张参考照片以及数百个对话示例。
额外加分：他们还教导 AI 回答关于角色背景的问题（知识问答）以及关于图片中正在发生什么的问题（视觉问答），确保 AI 真正理解角色，而不仅仅是模仿他们。

3. 教学方法：两阶段教学计划

研究人员使用了一个两步流程来训练他们的模型，他们称之为UniCharacter。

第一阶段：“家庭作业”阶段（统一监督微调）
把这想象成 AI 在做家庭作业。他们向模型展示了成千上万个角色说话和角色观察事物的例子。

AI 学会了写出听起来像该角色的文本。
AI 学会了观察图片并用该角色的声音进行描述。
问题：当 AI 试图根据这些家庭作业绘制新图片时，它陷入了困境。它开始过于紧密地复制家庭作业图片，就像一个死记硬背了答案却无法解决新问题的学生。这些画作与训练照片过于相似，缺乏多样性。

第二阶段：“创意工作坊”阶段（Character-GRPO）
为了解决复制问题，他们引入了一个使用名为Character-GRPO技术的第二阶段。

类比：想象 AI 是一位艺术家。在第一阶段，它学习了风格。在第二阶段，老师说：“好吧，现在在一个新情境中画出这个角色。但规则是：不要只是复制旧画作。尝试创作一些新鲜的东西，但它必须看起来还是同一个人。”
奖励系统：AI 会因为以下方面获得“积分”（奖励）：
1. 对齐度：画作是否与文本提示匹配？（例如，如果文本说“开心”，角色是否在微笑？）
2. 多样性：AI 是创作了一张独特的图片，还是仅仅复制了一张训练照片？
3. 一致性：这个角色看起来是否仍然像那个特定的角色？
通过玩这种尝试不同变体并为最佳结果获得积分的“游戏”，AI 学会了生成许多不同的高质量图像，而不仅仅是复制其训练数据。

4. 结果：真正的数字人格

论文表明，UniCharacter 在以下方面优于以往的方法：

保持角色：文本听起来更像特定的人（例如，使用他们特定的口头禅或语调）。
视觉一致性：生成的图像看起来像该角色，而不仅仅是他们的通用版本。
多功能性：它可以同时完成所有任务：聊天、回答关于角色的琐事、描述图像以及绘制新场景，同时保持相同的“灵魂”。

总结

简而言之，这篇论文提出了一种构建** cohesive（连贯）** 数字角色的新方法。UniCharacter 将像角色一样说话的文本机器人和看起来像角色的独立图像生成器结合到一个大脑中。它利用一种特殊的两步训练方法，同时学习角色的“灵魂”（个性）和“身体”（外貌），确保角色不仅仅是死记硬背过去，而是能够创造性地演绎新场景，同时忠于其原本的身份。

技术摘要：迈向定制化多模态角色扮演

问题定义

当前的个性化虚拟角色系统主要运行于单模态。基于文本的模型可以模拟人设和对话，但缺乏视觉生成能力；而图像个性化方法（如 DreamBooth）可以复现视觉身份，却无法进行上下文对话或响应用户输入。尽管近期的统一多模态基础模型已展现出强大的跨模态理解与生成能力，但它们尚未被有效地适配于以人设为驱动的交互，此类交互要求语言风格、情感表达和视觉身份同时保持一致。

为了填补这一空白，作者引入了定制化多模态角色扮演（CMRP）。该任务旨在利用最少量的数据（一份文本档案、几张参考图像和示例对话），将通用多模态模型适配为特定的虚拟角色，以生成连贯的、符合角色设定的文本回复以及外观一致的图像。

方法论：UniCharacter

本文提出了UniCharacter，这是一个两阶段训练框架，旨在实现少样本的视觉 - 语言对齐，同时保持跨模态的一致性。

1. RoleScape-20 数据集

为了促进 CMRP，作者构建了RoleScape-20，这是首个多模态角色扮演数据集。它包含 20 个多样化的角色（现实人物、动漫/游戏角色和动物）。与专注于简单图像描述或纯文本对话的现有数据集不同，RoleScape-20 提供：

多模态角色扮演数据：配对的视觉 - 文本剧集，其中图像与对话、情绪和性格相一致。
细粒度标注：包括显式的“思维过程”（图像生成的推理）、生成指令，以及配对的视觉问答（VQA）和知识问答（Knowledge QA）样本。
规模：每个角色包含 150–250 个角色扮演对话，5–15 张参考图像，以及每张图像约 200 个 VQA 样本。

2. 训练框架

UniCharacter 采用两阶段流水线来适配统一多模态模型（具体基于 BAGEL 架构）：

阶段 1：统一监督微调（Unified-SFT）
该阶段将问题视为多任务学习。模型在四个子任务上进行微调，文本使用交叉熵（CE）损失，图像使用均方误差（MSE）损失：
1. 角色扮演聊天：生成符合角色设定的文本。
2. 思维任务：生成图像创建的推理过程。
3. 视觉问答（VQA）：基于角色图像回答问题。
4. 知识问答：基于角色背景档案回答问题。
5. 文生图（T2I）生成：根据文本指令生成图像。
阶段 2：角色组相对策略优化（Character-GRPO）
为了缓解基于 SFT 的图像生成中常见的视觉过拟合和低多样性问题（这通常依赖于固定的真实图像），作者针对 T2I 分支引入了一个强化学习阶段。
- 机制：模型不再针对单个真实图像，而是为给定的提示生成一组 $G$ 个样本。
- 奖励函数：综合奖励信号（ $R_{total}$ $R_{t o t a l}$ ）指导策略（ $\pi_\theta$ $π_{θ}$ ），包括：
  - 图文对齐：通过 CLIP 相似度（ $r_{CLIP}$ ）和 VQA 一致性（ $r_{VQA}$ ）进行衡量。
  - 多样性：使用 LPIPS 的感知多样性奖励（ $r_{div}$ ），以鼓励生成组内的方差。
  - 相似性惩罚：基于 DINO 特征与训练集的相似性进行惩罚（ $p_{sim}$ ），以防止记忆化同时保留角色身份。
- 优化：模型在组内优化优势函数，使其能够在无需每一步都有真实图像的情况下，探索多样化的视觉表征。

主要贡献

任务定义：引入了CMRP，这是一个将文本角色扮演与多模态个性化相结合的新任务。
数据集：发布了RoleScape-20，这是首个为深度角色定制提供全面多模态标注（档案、对话、图像、思维过程和问答对）的数据集。
框架：提出了UniCharacter，这是一个两阶段框架（Unified-SFT + Character-GRPO），能够在少样本设置下有效地对齐人设、对话风格和视觉身份。
性能：证明了所提出的方法在角色一致性、对话真实性、图像保真度和跨模态对齐方面优于现有基线。

实验结果

实验在 RoleScape-20 基准上进行，将 UniCharacter 与包括 DreamBooth、UniCTokens 和 Qwen2.5-VL 在内的基线进行了比较。

定量性能：UniCharacter 在所有指标上均取得了优越的结果。
- 图像生成：在 CLIP-I、CLIP-T 和 DINO 分数上超越了 DreamBooth，表明与提示和角色身份的对齐更好。
- 文本角色扮演：在记忆性、个性和多样性分数上（通过 LLM-as-Judge 评估）超越了 Qwen2.5-VL（带文本提示）。
- 多模态角色扮演：相比 UniCTokens，展现了更高的身份保真度和更好的图文对齐。
- 问答任务：在知识问答和 VQA 中保持了强劲的性能，证实了生成能力并未损害理解能力。
消融研究：
- 移除 GRPO 阶段会导致图像多样性降低以及与训练集的相似度更高（过拟合）。
- 包含特定的奖励组件（CLIP-T、VQA、多样性、相似性惩罚）被证明对于平衡图像质量、对齐和多样性至关重要。
- 用户研究证实，在文生图生成、多模态角色扮演和文本角色扮演任务中，用户更倾向于 UniCharacter。

意义与主张

本文认为，CMRP结合统一建模，为下一代具有角色特征且沉浸式的交互智能体提供了基础。通过在单一框架内成功统一人设、对话风格和视觉身份，UniCharacter 使得创建不仅视觉一致，而且在语言上富有表现力、情感上连贯的虚拟角色成为可能。

作者指出，他们的方法仅需10 张图像和相应的交互示例即可进行角色定制，每个角色大约需要100 个 GPU 小时。他们将这项工作定位为迈向解决多模态角色扮演“圣杯”的一步，即智能体能够在文本和视觉模态之间保持稳定的角色设定，而不会出现当前单模态系统中常见的碎片化现象。

局限性与未来方向：
作者承认，当前的任务仅限于文本和图像。未来的工作需要将此扩展到定制化视频生成（确保时间一致性）和多轮/长轮对话（需要稳健的长期记忆以防止角色漂移）。此外，实时部署、安全可控性以及用户参与的定制被确定为需要进一步探索的领域。