Conversational Human Audio-visual Talking Dialogue Generation
本文介绍了 CHAT，这是一个通过统一大语言模型和说话人脸模型，从而根据单个文本提示生成多样化、对齐的二元视听对话剪辑的新型框架，旨在为成本高昂的现实世界数据收集提供一种可扩展且符合伦理的替代方案，同时展示了其在下游任务中的卓越性能和实用性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想要创作一个电影场景，其中两个人正在进行一场热烈的交谈。通常情况下，为了做好这一点，你需要雇佣演员、架设摄像机、录制音频，并花费数小时进行剪辑，以确保他们的口型与言语一致，且面部表情符合情绪。这既昂贵又耗时，有时还会引发隐私担忧。
这篇论文介绍了一种名为 CHAT 的新型人工智能工具，它就像是一个将“神奇剧作家和导演”合二为一的角色。你不需要雇佣演员，只需输入一个描述场景的句子（例如“两位朋友讨论人工智能”），CHAT 就能为你生成整个视频片段。
以下是它的工作原理，分为简单的几个步骤：
1. 编剧（文本对话生成）
首先，AI 扮演创意作家的角色。你给它一个提示词，它会发明一段两个角色之间的完整对话。它不仅编写文字，还会构思这些人的身份（例如“一位沉稳的绅士”和“一位充满活力的女士”），并决定他们的情绪状态（快乐、严肃或兴奋）。
2. 配音演员与导演（音频精修）
接下来，AI 将这些文本转化为语音。但它不仅仅是机械地朗读文字，而是加入了一层“人文触感”：
- 情感： 它确保声音根据语境听起来是快乐、悲伤还是愤怒。
- 真实感： 在现实生活中，当一个人说话时，另一个人通常会发出一些细小的声音，如“嗯”、“啊哈”或“噢！”，以表示正在倾听。这个 AI 会自动添加这些细微的声音，使对话感觉像是真实的互动，而不是两个人轮流朗读剧本。
3. 动画师（面部行为生成）
最后，AI 通过视觉方式赋予角色生命。这是最复杂的部分，它使用了一个巧妙的“两步舞步”：
- 第一步（基础）： 它首先让角色的嘴部动作与他们所说的话相匹配。
- 第二步（反应）： 这就是见证奇迹的时刻。AI 会观察另一个人正在做什么以及在说什么。如果 A 正在讲笑话，AI 会让 B 在 A 说话的同时微笑或大笑。如果 A 很伤心，B 则会表现出担忧的神情。它确保两张脸在实时对彼此做出反应，创造出一种大多数其他 AI 工具都缺失的“相互响应性”。
为什么这很重要？
作者解释说，现有的 AI 工具通常只做其中之一：
- 独自说话： 它们能让一个人说话，但不会对他人的存在做出反应。
- 独自反应： 它们能让一个人对视频做出反应，但不会生成对话或对方的语音。
CHAT 的独特之处在于，它能同时生成对话的双方，并且两人都能自然地对彼此做出反应。
“50,000 个场景”库
为了证明其有效性，研究人员利用 CHAT 自动生成了一个庞大的对话片段库（称为 CHAT-AVD-50k 数据集）。他们说这就像是为其他 AI 系统创建了一个巨大的“训练场”。当他们使用这个库来训练其他 AI 模型时，这些模型在理解人类交互方面，比仅使用真实人类视频进行训练的效果更好。
局限性
论文承认，这个过程目前运行起来缓慢且昂贵。因为它本质上是在为每一个片段同时运行一个编剧、一个配音演员和一个动画师，因此需要大量的计算能力。它目前还不是一种能在笔记本电脑上几秒钟内运行的工具，但它证明了从零开始创造逼真、互动的真人对话是可能的。
简而言之： CHAT 是一个可以将一个简单的想法转化为一段逼真的视频的系统，展示了两个人在进行自然、富有情感且具有互动性的交谈。它解决了如何让“两位演员”完美配合表演，而无需实际雇佣任何人的问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。