FaithfulFaces: Pose-Faithful Facial Identity Preservation for Text-to-Video Generation
FaithfulFaces 是一种新颖的文本到视频生成框架，它通过引入姿态共享的身份对齐器和精心构建的多样化数据集，解决了复杂动态场景中的身份失真问题，从而在大幅姿态变化和遮挡情况下保持鲁棒的 facial 身份一致性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你想制作一部短片，其中特定人物（我们称他为“鲍勃”）正在打拳击。你只有一张鲍勃的照片，并希望人工智能生成一段他出拳、闪避和四处移动的视频。
当前人工智能工具的问题在于，它们就像失忆症患者。当鲍勃将头转向左侧时，人工智能会忘记从这个角度看到的鲍勃长什么样。它可能会突然将他变成另一个人，或者他的脸可能会融化成一个奇怪的团块。如果他将手放在脸前，人工智能就会惊慌失措并扭曲他的面部特征。
论文《FaithfulFaces》介绍了一种旨在解决这一问题的新系统。以下是其工作原理的简明解释：
1. 核心问题：“单视图”陷阱
大多数现有的人工智能模型只会查看你的参考照片，然后说：“好的，我看到了鲍勃的正面脸。”它们并不理解鲍勃的脸是一个可以转动、倾斜和扭转的三维物体。当视频要求展示侧面轮廓时，人工智能会尝试猜测，而通常猜错，导致脸部变形。
2. 解决方案：“姿态忠实”翻译器
作者构建了一个名为FaithfulFaces的新框架。可以将此框架想象为一个位于你的照片和视频生成器之间的超级智能翻译器。
- 旧方法： 翻译器只说：“这是鲍勃的脸。”
- FaithfulFaces 方法： 翻译器说：“这是鲍勃的脸，并且这是他的头在三维空间中倾斜、转向和旋转的确切方式。”
3. 工作原理：“姿态词典”
FaithfulFaces 的秘诀是一个名为姿态共享身份对齐器的组件。
想象一个装满卡片的大型图书馆（词典）。
- 旧图书馆： 只有“鲍勃的脸”的卡片，但没有“鲍勃向左转的脸”或“鲍勃向上看的脸”的卡片。
- FaithfulFaces 图书馆： 拥有一个特殊的姿态词典。它学习到，无论鲍勃是向左、向右、向上还是向下看，“鲍勃的脸”都是同一个人。
当系统看到你的照片时，它不仅仅是复制像素。它会：
- 测量姿态： 计算头部的确切角度（就像使用三维量角器测量倾斜度）。
- 查阅词典： 查找鲍勃在该特定角度下应该是什么样子。
- 对齐身份： 确保即使角度改变，面部的“灵魂”（身份）也能保持一致。
4. “训练健身房”
为了训练这个系统，研究人员不能仅仅使用随机视频。他们需要人们剧烈移动头部的视频。
- 他们建立了一个特殊的数据集流水线（工厂生产线），专门搜寻数千个视频。
- 他们过滤掉了人们静止不动的无聊视频。
- 他们只保留了人们打拳击、跳舞或大幅度转动头部的视频。
- 他们将这些“剧烈运动”视频喂给人工智能，使其能够学习：“好的，当头部转动 90 度时，鼻子会移动到这里，但眼睛仍然看起来像鲍勃的。”
5. 结果：忠实的演员
在他们的测试中，他们要求人工智能生成一个人打拳击的视频（这是一个充满快速头部运动和手部遮挡面部的场景）。
- 竞争对手（如 Kling 或 ConsisID）： 拳击手的脸部会发生变形，看起来像另一个人，或者当他转头时失去形状。
- FaithfulFaces： 拳击手始终保持是同一个人，特征清晰，即使他在出拳、闪避或抬头时也是如此。
总结类比
如果用当前的人工智能制作视频，就像试图根据单张照片画一个人，然后猜测他侧面的样子（通常会导致漫画式的 caricature），那么FaithfulFaces就像拥有一位3D 雕塑家，他确切知道这个人的脸部是如何构建的。无论这个人如何移动，雕塑家都能确保黏土保持正确的形状和身份。
该论文声称，这种方法在保持人物面部看起来真实且一致方面是最好的，即使他们正在进行复杂、动态的动作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。