💻 computer science

AnyID: Ultra-Fidelity Universal Identity-Preserving Video Generation from Any Visual References

AnyID 提出了一种超保真通用身份保持视频生成框架，通过可扩展的全参考架构统一处理多样化身份输入，并采用主参考生成范式与差分提示技术，在大规模数据集训练及基于人类偏好反馈的强化学习微调后，实现了高保真身份还原与精准的属性级可控性。

原作者： Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Wang, Hualian Sheng, Sijia Cai, Yuxiao Yang, Weizhan Zhang, Caixia Yan, Bing Deng, Jieping Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 AnyID 的超级厉害的视频生成工具。简单来说，它的核心能力是：让你用任何你手头的照片或视频，生成一段保持“本人”长相不变，但可以做任何你想做的动作、穿任何衣服、在任何场景下活动的超逼真视频。

为了让你更容易理解，我们可以把这项技术想象成**“给演员找替身”和“导演喊卡”**的过程。

1. 以前的痛点：只有一个“参考图”的尴尬

想象一下，以前的视频生成工具就像是一个只看过一张照片的替身演员。

问题：如果你只给演员看一张正面的照片，让他去演一个“侧身回头”或者“大笑”的镜头，他可能会演得很奇怪。因为那张照片里只有正面的信息，演员不知道侧脸长什么样，也不知道笑起来嘴角怎么动。
结果：生成的视频里，人物的脸可能会变形，或者看起来不像本人（这就叫“身份漂移”）。而且，以前的工具通常只能让你换衣服，很难精准控制“只换衣服不换发型”或者“只换背景不换表情”。

2. AnyID 的绝招：组建“全能情报组”

AnyID 的聪明之处在于，它不再只盯着那一张照片看，而是把你手里所有的资料都拿来用。

自由形式的参考（Free-form References）：你可以给它一张正脸照、一张侧身照、一张全身照，甚至一段你平时走的视频。
比喻：这就好比导演不再只给替身演员看一张照片，而是给他看了一整本**“人物档案”**。档案里有这个人的正面、侧面、大笑、严肃、走路、跑步等各种状态。
效果：有了这本“档案”，替身演员（AI 模型）就能完美理解这个人的3D 长相和动态习惯。无论让他转圈、大笑还是换场景，他都能保持“本人”的神韵，不会变成另一个人。

3. 核心魔法：主参考 + 差分指令（Primary Reference & Differential Prompt）

这是 AnyID 最精妙的“导演技巧”，解决了“怎么改”的问题。

主参考（Primary Reference）：
- 比喻：这是**“定海神针”。你从所有资料里选一张最清晰的作为“标准照”。AI 会死死记住这张照片里的发型、衣服、配饰，作为不变的基础**。
差分指令（Differential Prompt）：
- 比喻：以前的指令像写**“作文”**（例如：“一个穿着红衣服在公园跑步的人”），AI 容易搞混，把发型也改了。
- AnyID 的指令像**“修改意见”**（例如："只把衣服换成红衣服，只把背景换成公园，其他（发型、表情）保持原样”）。
- 效果：AI 只关注你想改的地方，没提到的地方就自动保持“主参考”里的样子。这样就能精准地实现“换衣服不换脸”、“换背景不换发型”。

4. 最后的打磨：人类反馈强化学习（RL）

模型训练好了还不够，怎么让它更像“人眼”喜欢的样子？

比喻：就像电影拍完后，导演不会只看数据（比如像素对不对），而是会找观众试映。
过程：AnyID 生成了两个视频，让真人观众来挑：哪个更像本人？哪个更符合你的修改要求？
结果：AI 根据观众的投票（“这个好，那个不好”）不断自我修正。这就像给 AI 请了一位**“人类审美导师”**，让它生成的视频不仅技术上达标，而且看起来更自然、更高级。

总结：AnyID 能做什么？

想象一下，你想拍一部微电影，主角是你自己：

输入：你上传了几张不同角度的自拍，还有一段你走路的短视频。
指令：你对 AI 说：“保持我的脸和发型不变，只把衣服换成宇航服，只把背景换成火星，然后让我做一个敬礼的动作。”
输出：AI 生成了一段超逼真的视频，里面的“你”穿着宇航服在火星敬礼，脸还是你的脸，发型也没乱，动作流畅自然。

一句话总结：AnyID 就像一个拥有“读心术”和“记忆宫殿”的超级替身演员，它能把你手头的任何资料拼凑成完整的人物形象，并精准地只执行你要求的改变，让你轻松拥有好莱坞级别的个人定制视频。

AnyID：基于任意视觉参考的超保真通用身份保持视频生成技术总结

1. 研究背景与问题 (Problem)

现有的身份保持视频生成（Identity-Preserving Video Generation）方法主要存在以下核心痛点：

单参考源的局限性（病态问题）： 大多数现有方法仅依赖单张面部图像作为身份参考。然而，人的身份由3D面部结构和动态表情特征共同定义。单张2D静态图像无法捕捉这些多维信息，导致模型在生成不同视角或表情的视频时，出现严重的身份漂移（Identity Drift）或伪影。这是一个典型的“病态”（ill-posed）问题。
输入格式僵化： 现有方法通常针对单一输入格式（如仅支持面部特写）进行优化，无法灵活处理用户多样化的真实世界输入（如全身照、不同角度的视频片段、多张不同场景的照片等）。
控制粒度不足： 在保持身份的同时，难以精确控制特定属性（如发型、服装、背景）的变化，往往导致“复制粘贴”效应或无法遵循提示词（Prompt）的修改指令。

2. 核心方法论 (Methodology)

AnyID 提出了一套全新的框架，旨在解决上述问题，其核心流程包含四个关键部分：

2.1 任务定义：任意参考集 (Free-form References)

AnyID 将任务重新定义为：给定一个包含 $N$ 个视觉参考的集合 $R$ （可以是混合模态，如面部图、肖像图、视频片段），以及一个目标提示词 $d$ ，生成既保持身份又符合提示词的视频。

2.2 可扩展的全参考架构 (Scalable Omni-Referenced Architecture)

统一异构输入： 为了融合不同类型的参考（图像/视频），AnyID 摒弃了依赖外部专用编码器（如专门的Face Encoder）的做法，转而利用预训练的 VAE 编码器。
时间维拼接： 所有参考输入（静态图视为单帧视频）被标准化并编码为潜在表示（Latent Codes），然后沿时间维度拼接，形成一个统一的条件序列。
时间步掩码策略： 在训练过程中，参考帧被赋予 $t=0$ （无噪声），而目标视频帧被赋予 $t>0$ （含噪声）。这种策略使模型能够区分“参考信息”和“生成目标”，从而学习如何从参考中提取身份信息并应用到目标帧中。

2.3 主参考生成范式与差分提示 (Primary-Referenced Generation & Differential Prompt)

为了解决多参考源之间可能存在的属性冲突（如不同参考图中发型或背景不一致），AnyID 引入了：

主参考（Primary Reference）： 指定一个参考作为“锚点”（Anchor），所有静态属性（如发型、服装、配饰）默认继承自该参考。
差分提示（Differential Prompt）： 传统的绝对描述提示词难以精确控制“变化”。AnyID 采用差分策略，提示词仅描述相对于主参考需要改变的部分。未提及的属性将自动保持与主参考一致。
- 实现流程： 利用视觉语言模型（VLM）分别生成主参考和目标视频的详细描述，再通过大语言模型（LLM）对比两者，过滤掉相似度高的属性，仅保留差异部分生成最终提示词。

2.4 以人为本的强化学习 (Human-Centric Reinforcement Learning)

为了超越像素级损失函数（MSE）的局限，提升人类感知层面的质量，AnyID 引入了基于人类反馈的强化学习（RL）：

双轨评估体系： 构建了一个偏好数据集，包含两个维度的评估：
1. 身份保真度（Identity Fidelity）： 评估生成视频是否完美保留了人物的动态身份特征。
2. 提示词可控性（Prompt Controllability）： 评估生成视频是否准确执行了差分提示词中的修改，同时保持未提及属性的一致性。
DPO 优化： 使用直接偏好优化（Direct Preference Optimization, DPO）算法，基于人类标注的“优胜/劣败”（Win-Lose）对进行微调，使模型输出更符合人类的高层期望。

3. 关键贡献 (Key Contributions)

任务范式的革新： 首次提出了基于**多参考、自由形式（Free-form）**的身份保持视频生成任务，解决了单参考导致的病态问题，显著提升了模型在复杂视角和动态下的身份一致性。
架构创新： 设计了**全参考（Omni-Referenced）**模型架构，利用单一 VAE 编码器统一处理异构输入，无需复杂的专用编码器，实现了高保真和广泛的兼容性。
控制机制突破： 提出了主参考 + 差分提示的生成范式，实现了属性级别的精确控制（如仅换衣服不换发型），解决了多参考源属性冲突的难题。
训练策略升级： 构建了大规模、精心策划的数据流水线，并引入基于人类反馈的强化学习（RLHF/DPO），显著提升了生成视频的细节质感、身份真实感和提示词遵循度。

4. 实验结果 (Results)

AnyID 在构建的基准测试（Benchmark）上进行了全面评估，对比了 ConsisID, FantasyID, Phantom, SkyReels-A2 等主流基线模型：

身份保真度（Identity Fidelity）： 在 Holi-Arc 和 Holi-Cur 指标上分别达到 73.22% 和 67.52%，远超基线模型。特别是在面部角度变化大、表情丰富的情况下，AnyID 能保持极高的身份稳定性，而基线模型常出现身份漂移或扭曲。
提示词可控性（Prompt Controllability）： 在外观（App.）、动作（Mot.）和背景（Bg.）的匹配度上均取得最高分（例如 App. 达到 86.56%），证明了差分提示策略的有效性。
视觉质量： 在静态清晰度（Sta.）和动态流畅度（Dyn.）上均领先，视频自然度极高。
用户研究： 在涉及 20 名参与者的用户研究中，AnyID 在身份保真度和提示词可控性上的胜率超过 70%，在元素一致性和视觉质量上胜率超过 60%。
消融实验： 验证了主参考/差分提示设计（解决属性冲突）、多参考输入（提供3D先验）以及强化学习（提升细节质感）的必要性。

5. 意义与影响 (Significance)

技术层面： AnyID 打破了身份保持视频生成对单张图像的依赖，通过多参考融合和差分控制机制，为生成式视频模型解决“病态问题”提供了新的理论框架和技术路径。
应用层面： 极大地降低了高质量个性化视频创作的门槛。用户可以使用自己现有的照片、视频片段（甚至模糊的、不同角度的素材）来生成电影级质量的视频，适用于虚拟化身、个性化叙事、影视制作和元宇宙应用。
社会价值： 虽然存在 Deepfake 风险，但论文强调了内置的内容审核和水印机制，并承诺开源透明，旨在推动负责任的 AI 发展，赋能创意表达而非滥用。

总结： AnyID 通过“多参考融合”解决身份定义的模糊性，通过“差分提示”解决属性控制的精确性，并通过“人类反馈强化学习”解决生成质量的感知对齐，是目前身份保持视频生成领域的一项突破性工作。