💻 computer science

FG-Portrait: 3D Flow Guided Editable Portrait Animation

FG-Portrait 提出了一种基于 3D 流引导的可编辑肖像动画方法，通过利用参数化 3D 头部模型计算无学习成本的几何运动对应关系，并结合深度引导采样将其融入扩散模型，从而在实现高保真运动迁移的同时支持用户自定义的面部表情与头部姿态编辑。

原作者： Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yating Xu, Yunqi Miao, Evangelos Ververas, Jiankang Deng, Jifei Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你手里有一张静态的老照片（源图像），照片里的人是你的朋友，表情平静。现在，你手里还有一段视频（驱动图像），视频里是另一个人正在做鬼脸、转头、大笑。

你的目标是：让照片里的那个朋友“活”过来，做出视频里那个人的所有动作，但脸还是你朋友的脸，不能变成视频里那个人的脸。

这就是“人像动画”（Portrait Animation）要解决的问题。以前的方法就像是一个笨拙的模仿者，它试图猜：“哦，视频里的人嘴巴张开了，那照片里的人嘴巴也应该张开。”但因为它不懂人体内部的结构，经常猜错，导致照片里的人脸变形、五官乱飞，或者动作很僵硬。

这篇论文提出的 FG-Portrait，就像给这个模仿者装上了一副**"3D 透视镜”和“导航仪”**。

核心魔法：3D 流动（3D Flow）

以前的方法是在2D 平面上猜动作，就像在一张平铺的纸上画箭头，很难知道纸下面（也就是人脸内部）到底发生了什么。

FG-Portrait 的做法是：

先建个 3D 模型：它先把照片里的人和视频里的人，都还原成3D 的“数字人头”（就像用乐高积木搭出来的可动模型）。
计算“位移流”：它不需要猜，而是直接计算：当视频里的人把头向右转时，照片里那个 3D 模型上的每一个“像素点”，应该往哪个方向移动、移动多少距离，才能从“原来的位置”跑到“新位置”。
这就是"3D 流动”：这就像给照片里的每一寸皮肤都贴上了GPS 导航，告诉它们：“嘿，你要跟着视频里那个人的动作，沿着这条 3D 路线走！”

关键技巧：深度引导采样（Depth-Guided Sampling）

有了 3D 导航还不够，因为照片是平面的，而 3D 模型是立体的。这就好比你看着一张地图（2D 照片），想知道地图上那个点在山里的具体位置（3D 深度）。

以前的笨办法：像无头苍蝇一样，在地图对应的 3D 空间里随机乱找几个点，看看哪个像。这很容易找错，导致动作变形。
FG-Portrait 的聪明办法（深度引导）：它先算出人脸的深度图（哪里是鼻子凸起，哪里是脸颊凹陷）。然后，它只在这些真实的深度位置附近寻找对应的点。
- 比喻：就像你要找藏在树后的鸟，笨办法是往树林里乱开枪；聪明办法是先看树的高度，只往鸟可能藏身的树枝高度开枪。这样找到的“对应关系”才精准，动作才自然。

额外超能力：随意编辑

这个方法还有一个很酷的功能：在生成过程中，你可以随时指挥它。

比如，视频里的人只是微微笑，但你希望照片里的人大笑，或者把头转得更厉害。
以前的模型只能“照搬”视频，改不了。
FG-Portrait 因为是基于 3D 模型理解的，所以你可以直接输入指令：“把表情参数调大一点”，它就能在保持是你朋友脸的前提下，做出更夸张的动作。

总结：为什么它厉害？

以前的方法 (笨模仿者)	FG-Portrait (3D 导航员)
怎么动？在 2D 平面上瞎猜，容易把脸画歪。	怎么动？在 3D 空间里精确计算，知道骨头和肌肉怎么动。
结果：动作僵硬，或者脸变成了驱动者的脸（身份丢失）。	结果：动作流畅自然，完美保留原主人的脸。
灵活性：只能照搬视频，不能改。	灵活性：可以随意调整表情和头部的转动幅度。

一句话总结：
FG-Portrait 不再让 AI 在平面上“猜”怎么动，而是先给照片里的人造一个3D 骨架，然后像导演指挥演员一样，精确地告诉脸上的每一个点该往哪里走。这样，照片里的人就能既像自己，又完美复刻别人的动作，甚至还能听你的话即兴发挥！

这是一份关于论文 FG-Portrait: 3D Flow Guided Editable Portrait Animation 的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心任务：肖像动画（Portrait Animation），即给定一张源图像（Source Image，包含特定人物身份）和一张驱动图像（Driving Image，包含目标姿态和表情），合成一张既保留源人物身份，又具有驱动图像姿态和表情的目标图像。

现有挑战：

运动对应关系缺失：现有的基于扩散模型（Diffusion Models）的方法（如 X-Portrait, Face-Adapter 等）通常仅将驱动图像的运动作为条件，未能显式地建立源图像与驱动图像之间的像素级运动对应关系。这导致在大姿态变化或外观差异较大时，运动迁移不准确，甚至出现身份泄露或运动失真。
2D 流估计的病态性：传统方法尝试通过神经网络预测 2D 稠密光流（Motion Flow）来建立对应关系。然而，从单张 2D 图像推断 3D 运动本质上是病态问题（ill-posed），且依赖大量训练数据，难以在大幅度的姿态变化或外观差异下保持泛化能力。
编辑灵活性不足：大多数方法仅支持基于图像的驱动，缺乏在推理阶段对表情和头部姿态进行用户指定编辑的能力。

2. 方法论 (Methodology)

作者提出了 FG-Portrait，其核心思想是利用**3D 流（3D Flow）**作为几何感知的运动对应关系，并将其编码为扩散模型的新条件。

2.1 核心组件：3D 流 (3D Flow)

定义：3D 流描述了源人物（Source）和目标人物（Target，即源形状 + 驱动姿态/表情）在参数化 3D 头部模型（FLAME）上的逐点位移。
计算方式：
1. 利用 FLAME 模型从源图像和驱动图像中估计形状（ $\beta$ ）、姿态（ $\theta$ ）和表情（ $\psi$ ）参数。
2. 构建目标 3D 头部模型 $M_{tgt}$ （组合源形状 $\beta_{src}$ 和驱动姿态/表情 $\theta_{dri}, \psi_{dri}$ ）。
3. 通过表面场（Surface Field）搜索，建立目标空间点 $p_{tgt}$ 到源空间对应点 $p_{src}$ 的语义对应。
4. 计算 3D 流向量： $f_{src \leftarrow tgt} = p_{src} - p_{tgt}$ 。
优势：这是一种无学习（Learning-free）且几何驱动的方法，直接基于 3D 模型计算，避免了 2D 光流预测的不准确性，能在大姿态变化下保持精确对应。

2.2 3D 流编码与深度引导采样 (3D Flow Encoding & Depth-Guided Sampling)

为了将 3D 流整合进 2D 扩散模型，作者设计了以下流程：

3D 流编码：对于目标图像中的每个像素，将其反投影（Backproject）到 3D 空间。
深度引导采样 (Depth-Guided Sampling)：
- 问题：如果沿反投影射线均匀采样 3D 点，得到的 3D 流无法准确反映 2D 图像的运动变化。
- 解决：利用渲染的深度图（Depth Map）引导采样。在头部区域，采样点集中在渲染深度附近；在背景区域（如头发、帽子），采样范围适当扩大。
- 结果：生成的 3D 流编码 $F_{src \leftarrow tgt}$ 能更准确地反映像素从目标位置回到源位置的 3D 位移。
网络架构：
- 将计算出的 3D 流编码作为新的运动条件输入到 ControlNet 中。
- 保留原有的外观控制分支（Appearance Network）以提取源图像的身份和背景特征。
- 使用 Stable Diffusion U-Net 作为生成骨干。

2.3 可编辑性 (Editable Animation)

在推理阶段，模型不仅支持图像驱动，还支持用户指定的编辑。
用户可以直接修改 FLAME 的表情参数（ $\Delta \psi$ ）和姿态参数（ $\Delta \theta$ ），模型会重新计算 3D 流编码并生成新的动画结果，实现了前馈式的表情和姿态控制。

3. 主要贡献 (Key Contributions)

引入 3D 流作为运动对应：提出了一种无学习、几何感知的 3D 流方法，能够在大姿态和外观变化下，精确捕捉源到驱动的逐点 3D 位移，解决了传统 2D 光流预测不准的问题。
3D 流编码与深度引导采样：设计了新的运动条件输入机制，通过深度引导采样将 3D 运动先验与 2D 图像运动变化对齐，显著提升了运动迁移的准确性。
支持推理阶段的自由编辑：基于 3D 参数化头部模型，实现了在推理阶段对表情和头部姿态的用户指定编辑，无需重新训练或额外的驱动图像。
全面的实验验证：在 VFHQ 和 FFHQ 数据集上进行了大量实验，证明了该方法在运动准确性（APD, AED）和身份保持（CSIM）上的优越性，并展示了良好的泛化能力。

4. 实验结果 (Results)

定量评估：
- 运动准确性：在自重演（Self-reenactment）和交叉重演（Cross-reenactment）任务中，FG-Portrait 的 APD（平均姿态距离）和 AED（平均表情距离）均显著低于 SOTA 方法（如 X-Portrait, Face-Adapter, HunyuanPortrait）。例如，在交叉重演任务中，APD 从其他方法的 9.0+ 降低到了 7.764。
- 身份保持：在保持低运动误差的同时，CSIM（身份相似度）得分也保持在较高水平，证明了其在运动迁移和身份保持之间取得了更好的平衡。
- 图像质量：LPIPS 和 FID 指标表现优异，生成的图像清晰且自然。
定性评估：
- 在大姿态变化（如大幅度转头）和不同身份驱动下，FG-Portrait 能更准确地模仿驱动动作，且背景与人物融合更自然（不像某些方法仅动画化头部而固定背景）。
- 展示了灵活的表情和姿态编辑能力。
消融实验：
- 验证了3D 流编码比单纯使用驱动图像或预测光流更有效。
- 验证了深度引导采样对于提升运动对齐精度的关键作用（移除深度引导后，APD/AED 显著恶化）。

5. 意义与局限性 (Significance & Limitations)

意义：

范式转变：将参数化 3D 模型的几何先验（3D Flow）引入扩散模型，为肖像动画提供了一种更鲁棒、更精确的运动控制机制，不再单纯依赖数据驱动的 2D 光流预测。
实用价值：实现了高精度的运动迁移和灵活的编辑功能，在数字人制作、影视后期和个性化内容生成领域具有广泛应用前景。
解决痛点：有效解决了现有方法在大幅度运动下动作失真和身份丢失的难题。

局限性：

细粒度表情限制：受限于 FLAME 模型的网格分辨率，模型在表现极细微的纹理级表情（如极细微的肌肉抽动）时可能存在不足。
卡通/非真实图像：由于模型主要在真实人脸数据上训练，直接应用于卡通肖像时可能出现伪影（如眼睑闭合问题），需要针对特定领域微调。

总结：FG-Portrait 通过引入几何驱动的 3D 流编码，成功解决了扩散模型在肖像动画中运动对应关系模糊的问题，实现了高保真、可编辑且鲁棒的肖像动画生成。