技术摘要：FiCA - 前馈即时高斯编解码头像

问题陈述

从单张肖像图像创建具有逼真度且可驱动的 3D 人类头像是一个高度病态的问题，因为推断 3D 几何形状和外观所需的视觉信息极度匮乏。现有的解决方案在数据丰富度与计算负担之间面临权衡：

• 高保真方法依赖于密集的、多视角捕获系统和离线优化，这既耗时又耗费资源。
• 近期的单图方法通常需要繁琐的测试时优化（例如 GAN 反转或微调），以将通用先验与特定身份对齐，从而限制了其易用性和速度。
• 目前的当前前馈方法往往存在视觉伪影、缺乏身份保持能力或在驱动头像时表现力有限的问题。

目标是开发一种能够从单张随手拍摄的肖像图像中，在数秒内生成真实、可实时驱动的头像的系统，且无需针对特定人物进行测试时优化。

方法论：FiCA 流水线

FiCA（Feed-forward Instant Gaussian Codec Avatar，前馈即时高斯编解码头像）是一个模块化的前馈流水线，可将单张肖像图像转换为一组可用于实时动画的 3D 高斯点。该过程由三个主要阶段组成：

1. 通过视觉基础模型进行条件化

为了解决单张图像中 3D 信息缺失的问题，系统利用以人为中心的视觉基础模型来提取丰富的特征：

• CLIP 嵌入： 从输入图像中提取高层级的视觉语义信息 ($f_{CLIP}$)。
• Sapiens 模型： 微调后的 Sapiens 模型预测逐像素的 UV 坐标、网格顶点坐标和表面法线。
• 部分观测： 这些预测被展开为四个部分 UV 图：RGB 纹理、可见性掩码、法线图和顶点坐标 ($UV_{partial}$)。这些作为生成模型的条件信号。

2. 基于扩散模型的纹理与几何生成

一个基于 DiT 架构的潜在扩散模型根据部分观测生成完整的 UV 纹理和几何图。

• 输入： 该模型接收 CLIP 嵌入、部分 UV 图、领域切换器（用于区分纹理和几何任务）、扩散时间步长以及随机噪声。
• 训练目标： 模型使用条件流匹配（conditional flow matching）目标进行训练，以学习从不完美的局部观测到完整、真实的 3D 网格表示的生成映射。与修复模型（inpainting models）不同，该扩散模型旨在“想象”出完整的几何和纹理（包括嘴部内部等自遮挡区域），同时保持身份特征。
• 输出： 一个完整的规范化纹理网格 ($\tilde{T}, \tilde{G}$)。

3. 前馈网格细化

为了在不进行测试时优化的情况下增强保真度和身份保持能力，引入了一个学习的前馈细化网络 ($R_\phi$)。

• 机制： 该网络获取初始扩散生成的纹理和几何，以及从原始输入图像和渲染出的扩散网格（通过 Sapiens ViT）中提取的密集视觉特征。
• 架构： 一个带有交叉注意力层的 U-Net，允许网络通过引用图像特征来细化 UV 图。
• 损失函数： 训练利用光度损失、2D 关键点损失、掩码损失和正则化项的加权和，以确保细化后的网格与输入图像对齐，同时防止对可见部分的过拟合。
• 结果： 一个经过细化的规范化网格 ($T, G$)，其修正了肤色和几何细节。

4. 通过通用先验模型 (UPM) 解码为 3D 高斯

最后一步是通过通用先验模型将细化后的规范化网格转换为可实时驱动的头像。

• 身份编码器 ($E_{\psi}^{id}$)： 一个基于 CNN 的超网络，将细化后的 UV 纹理和几何编码为特定身份的偏差图 ($\Psi_{id}$)。
• 3D 高斯解码器 ($D_{\psi}^{dec}$)： 该解码器接收偏差图和驱动信号（表情代码、视线向量、注视向量）来生成一组 3D 高斯点。
• 输出： 一个由 3D 高斯表示的“编解码头像”，可以实现任意表情的实时动画驱动。

核心贡献

1. FiCA 系统： 一个完整的前馈流水线，能从单张随手拍摄的肖像图像中生成真实的、可驱动的高斯编解码头像，耗时约 5 秒，消除了对特定人物进行测试时优化的需求。
2. 用于头像生成的扩散模型： 一种新型扩散模型，学习从部分视觉观测（源自基础模型）到完整 3D 网格纹理和几何的生成映射，有效处理了自遮挡区域问题。
3. 前馈细化网络： 一个学习模块，通过与图像特征的交叉注意力，通过修正细微细节（如肤色、衣物）来增强头像的保真度和身份保持能力，避免了迭代优化的计算成本。

实验结果

作者在具有多样化属性（种族、性别、年龄、发型）的未知身份及新颖表情上对 FiCA 进行了评估。

• 定性性能： FiCA 生成的头像具有极高的视觉保真度，保留了输入细节（如纹身、饰品），并能生成合理的未知区域（如口腔内部）。它在视图一致性和减少伪影（例如侧视图中没有“幽灵脸”）方面优于 PanoHead。
• 定量性能： 与近期竞争方法（GPAvatar, VOODOO 3D, Portrait4D, GAGAvatar）相比，FiCA 实现了更优的光度质量（更高的 PSNR 和 SSIM）以及显著更好的身份保持能力（更高的 ID-CSIM 分数）。
  • PSNR： FiCA (Mesh) 达到 24.281，而次优方法 (GAGAvatar) 为 22.157。
  • ID-CSIM： FiCA 达到 0.5867，而次优方法为 0.4339。
• 效率： 该流水线生成纹理网格仅需约 5 秒，而 PanoHead 的每人主题 GAN 反转则需要约 80 秒。

意义与主张

论文声称 FiCA 代表了迈向高保真头像创建民主化的重要一步。通过将以人为中心的基础模型与生成式扩散和前馈细化策略相结合，该系统弥补了单张图像有限信息与完整、可驱动 3D 几何需求之间的鸿沟。

作者强调，其方法：

• 消除了复杂采集设置和数小时优化过程的障碍。
• 实现了任意表情的实时动画，不同于静态重建方法。
• 证明了当通过扩散和细化进行正确条件化时，通用先验可以在无需针对用户进行微调的情况下，泛化到多样化的身份。

论文还指出了一些局限性，例如容易受到输入图像中极端光照或运动模糊的影响，并提出了未来在光照归一化、模糊校正以及眼镜等配件联合生成方面的研究方向。