Source-Face Authenticity Detection for 3D Gaussian Heads Reconstructed from a Single Portrait: A Benchmark and Dedicated Detector
本文引入了首个大规模基准测试以及一种新颖的两阶段检测器，该检测器利用掩码自编码、多视图对比学习和多层级标记融合，旨在有效区分从单张肖像重建的3D高斯头部中的真实与伪造源人脸，从而解决现有方法中伪造痕迹减弱的问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字时代，一张照片现在可以被转化为一个可以旋转、缩放并从任何角度观看的全三维头部模型。这项技术仅凭一张平面照片即可构建出逼真的3D模型，为虚拟化身和沉浸式娱乐开辟了新的大门。然而，同样的能力也创造了一个重大的漏洞。如果原始照片是伪造的——由人工智能创建或经过篡改以改变人物身份——那么生成的3D模型也会继承那个虚假的身份。由于3D模型可以从新的角度进行渲染，它会成为一种持久且极具说服力的冒充资产，可能绕过依赖人脸识别的安全系统。核心挑战在于，将2D图像转换为3D对象的过程往往会抹平或隐藏那些能够揭示源图像真伪的细微数字指纹。
为了应对这一日益增长的威胁，研究人员开发了首个专门用于检测从单张肖像重建的3D头部是基于真实人物还是伪造人物的大规模系统。该团队创建了一个包含近36万张3D头部渲染图像的海量数据集。这些图像是由真实的摄影照片和伪造的照片混合生成的，后者使用了九种不同的人工智能方法创建，包括通过文本描述生成面部、在人与人之间交换面部或动画化表情的工具。随后，研究人员使用五种不同的重建技术将这些2D图像转化为3D模型，并从各种角度进行渲染，以模拟用户在现实世界中可能遇到的情况。
研究人员发现，现有的旨在识别伪造2D图像的工具在应用于这些3D模型时失效了。标准检测器之所以表现挣扎，是因为3D重建过程改变了视觉证据，且3D头部的视角变化使得伪造特征会根据角度的不同而呈现出不同的形态。为了解决这个问题，该团队构建了一个分为两个截然不同阶段的新型检测器。首先，系统通过练习一种视觉重建形式来学习保留精细细节，即通过填补图像中缺失的部分来理解底层的纹理和结构。同时，它学习了识别同一头部下的不同视图属于同一个整体，从而确保无论摄像机角度如何，它都能一致地识别该物体。在第二个阶段，系统结合了来自不同分析层级的线索来进行最终决策，就像人类可能会从多个距离和角度观察一张脸以确定其真实性一样。
结果显示，这种新方法显著优于所有以往的方法。在一个旨在模拟现实世界条件的测试集上，该新型检测器达到了0.9的AUC值，比测试过的任何其他工具都能更准确地识别3D头部的真实性。它在识别由最新人工智能模型生成的伪造内容方面表现得尤致有效，即使这些模型并不在训练数据之中。这项研究表明，通过专注于保留细粒度细节并保持不同视图之间的一致性，即使在伪造内容被转化为复杂的3D对象后，仍然可以检测到深度伪造（deepfakes）。这项工作为新兴的3D数字身份领域建立了新的安全基准，提供了一种在“单张照片即可变成完全可渲染的三维人物”的世界中，保护免受冒充威胁的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。