SIG: A Synthetic Identity Generation Pipeline for Generating Evaluation Datasets for Face Recognition
本文介绍了合成身份生成（Synthetic Identity Generation, SIG）流水线，这是一种用于创建来源合乎伦理、平衡且可控的合成人脸数据集的方法，旨在克服传统数据收集中的物流与隐私挑战，并通过发布开源的 ControlFace10k 数据集来验证其有效性，该数据集用于评估人脸识别算法及偏差。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，摄像头和计算机越来越多地被要求承担人类眼睛的工作，以快速且可靠的方式在机场、体育场和边境识别身份。为了让这些系统运行得公平且准确，它们必须针对各种各样的面孔进行测试，这些面孔应代表不同的年龄、肤色和性别，并从许多不同的角度进行捕捉。然而，收集这样多样化的真实人类照片充满了困难。征得每一位参与者的同意来收集图像既缓慢又昂贵，而未经许可从互联网上抓取照片则引发了严重的伦理和法律问题。这造成了一个缺口：研究人员需要平衡且高质量的数据来测试他们的系统是否存在偏见，但他们无法轻易地从现实世界中获取这些数据。
为了弥补这一缺口，南方理工大学（Southern Methodist University）的一个研究小组开发了一种全新的方式，从零开始创建他们所需的数据。他们构建了一个被称为 SIG 的流水线，该流水线利用先进的图像生成技术来制作不存在的人的逼真照片。这些合成面孔并非随机生成的；该系统允许创造者精确指定人物的外貌，控制其年龄、种族、性别，甚至是头部角度。通过生成这些图像，该团队制作了一个名为 ControlFace10k 的新数据集，其中包含超过 10,000 张图像，涉及 3,300 多个独特的合成个体。该数据集是完美平衡的，不同种族、年龄和性别的人数相等，为测试人脸识别系统在不同群体中的表现提供了一个干净、符合伦理的工具。
该过程始于一位“数字建筑师”，负责为图像生成器编写详细的描述或提示词。系统不仅仅是要求生成一张“脸”，而是通过结合特定的名称和属性来创造一个独特的身份。随后，它使用一个强大的图像生成引擎，该引擎的工作原理是从一张带有噪声、类似静态图像的图像开始，在文本描述的引导下逐渐细化，直到出现一张清晰的面孔。为了确保面孔呈现出特定的姿态——向左看、向右看或直视前方——系统使用了一种控制机制，该机制就像一个“骨架”，将期望的身体位置映射到新图像上。这使得研究人员能够生成同一个人看向三个不同方向的图像，从而确保测试系统在面对姿势变化时能否识别出同一个身份。
其结果是 ControlFace1k，一个包含 3,336 个独特合成身份的数据集。每个身份都由处于三个不同年龄阶段（25岁、50岁和65岁）以及四个主要种族群体（非洲裔、亚裔、高加索裔和印度裔）的图像组成。该数据集在男女比例上也进行了平分。与以往许多尝试创建假脸的做法不同（那些做法往往导致图像看起来略显违和，或无法在不同照片中保持一致的身份），该流水线生成的图像具有超写实的质感，并拥有理想的光照和对焦。研究人员强调，其目标并非创造完美的训练数据，而是创建一个受控的环境，以便他们能够精确测量人脸识别系统在面对特定、平衡的变量时的行为。
为了验证这种合成数据是否有用，该团队将其应用于目前最先进的两套人脸识别系统进行测试。他们将图像输入这些系统，观察机器如何对不同面孔之间的相似度进行评分。结果显示，这些合成面孔的表现与真实人类面孔非常相似。当系统比较两个不同的人时，得分很低，表明系统正确地将他们识别为陌生人。当系统比较同一个合成人的三张不同照片时，得分很高，表明系统识别出了身份。然而，测试也揭示了当同一个人从不同角度被展示时，系统仍然会面临挑战，这是现实世界场景中的一个常见难题。
分析还强调了系统处理不同种族时的细微差异。例如，其中一个被测试的系统对非洲裔和印度裔面孔给出的相似度评分略高于其他群体，这表明该特定算法在处理这些特征时可能存在潜在的偏见。由于该数据集是完美平衡的，这些模式得以清晰地显现出来，而在那些某些群体代表性不足、杂乱无章的现实世界数据集中，这些模式可能会被掩盖。这展示了合成方法的价值：它提供了一面清晰、无偏见的镜子，用以反映技术的优势与弱点。
研究人员总结道，虽然他们的合成数据集不能完全替代所有的现实世界数据，但它是一个强大的评估工具。它允许科学家测试特定的场景，例如系统如何处理衰老或不同的姿势，而无需面对收集真实照片带来的伦理和物流障碍。通过免费开放这个数据集，该团队希望能够鼓励一种更严谨、更公平的人脸识别技术开发方法，确保无论人们的外貌如何或观察角度如何，这些系统都能可靠地为每个人服务。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。