A Large-scale Evaluation of Text-guided Models for Facial Editing

想象一位数字艺术家，只需在电脑中输入一个简单的句子，就能改变一个人的发色、戴上一副眼镜，或者让他的头转向地平线。这就是文本引导图像编辑（text-guided image editing）所承诺的前景——这是一个快速发展的领域，人工智能通过学习理解人类语言，并将这些指令应用于照片之中。多年来，研究人员一直在构建能够实现这些壮举的系统，但它们经常面临一个特定的挑战：如何在做出请求的更改时，仍让照片中的人看起来像他自己。旧的方法要么会对脸部进行过多的修改，导致其变得无法辨认；要么只能进行非常有限的调整，比如改变头部的角度。现在，新一代工具已经出现，声称解决了这些问题，提供了根据文本提示进行复杂且逼真编辑的能力。但随着这些工具变得越来越强大，一个关键的问题仍然存在：它们对每个人都同样有效吗？还是说它们存在隐藏的缺陷，会对不同群体产生不公平的对待？

一个研究小组着手通过测试六种最流行的文本引导编辑模型来回答这个问题。他们不仅仅是要求计算机进行一些随机的更改；他们进行了一次大规模、系统性的评估，涉及近一百万次图像编辑。目标是观察这些模型如何处理连续执行四个不同指令的过程，例如改变一个人的发色，然后戴上一顶帽子，接着更换帽子，最后转动头部。为了实现这一目标，研究人员创建了一个包含 169 项特定编辑任务的新型广泛库，专注于头发、配饰和头部位置。他们在两个大型名人照片集上对模型进行了测试，确保涵盖了男女、老少以及不同肤色（浅色和深色）的多样化组合。

结果清晰地展示了这些技术现状。模型被证明能够很好地处理头发和配饰的变化。当被要求改变发型或戴上一副太阳镜时，大多数系统表现良好，既成功遵循了指令，又保持了人物面部的可辨识度。然而，当这些模型被要求改变人的姿态（例如让其看向左侧或右侧）时，却表现得非常吃力。在这种情况下，系统往往无法遵循命令，或者会改变脸部特征，导致人物变得无法辨认。

或许更令人担忧的发现是，所有的模型都倾向于“过度编辑”（over-edit）。这意味着，当给定一个特定指令时，计算机往往会改变那些并未被要求的元素。例如，如果用户要求模型将一个人的发型改为波波头，模型可能会同时把发色也改为棕色，尽管用户从未要求改变颜色。研究人员发现这种情况发生得非常频繁，每给出 100 条指令，模型就会产生大约 25 次额外的、未被请求的更改。这些错误并非随机产生的；它们通常源于模型学习到了错误的关联，例如认为某种特定的发型总是与某种特定的发色相伴。

这项研究还揭示了这些模型在对待不同人群时的显著偏见。过度编辑现象在不同面孔之间分布并不均匀。在编辑男性（尤其是深肤色男性）以及老年人的面孔时，模型更有可能做出那些未被请求的更改。例如，当被要求编辑一名深肤色男性的头发时，与编辑一名浅肤色女性相比，系统更有可能意外地改变其他特征，如增加胡须或改变肤色。同样，模型在保留老年人面部特征方面表现较差，经常使他们看起来变年轻了，或者比年轻人更容易剧烈改变其特征。

这些发现表明，虽然文本引导编辑工具正变得足够强大以投入实际应用，但它们尚未达到完美。它们擅长处理添加帽子或改变发色等简单任务，但在处理更复杂的动作时仍然感到困难，并且带有隐藏的偏见，可能导致对某些群体产生不公平或不准确的结果。研究人员强调，未来的工作必须集中在纠正这些“过度编辑”的习惯上，并确保这项技术能够以同样的准确度和尊重对待每一张脸，无论其年龄、性别或肤色如何。在这些问题得到解决之前，用户应当意识到，这些数字艺术家仍在学习阶段，有时可能会改动超出其要求的范围。