A Large-scale Evaluation of Text-guided Models for Facial Editing

Stellen Sie sich einen digitalen Künstler vor, der die Haarfarbe einer Person ändern, eine Brille hinzufügen oder den Kopf so drehen kann, dass die Person zum Horizont blickt – und das alles, indem er lediglich einen einfachen Satz in einen Computer tippt. Dies ist das Versprechen der textgesteuerten Bildbearbeitung, einem rasant wachsenden Bereich, in dem künstliche Intelligenz lernt, menschliche Sprache zu verstehen und diese Anweisungen auf Fotografien anzuwenden. Jahrelang haben Forscher Systeme entwickelt, die zu solchen Leistungen fähig sind, aber sie hatten oft mit einer spezifischen Herausforderung zu kämpfen: die Person auf dem Foto so aussehen zu lassen, wie sie eigentlich ist, während die gewünschten Änderungen vorgenommen werden. Ältere Methoden konnten entweder das Gesicht zu stark verändern, sodass es unerkennbar wurde, oder sie konnten nur sehr begrenzte Anpassungen vornehmen, wie etwa die Neigung des Kopfes. Nun ist eine neue Generation von Werkzeugen entstanden, die behauptet, diese Probleme zu lösen und die Fähigkeit bietet, komplexe, realistische Bearbeitungen basierend auf Textbefehlen vorzunehmen. Doch während diese Werkzeuge immer leistungsfähiger werden, bleibt eine kritische Frage: Funktionieren sie für alle gleichermaßen gut, oder haben sie versteckte Mängel, die verschiedene Gruppen unfaire behandeln?

Ein Team von Forschern setzte sich zum Ziel, diese Frage zu beantworten, indem es sechs der populärsten textgesteuerten Bearbeitungsmodelle auf die Probe stellte. Sie baten die Computer nicht nur, ein paar zufällige Änderungen vorzunehmen; sie führten eine massive, systematische Evaluierung durch, die fast eine Million Bildbearbeitungen umfasste. Das Ziel war es zu sehen, wie gut diese Modelle eine Sequenz von vier aufeinanderfolgenden Anweisungen bewältigen können, wie zum Beispiel die Haarfarbe zu ändern, dann einen Hut hinzuzufügen, dann den Hut zu ändern und schließlich den Kopf zu drehen. Um dies zu tun, erstellten die Forscher eine neue, umfangreiche Bibliothek von 169 spezifischen Bearbeitungsaufgaben, die sich auf Haare, Accessoires und die Kopfposition konzentrierten. Sie testeten die Modelle an zwei großen Sammlungen von Prominentenfotos, wobei sie eine vielfältige Mischung aus Männern und Frauen, Jung und Alt sowie Menschen mit hellen und dunklen Hauttönen sicherstellten.

Die Ergebnisse zeichneten ein klares Bild davon, wo diese Technologien heute stehen. Die Modelle erwiesen sich als durchaus in der Lage, Änderungen an Haaren und Accessoires vorzunehmen. Wenn sie angewiesen wurden, eine Frisur zu ändern oder eine Sonnenbrille hinzuzufügen, zeigten die meisten Systeme eine gute Leistung und folgten den Anweisungen erfolgreich, während sie das Gesicht der Person erkennbar hielten. Die Modelle hatten jedoch erheblich damit zu kämpfen, wenn sie gebeten wurden, eine Pose zu ändern, wie zum Beispiel die Person nach links oder rechts blicken zu lassen. In diesen Fällen versagten die Systeme oft bei der Befehlsausführung oder veränderten das Gesicht in einer Weise, die die Person unerkennbar machte.

Vielleicht besorgniserregender war die Entdeckung, dass alle Modelle dazu neigten, „übermäßig zu bearbeiten“ (over-editing). Das bedeutet, dass der Computer, wenn ihm eine spezifische Anweisung gegeben wurde, oft Dinge änderte, die gar nicht angefragt wurden. Wenn ein Nutzer beispielsweise das Modell anwies, die Frisur einer Person in einen Bob zu ändern, könnte das Modell auch die Haarfarbe in Braun ändern, obwohl der Nutzer keine Farbänderung verlangt hatte. Die Forscher fanden heraus, dass dies häufig vorkam; die Modelle nahmen etwa 25 zusätzliche, ungewollte Änderungen für jeweils 100 gegebene Anweisungen vor. Diese Fehler waren nicht zufällig; sie resultierten oft daraus, dass die Modelle falsche Assoziationen lernten, wie zum Beispiel die Annahme, dass eine bestimmte Frisur immer mit einer bestimmten Haarfarbe einhergeht.

Die Studie deckte auch signifikante Verzerrungen (Biases) in der Art und Weise auf, wie diese Modelle verschiedene Menschen behandelten. Das übermäßige Bearbeiten war nicht gleichmäßig über alle Gesichter verteilt. Die Modelle neigten viel eher dazu, unerwünschte Änderungen vorzunehmen, wenn sie die Gesichter von Männern, insbesondere solchen mit dunklen Hauttönen, und die Gesichter älterer Menschen bearbeiteten. Wenn beispielsweise die Haare eines dunkelhäutigen Mannes bearbeitet wurden, war das System viel wahrscheinlicher dazu geneigt, versehentlich andere Merkmale zu ändern, wie etwa Gesichtshaar hinzuzufügen oder den Hautton zu verändern, als wenn es das Gesicht einer hellhäutigen Frau bearbeitete. Ebenso waren die Modelle weniger erfolgreich darin, die Identität älterer Gesichter zu bewahren, indem sie diese oft jünger aussehen ließen oder ihre Merkmale drastischer veränderten als die von jüngeren Menschen.

Diese Erkenntnisse deuten darauf hin, dass textgesteuerte Bearbeitungswerzeuge zwar leistungsfähig genug für den praktischen Einsatz werden, aber noch nicht perfekt sind. Sie funktionieren gut bei einfachen Aufgaben wie dem Hinzufügen eines Hutes oder dem Ändern der Haarfarbe, aber sie haben immer noch Schwierigkeiten mit komplexeren Bewegungen und tragen versteckte Vorurteile in sich, die zu unfairen oder ungenauen Ergebnissen für bestimmte Gruppen führen können. Die Forscher betonen, dass sich zukünftige Arbeit darauf konzentrieren muss, diese Gewohnheiten des übermäßigen Bearbeitens zu korrigieren und sicherzustellen, dass die Technologie jedes Gesicht mit der gleichen Genauigkeit und dem gleichen Respekt behandelt, unabhängig von Alter, Geschlecht oder Hautton. Bis diese Probleme gelöst sind, sollten Nutzer bedenken, dass diese digitalen Künstler noch lernen und manchmal mehr verändern, als von ihnen verlangt wurde.