Localize, Don't Beautify: Client-Side Control of Image-Editing APIs for Cosmetic Surgery Previews
Diese Studie zeigt, dass Techniken der clientseitigen Maskierung und Komposition kosmetische Schönheitsoperationen effektiv auf spezifische Gesichtsbereiche über verschiedene kommerzielle APIs hinweg lokalisieren können, ohne dass ein Zugriff auf die Modell-Interna erforderlich ist, was eine kostengünstige Lösung zur Vermeidung unbeabsichtigter Veränderungen anderer Gesichtszüge bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen magischen, allwissenden Bildbearbeiter zu benutzen, der auf einem fernen Server lebt. Sie schicken ihm ein Foto Ihres Gesichts und eine einfache Notiz: „Bitte mache meine Kieferpartie schärfer.“ Aber diese magische Box ist ein wenig eine Angeberin; sie schärft nicht nur Ihren Kiefer. Sie glättet auch Ihre Haut, hellt Ihre Zähne auf, verändert die Beleuchtung und gibt Ihnen vielleicht sogar eine andere Nase. Es ist, als würde man einem Koch bitten, eine Prise Salz in seine Suppe zu geben, und er entscheidet sich dazu, das gesamte Rezept umzuschreiben, indem er das Gemüse, die Brühe und die Garnitur ändert. Dies ist die Welt der „Black-Box“-Bildbearbeitungs-APIs: mächtige Werkzeuge, bei denen man zwar den Input und den Output sieht, aber keine Ahnung hat, wie die Magie im Inneren geschieht, und man dem Werkzeug nicht sagen kann: „Berühre nur diesen einen Punkt.“
Seit Jahrzehnten nutzen Chirurgen diese Arten von Vorschauen, um Patienten zu zeigen, wie ein kosmetischer Eingriff aussehen könnte. Aber wenn die Vorschau zu viel vom Gesicht verändert, erkennt der Patient sich selbst vielleicht nicht mehr oder er freut sich über Veränderungen, die er gar nicht verlangt hat. Die große Frage für Wissenschaftler lautet: Wenn man nicht in das Werkzeug hineinkommen kann, um ihm zu sagen, dass es vorsichtig sein soll, kann man als Nutzer des Werkzeugs es dann dazu zwingen, in seinem Bereich zu bleiben? Dieses Paper untersucht einen cleveren Trick, um dieses Problem zu lösen, ohne den geheimen Code des Werkzeugs knacken zu müssen.
Die Forscher führten ein kleines Experiment durch, um zu sehen, ob sie diese Bildbearbeiter daran hindern könnten, vom Weg abzukommen. Sie behandelten sechs verschiedene kommerzielle Fotobearbeitungswerkzeuge wie eine Gruppe von eifrigen, aber etwas übereifrig begeisterten Assistenten. Sie gaben ihnen eine einfache Aufgabe: bearbeite einen spezifischen Teil eines Gesichts (wie eine Nase oder einen Kiefer), während der Rest des Gesichts exakt so bleibt, wie er war. Zuerst versuchten sie es nur mit einem Text-Prompt, wie zum Beispiel: „Repariere die Nase, aber berühre sonst nichts anderes.“ Wie sie vermuteten, ignorierten die Werkzeuge den Teil „berühre sonst nichts anderes“ und veränderten das gesamte Gesicht, indem sie die Haut glätteten und die Beleuchtung veränderten.
Dann probierten die Forscher einen anderen Ansatz aus, den sie als „maskierte Komposition“ (masked composite) bezeichnen. Stellen Sie sich vor, Sie bitten einen Maler, einen Fleck auf einem Fenster zu ausbessern, aber Sie wissen, dass er die ganze Wand anstreichen wird. Anstatt mit dem Maler zu streiten, warten Sie, bis er fertig ist, nehmen ein Stück Klebeband mit einem ausgeschnittenen Loch (eine Maske) und kleben es über das Fenster. Dann schneiden Sie das bemalte Fenster vorsichtig aus der Wand aus und kleben es zurück auf Ihr Originalfoto, während der Rest der Wand exakt so bleibt, wie er vorher war. In der digitalen Welt machten die Forscher dies, indem sie das bearbeitete Foto nahmen, nur den Teil ausschneiden, den sie ändern wollten, und ihn unter Verwendung eines weichen, federnden Randes (feathered edge) wieder auf das Originalfoto klebten, damit es natürlich aussah.
Die Ergebnisse waren überraschend eindeutig. Wenn die Forscher nur den Text-Prompt verwendeten, veränderten die Editoren viel von dem Gesicht, das sie eigentlich nicht berühren sollten. Aber wenn sie den „Ausschneiden und Aufkleben“-Trick verwendeten, gelang es ihnen, den Rest des Gesichts unberührt zu lassen. Tatsächlich verbesserten sie mit dieser Methode die Fähigkeit der Bearbeitung, im richtigen Bereich zu bleiben, um eine enorme Menge (eine mittlere Verbesserung von 0,446 auf ihrer Skala), während sie gleichzeitig die gewünschte Änderung an der Nase oder dem Kiefer vornahmen. Die „Ausschneiden und Aufkleben“-Methode funktionierte bei jedem einzelnen Editor, den sie testeten, von den teuersten bis zu den billigeren.
Das Paper fand jedoch auch einige wichtige Grenzen. Einer der getesteten Editoren verfügte über einen speziellen „Inpainting“-Modus, der eigentlich dazu gedacht ist, dem Werkzeug mitzuteilen, wo genau es malen soll. Aber selbst dieser spezielle Modus war nicht besser darin, die Änderungen lokal zu halten, als der einfache „Ausschneiden und Aufkleben“-Trick, den die Forscher erfunden hatten. Darüber hinaus stellten die Forscher zwar fest, dass die Gesichter nach der Anwendung ihres Tricks dem Originalgesicht ähnlicher sahen, fanden aber auch heraus, dass keiner der Editoren tatsächlich das Gesicht so aussehen ließ, wie es das echte „Nachher“-Operationsfoto wäre. Mit anderen Worten: Die Werkzeuge haben die Operation nicht korrekt durchgeführt; sie waren lediglich besser darin, den Rest des Gesichts nicht zu vermasseln.
Der Autor gibt sehr sorgfältig zu, dass dies keine Wunderheilung für die kosmetische Chirurgie ist. Er hat keine echten Chirurgen die Bilder bewerten lassen, um zu prüfen, ob die Veränderungen medizinisch realistisch aussahen. Er merkte auch an, dass der „Ausschneiden und Aufkleben“-Trick bei bestimmten Winkeln, wie etwa einer Seitenprofilansicht, nicht so gut funktionierte, weil der Computer die Gesichtspunkte (landmarks) nicht finden konnte, um die Maske zu erstellen. Aber die wichtigste Erkenntnis ist eine beruhigende: Selbst wenn man auf ein Black-Box-Werkzeug angewiesen ist, das man von innen heraus nicht kontrollieren kann, kann man es immer noch dazu zwingen, in seinem Bereich zu bleiben, indem man auf dem eigenen Computer einen einfachen „Ausschneiden und Aufkleben“-Trick anwendet. Es ist eine kostengünstige, einfache Methode, um sicherzustellen, dass Ihre digitale Vorschau Ihr Gesicht nicht in das eines anderen verwandelt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.