FashionPose: Unified Text-Driven Fashion Synthesis with Joint Geometric and Photometric Control

Stellen Sie sich vor, Sie sind ein Regisseur am Filmset, aber anstatt echte Schauspieler zu engagieren, beauftragen Sie einen digitalen Künstler damit, eine Person in einem bestimmten Outfit zu zeichnen. In der Welt des Computer Vision – der Wissenschaft, wie man Computern das „Sehen“ und Erstellen von Bildern beibringt – ist dies ein schwieriger Job. Normalerweise müssen Sie einem Computer, wenn Sie möchten, dass er eine Person in einer neuen Pose zeichnet, ein starres Skelett geben, wie eine Drahtgitter-Mannequin, um die Kleidung zu halten. Es ist, als würde man versuchen, eine Puppe anzuziehen, bei der man die Gelenke nur bewegen kann, wenn man bereits einen fertigen Bauplan hat. Zudem arbeiten die meisten dieser digitalen Künstler in einem „Studio“ mit flachem, langweiligem Licht. Wenn Sie den Computer bitten, jemanden in einem sonnigen Park bei Sonnenuntergang zu zeichnen, wird der Computer oft verwirrt und lässt die Person wie einen flachen Aufkleber aussehen, der auf einen Hintergrund geklebt wurde, der nicht zur Beleuchtung passt. Dieses Paper widmet sich dem Problem, wie man einem Computer sagen kann, dass er ein realistisches Modebild erstellen soll, indem man nur seine Worte verwendet, wobei sowohl die schwierigen Körperbewegungen als auch die komplexe Beleuchtung bewältigt werden, ohne ein vorgefertigtes Skelett oder ein Studio-Setting zu benötigen.

Die Forscher hinter dieser Arbeit, angeführt von Chuancheng Shi und Kollegen, schlagen ein neues System namens FashionPose vor. Betrachten Sie es als einen „magischen Übersetzer“, der Ihre natürlichen Sprachbeschreibungen direkt in eine 3D-bereite Modenschau verwandelt und dabei das Bedürfnis nach starren Drahtgleştrukturen überspringt. Sie argumentieren, dass der alte Weg – die Abhängigkeit von vordefinierten Skeletten und das Ignorieren der Umgebung – zu einschränkend ist. Stattdessen nutzt ihr System einen dreistufigen „kaskadierten“ Prozess, um aus einem einfachen Satz wie „ein Mädchen, das an einem sonnigen Fenster in einem gemütlichen Raum steht“ ein hochwertiges Bild zu machen, bei dem die Pose des Mädchens zu den Worten passt und das Sonnenlicht exakt so auf ihre Kleidung fällt, wie beschrieben.

Zuerst agiert das System wie ein kreativer Regisseur, der Ihrer Geschichte zuhört und eine Pose skizziert. Anstatt nach einem vorgefertigten Skelett zu suchen, verwendet es einen Mechanismus der „bidirektionalen kontrastiven Ausrichtung“. Stellen Sie sich dies als ein Spiel von „Heiß und Kalt“ vor, bei dem der Computer lernt, das Gefühl Ihrer Worte (wie „überschlagene Beine“ oder „erhobene Arme“) direkt mit der Geometrie eines Körpers abzugleichen, ohne ein Template zu benötigen. Um den Computer hierauf vorzubereiten, hat das Team eine massive neue Bibliothek namens PoseCap erstellt, die über 40.000 Paare aus Textbeschreibungen und Körper-Keypoints enthält. Dies ermöglicht es der KI zu lernen, dass „das Stehen an einem sonnigen Fenster“ nicht nur ein Hintergrunddetail ist, sondern ein Hinweis darauf, wie das Licht auf die Person fallen sollte.

Als Nächstes geht das System in die Phase des „Kostümdesigners“ über. Soblich die Pose feststeht, generiert es ein hochauflösendes Bild der Person. Entscheidend ist dabei, dass es eine „identitätsverankerte“ Strategie verwendet. Stellen Sie sich vor, Sie haben ein Foto eines bestimmten Models, das eine bestimmte Jacke trägt. Das System nimmt diese Jacke und das Gesicht des Models, fixiert sie an Ort und Stelle und dehnt sowie faltet sie dann in die neue Pose, die Sie beschrieben haben. Dies stellt sicher, dass selbst wenn die Person eine komplexe Tanzbewegung macht, die Knöpfe der Jacke und das Gesicht des Models exakt gleich bleiben, was die typischen „schmelzenden Gesichter“ oder „verzerrten Kleidung“-Fehler verhindert, die bei anderen KI-Kunstwerkzeugen üblich sind.

Schließlich kümmert sich das System um die „Lichtcrew“. Hier glänzt FashionPose im Vergleich zu älteren Methoden. Es beinhaltet ein Modul für „prompt-konditioniertes Relighting“. Wenn Ihr Text „goldene Stunde“ oder „sanfte Studiolichtgebung“ sagt, passt dieses Modul die Schatten und Highlights auf der generierten Person an, um dieser spezifischen Atmosphäre zu entsprechen. Es ist, als hätte man einen Beleuchter, der Ihr Skript liest und die Scheinwerfer so bewegt, dass sie zur Stimmung passen, wodurch sichergestellt wird, dass die Person nicht aussieht, als wäre sie aus einem anderen Foto ausgeschnitten und hineingeklebt worden.

Das Team hat sein System streng getestet. Sie fanden heraus, dass FashionPose bestehende Methoden sowohl in der Genauigkeit als auch im Realismus übertrifft. In ihren Tests erreichte das System einen Keypoint-Fehler (MSE) von 243,8, was niedriger (besser) ist als die nächstbesten Methoden, die um die 262,2 lagen. Wenn es um das gesamte Erscheinungsbild der Bilder ging, gemessen an einer Metrik namens FID (wobei ein niedrigerer Wert besser ist), erzielte FashionPose 5,6690 und schlug damit die bisher beste Kombination von Werkzeugen, die 6,3671 erreichte. In Nutzerstudien, bei denen echte Menschen abstimmten, welche Bilder am besten aussah, wurde FashionPose in 46,8 % der Fälle für die Pose-Konsistenz und in 55,9 % für die allgemeine ästhetische Qualität bevorzugt.

Das Paper schließt explizit die Idee aus, dass man ein bereits existierendes Skelett oder einen „studioähnlichen“ neutralen Hintergrund benötigt, um gute Ergebnisse zu erzielen. Sie argumentieren, dass die Abhängigkeit von externen Pose-Estimators dessen Fähigkeiten einschränkt und dass das Ignorieren der Umgebung zu unrealistischen Bildern führt, bei denen die Beleuchtung nicht zur Pose passt. Indem sie beweisen, dass ein einziger Text-Prompt sowohl die Geometrie als auch die Photometrie (Beleuchtung) gleichzeitig steuern kann, legen sie einen neuen Weg für die virtuelle Mode auf. Obwohl sie nicht behaupten, alle Probleme des Universums gelöst zu haben, legen ihre Experimente nahe, dass dieser vereinheitlichte Ansatz eine viel robustere und flexiblere Lösung für personalisierte, szenenbewusste virtuelle Modeanzeigen schafft, was es jedem erleichtert, Kleidung in jeder Umgebung zu visualisieren, indem man einfach nur einen Satz tippt.