Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man sich anzieht. Sie zeigen ihm ein Foto einer Person und ein Foto einer coolen neuen Jacke und fragen ihn: „Kannst du die Jacke an die Person anziehen?“ Dies ist die Welt der Virtuellen Anprobe (VITON), ein Zweig der Computer Vision, bei dem Maschinen versuchen, das Rätsel zu lösen, wie Kleidung an verschiedenen Körpern aussieht. Um dies zu tun, nutzt der Roboter eine spezielle Art von „Gehirn“, ein Diffusionsmodell. Stellen Sie sich ein Diffusionsmodell wie einen magischen Künstler vor, der mit einer Leinwand voller statischem Rauschen beginnt (wie das Schneegestöber beim Fernsehen) und Schritt für Schritt das Rauschen entfernt, um ein Bild zu enthüllen. Wenn Sie diesem Künstler eine Textbeschreibung wie „ein rotes Hemd“ geben, kann er eines malen. Aber wenn Sie möchten, dass er genau dieses spezifische Hemd an dieser spezifischen Person malt, wobei die Ärmel auf Höhe des Ellbogens enden und der Kragen genau richtig sitzt, gerät der Künstler oft in Verwirrung. Er malt das Hemd vielleicht zu lang, zu kurz oder in der falschen Farbe. Dies ist ein großes Problem für Online-Shops, denn wenn ein Kunde ein Hemd basierend auf einem gefälschten Bild kauft, das nicht der Realität entspricht, wird er unzufrieden sein.

Dieser Bericht von Max Rehman Linder befasst sich mit dieser Verwirrung. Der Autor fragt: „Was wäre, wenn wir dem Roboter nicht nur eine vage Beschreibung, sondern ein Lineal und eine Reihe von Anweisungen geben könnten?“ Das Paper schlägt eine neue Methode namens ControlableClothing vor. Anstatt dem Roboter nur die Bilder zu zeigen, misst das Team des Autors die Kleidung und den Körper der Person mit mathematischer Präzision – sie berechnen exakt, wie viel der Schulter bedeckt ist, wie tief der Ausschnitt ist und wie lang die Ärmel sind. Sie verwandeln diese Messungen in einen geheimen Code (Labels) und speisen sie zusammen mit den Bildern in den Roboter ein. Das Ergebnis ist ein System, das nicht nur rät, wo die Kleidung hinkommt, sondern einem Plan folgt. Das Paper legt nahe, dass die generierten Bilder durch die Verwendung dieser präzisen Messungen und eines speziellen „Adapters“ (ein Werkzeug, das dem Roboter hilft, den Code zu verstehen) wesentlich steuerbarer werden. Der Autor weist jedoch vorsichtig darauf hin, dass der Roboter zwar nun diesen Regeln folgen kann, aber noch mehr Übung benötigt, um jedes winzige Detail perfekt zu beherrschen, und dass einige der neuen Werkzeuge, die sie gebaut haben, noch getestet werden müssen, um zu sehen, ob sie so gut funktionieren wie erhofft.

Die Magie des „Rausch-entfernenden“ Künstlers

Um zu verstehen, wie das funktioniert, schauen wir uns das Gehirn des Roboters an. Das Paper verwendet eine Art von KI namens Latent Diffusion Model. Stellen Sie sich einen Eimer mit schlammigen Wasser vor. Wenn Sie ständig darin rühren, wird es immer schlammiger, bis es nur noch brauner Schlamm ist. Ein Diffusionsmodell lernt das Gegenteil: Es lernt, wie man diesen braunen Schlamm nimmt und langsam und sorgfältig den Dreck vom Wasser trennt, bis man wieder ein klares Bild hat. In der Computerwelt ist der „Schlamm“ zufälliges Rauschen und das „klare Bild“ ein Foto einer Person, die Kleidung trägt.

Lange Zeit waren diese Roboter sehr gut darin, neue Bilder aus dem Nichts zu erschaffen, aber schlecht darin, strengen Regeln zu folgen. Wenn man nach einem Hemd mit Ärmeln fragte, die exakt am Ellbogen enden, rät der Roboter vielleicht nur. Es ist, als würde man ein Kind bitten, ein Haus mit einer Tür zu zeichnen, die exakt 3 Zoll breit ist; das Kind wird zwar eine Tür zeichnen, aber sie wird selten exakt die Größe haben, die man wollte. Frühere Versuche, dies zu beheben, beinhalteten die Verwendung von GANs (einer anderen Art von KI), aber diese waren oft starr und konnten keine realistischen Falten oder Lichtverhältnisse erzeugen. Dann kamen die Diffusionsmodelle, die viel besser darin sind, Dinge realistisch aussehen zu lassen, aber sie hatten immer noch Schwierigkeiten mit dem Problem der „exakten Platzierung“.

Die neue Lösung: Dem Roboter ein Lineal geben

Die Hauptidee des Autors ist einfach: Aufhören zu raten und anfangen zu messen.

Früher, wenn man ein Hemd anprobieren wollte, zeigte man dem Roboter einfach das Hemd und die Person. Der Roboter versuchte, das Hemd so zu „verzerren“ (warping), dass es passte. Aber der Autor erkannte, dass der Roboter, um es richtig zu machen, wissen muss, wie das Hemd passt. Ist es eng? Ist es locker? Endet der Ärmel am Handgelenk oder am Ellbogen?

Also baute das Team eine Pre-Processing-Pipeline. Bevor der Roboter überhaupt das Bild sieht, nutzen sie andere intelligente Werkzeuge, um:

1. Die Kleidung auszuschneiden: Sie verwenden eine „Maske“, um den Teil der Person zu verbergen, an dem das neue Hemd sitzen wird.
2. Alles zu messen: Sie nutzen Computer Vision, um den Abstand von der Hüfte der Person bis zum unteren Rand des Hemdes, die Breite des Nackens und den Grad der Schulterbedeckung zu messen.
3. Ein „Scorecard“ zu erstellen: Sie verwandeln diese Messungen in Zahlen und Labels. Anstatt zum Beispiel nur „lange Ärmel“ zu sagen, könnten sie sagen: „Die Ärmel enden bei 0,8 der Armlänge“.

Das „Adapter“-Werkzeug: Der Übersetzer

Das Gehirn des Roboters (das Diffusionsmodell) ist bereits sehr gut im Malen, aber es spricht nicht die Sprache der „Messungen“. Um dies zu beheben, baute der Autor ein spezielles Werkzeug namens Adapter. Stellen Sie sich diesen Adapter als Übersetzer vor.

Der Übersetcher nimmt die „Scorecard“ (die Messungen und Labels) und das Bild des Hemdes und konvertiert sie in eine Sprache, die der Roboter versteht. Er flüstert diese Anweisungen dem Roboter dann ins Ohr, während dieser malt.

• Der IP-Adapter: Dieser Teil hilft dem Roboter, das Aussehen des Hemdes zu verstehen (Muster, Farbe).
• Der T2I-Adapter: Dieser Teil hilft dem Roboter, die Details zu verstehen und sie an der richtigen Stelle zu platzieren.

Der Autor entwickelte eine neue, maßgeschneiderte Version dieses Übersetzers speziell für den „Up-Sampling“-Teil des Malprozesses. Dies ist die Phase, in der der Roboter die feinen Details hinzufügt, wie etwa die Textur des Stoffes oder die Art und Weise, wie das Licht auf eine Falte trifft. Durch das Einspeisen der Messdaten genau in dieser Phase kann der Roboter die Details basierend auf den Anweisungen des Lineals anpassen.

Was die Experimente zeigten

Der Autor trainierte dieses neue System mit tausenden Bildern von Menschen und Kleidung. Hier ist, was er herausfand:

• Es funktioniert, aber es ist ein laufender Prozess: Wenn sie die „Regler“ (die Messungs-Labels) drehten, änderte der Roboter tatsächlich die Kleidung. Wenn sie dem Robot zum Beispiel sagten, er solle den Ausschnitt tiefer machen (indem sie eine Zahl von 1 auf -2 änderten), zeichnete der Roboter einen tieferen Ausschnitt. Wenn sie ihm sagten, er solle nur eine Schulter bedecken, tat er das auch.
• Zahlen sind besser als Wörter: Der Autor fand heraus, dass es für den Roboter besser funktionierte, wenn man ihm einen spezifischen Zahlenwert (einen Float-Wert) gab, anstatt nur eine Kategorie (wie „langer Ärmel“). Es ist, als würde man einem Koch sagen: „Füge 5 Gramm Salz hinzu“ anstatt „füge ein wenig Salz hinzu“. Der Roboter konnte der Zahl präziser folgen.
• Der „Masken“-Trick: Das Team brachte dem Roboter auch bei, Teile des Bildes zu ignorieren, die hinter einer Maske verborgen waren. Sie fanden heraus, dass wenn sie dem Roboter sagten: „Die Maske endet hier, aber du darfst darüber malen“, der Roboter neues Gewebe oberhalb der Maskenlinie generierte. Das ist enorm wichtig, denn es bedeutet, dass man das Foto von jemandem in einem langen Hemd nehmen und dem Roboter sagen könnte, es in ein Crop-Top zu verwandeln, und der Robot wüsste, wie er den fehlenden Bauchbereich malt.
• Die Grenzen: Das Paper gibt zu, dass der Roboter noch nicht perfekt ist. Wenn die Kleidung sehr komplexe Muster oder Details hatte, verlor der Roboter diese manchmal. Der Autor vermutet, dass dies daran liegt, dass das neue „Up-Sampling“-Werkzeug, das sie gebaut haben, noch nicht lange genug trainiert wurde. Der Roboter lernt noch, wie er sein neues Lineal benutzt.

Wogegen der Autor „Nein“ sagt

Der Autor war sehr deutlich darüber, was nicht funktioniert oder nicht der Fokus ist:

• Nur Text-Prompts zu verwenden, reicht nicht aus: Sie versuchten, den Roboter nur mit Worten wie „mache die Ärmel länger“ anzuweisen, aber der Roboter ignorierte dies oft oder machte Fehler. Die Messungen waren notwendig.
• One-Hot-Encoding ist nicht ideal: Sie probierten einfache „An/Aus“-Schalter für Dinge wie die Ärmellänge aus (z. B. „ist es lang? Ja/Nein“), fanden aber heraus, dass kontinuierliche Zahlen (wie ein Schieberegler von 0 bis 1) eine viel bessere Kontrolle ermöglichten.
• Es ist keine Wunderheilung für alles: Der Autor merkt an, dass, wenn der Roboter auf einem Datensatz trainiert wurde, in dem er die Antworten bereits auswendig gelernt hat, das Hinzufügen neuer Anweisungen nicht helfen könnte. Sie mussten von vorne beginnen, um das neue System zum Laufen zu bringen.

Das Urteil

Dieses Paper legt nahe, dass wir durch die Kombination von präzisen Messungen mit intelligenten „Adapter“-Werkzeugen virtuelle Anprobesysteme wesentlich steuerbarer machen können. Es ist kein gelöstes Problem – der Roboter benötigt noch mehr Training, um die winzigen Details perfekt zu beherrschen, und die neuen Werkzeuge müssen noch intensiver getestet werden – aber die Richtung ist vielversprechend. Der Autor zeigt: Wenn man der KI ein Lineal und eine Reihe von Anweisungen gibt, kann sie aufhören zu raten und anfangen, Befehle auszuführen, wodurch Bilder entstehen, die der Realität, die ein echter Kunde sieht, viel näher kommen. Es ist ein Schritt in Richtung einer Zukunft, in der man Kleidung online anprobieren kann und das Bild, das man sieht, exakt das ist, was man erhält, wenn das Paket ankommt.