Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On
Oxygen-TryOn ist ein einheitliches, modenatives Foundation-Modell, das durch die Nutzung einer spezialisierten Data-Engine und einer dreistufigen Trainingspipeline unter Einbeziehung von Reinforcement Learning eine fotorealistische virtuelle Anprobe für vielfältige Artikel und Szenarien erreicht und dabei sowohl führende proprietäre als auch Open-Source-Systeme übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie jedes Outfit, das Sie in einer Zeitschrift, auf einem Foto eines Freundes oder in einem zufälligen Straßenfoto sehen, sofort virtuell anprobieren könnten, ohne jemals einen Umkleideraum betreten zu müssen. Dies ist der Traum der „virtuellen Anprobe“, eines Zweigs der künstlichen Intelligenz, der versucht, Menschen digital in neue Kleidung zu kleiden. Lange Zeit waren diese digitalen Schneider wie tollpatschige Lehrlinge: Sie konnten nur eine Art von Hemd gleichzeitig handhaben, sie vergaßen oft, wie die Person darunter aussah, und sie hatten Schwierigkeiten, den Stoff realistisch aussehen zu lassen, wenn sich die Person bewegte. Sie behandelten die Aufgabe wie ein einfaches „Malen nach Zahlen“-Spiel, bei dem lediglich eine leere Fläche mit einer neuen Textur gefüllt wurde. Aber was wäre, wenn die KI Mode tatsächlich verstehen könnte? Was wäre, wenn sie wüsste, dass ein Hut auf einen Kopf gehört, eine Tasche an einer Schulter hängt und dass eine Jacke über einem Pullover liegen muss, anstatt nur obenauf zu sitzen? Dies ist die Frage, mit der sich Forscher beschäftigen: Wie baut man eine KI, die Bilder nicht einfach nur zusammenklebt, sondern wirklich versteht, wie Kleidung, Accessoires und Menschen in der realen Welt interagieren.
Hier kommt Oxygen-TryOn ins Spiel, ein neues „fashion-natives“ Fundamentmodell, das von der Oxygen AIGC Group und der Joy Future Academy bei JD entwickelt wurde. Betrachten Sie dieses Modell nicht als einen generischen Bildeditor, den man dazu überreden muss, Modearbeit zu leisten, sondern als einen spezialisierten Schneider, der in der Welt des Stils geboren und aufgewachsen ist. Während andere KI-Systeme versuchen, einen universellen Bildeditor durch vage Anweisungen zur virtuellen Anprobe zu zwingen (was oft zu Halluzinationen führt, wie etwa dem Erfinden falscher Knöpfe oder dem Verlust des Gesichts der Person), wurde Oxygen-TryOn von Grund auf speziell für das Ankleiden von Menschen entwickelt. Es behandelt die Anprobe nicht als ein einfaches „Lückenausfüll“-Puzzle, sondern als eine komplexe Denkaufgabe, bei der die KI herausfinden muss, was jedes Teil ist, wohin es gehört und wie es beim Tragen aussehen sollte.
Die Forscher fanden heraus, dass sie durch die Fütterung dieses Modells mit einer massiven, speziell kuratierten Bibliothek aus Modedaten und der Ausbildung durch ein dreistufiges „Trainingsrezept“ Ergebnisse erzielen konnten, die weitaal realistischer und konsistenter sind als bisherige Methoden. Das Modell kann ein einzelnes Foto einer Person nehmen und sie in ein einzelnes Kleidungsstück kleiden, oder es kann ein chaotisches Gemisch aus Referenzen bewältigen – wie ein Hemd aus einem Bild, Schuhe aus einem anderen, eine Tasche aus einem dritten und einen Hut aus einem vierten – und diese zu einem einzigen, kohärenten Outfit kombinieren. Es bewältigt alles, von sauberen Produktfotos bis hin zu „In-the-wild“-Schnappschüssen von Menschen, die die Artikel bereits tragen. Entscheidend ist, dass es die Identität der Person (ihr Gesicht, ihre Körperform und Pose) sowie die feinen Details der Kleidung (Texturen, Logos und Muster) mit hoher Treue bewahrt.
In ihren Experimenten hat sich Oxygen-TryOn nicht nur gut geschlagen; es hat die Konkurrenz übertroffen. In Standardtests erreichte es State-of-the-Art-Ergebnisse und schlug sowohl leistungsstarke Open-Source-Modelle als auch erstklassige proprietäre Systeme wie Nano Banana Pro, GPT-Image-2 und Seedream5 Lite. Es glänzt besonders in „Multi-Item“-Szenarien, in denen es erfolgreich mehrere Kleidungsstücke schichtet, ohne verwirrt zu werden oder Details zu verlieren. Das Team zeigte zudem, dass das Modell flexibel genug ist, um zusätzlichen Anweisungen zu folgen, wie etwa die Pose einer Person oder den Hintergrund zu ändern, alles in einem einzigen Generierungsschritt.
Das Geheimrezept hinter diesem Erfolg war nicht nur die Modellarchitektur, sondern die „Data Engine“, die das Team baute, um es zu füttern. Sie haben nicht einfach das Internet gecrawlt; sie konstruierten eine Pipeline, die hochwertige Anprobendaten in massivem Maßstab sammelt, filtert, annotiert und herstellt. Sie trainierten das Modell dann in drei distinkten Phasen: erstens ein „Continued Pre-training“, um die Grundlagen der Mode zu erlernen; zweitens ein „Supervised Fine-Tuning“, um die spezifische Aufgabe des Ankleidens zu meistern; und schließlich eine Phase des „Reinforcement Learning“. Letzterer Schritt ist wie ein strenger Modeschütze (ein hybrides Belohnungssystem), der die Arbeit des Modells bewertet und es lehrt, subtile Fehler wie ungeschickte Faltenwürfe oder Identitätsabweichungen zu korrigieren. Das Ergebnis ist ein System, das vielfältige Szenarien bewältigen kann, vom Ganzkörper-Outfit bis hin zu Accessoires für den Oberkörper, und das sogar an nicht-menschlichen Subjekten wie Anime-Charakteren oder Statuen funktioniert, was beweist, dass es die allgemeinen Regeln des Tragens gelernt hat, anstatt nur spezifische Fotos auswendig zu lernen.
Kurz gesagt, Oxygen-TryOn stellt einen Wechsel vom „Raten“, wie Kleidung aussehen sollte, hin zum „Begreifen“, wie sie passt, dar. Es deutet darauf an, dass wir, indem wir Modelle speziell für eine Domäne bauen und sie mit hochwertigen, strukturierten Daten trainieren, eine KI erschaffen können, die nicht nur präziser, sondern auch nützlicher für reale Anwendungen wie das Online-Shopping ist. Obwohl das Modell derzeit Grenzen hat – wie etwa die Handhabung von mehr als vier Referenzartikeln gleichzeitig aufgrund seiner zugrunde liegenden Architektur –, zeigt das Paper, dass der Weg zu einer wahrhaft universellen virtuellen Anprobe offen ist und die Zukunft der digitalen Mode vielleicht nur eine einzige, intelligente Generierung entfernt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.