Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On
Oxygen-TryOn is een verenigd, mode-eigen fundatiemodel dat fotorealistische virtuele pasproeven van de hoogste klasse bereikt voor diverse artikelen en scenario's door gebruik te maken van een speciale data-engine en een driefasige trainingspipeline die reinforcement learning omvat, waarmee het zowel toonaangevende propriëtaire als open-source systemen overtreft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je direct elk kledingstuk kunt passen dat je ziet in een tijdschrift, op de foto van een vriend, of in een willekeurige straatfoto, zonder ooit een paskamer te betreden. Dit is de droom van "virtueel passen", een tak van kunstmatige intelligentie die probeert mensen digitaal in nieuwe kleding te kleden. Lange tijd waren deze digitale kleermakers als onhandige leerlingen: ze konden slechts één type shirt tegelijk aan, ze vergaten vaak hoe de persoon eronder uitzag, en ze hadden moeite om de stof er echt uit te laten zien wanneer de persoon bewoog. Ze behandelden de taak als een simpel "kleuren op nummer"-spel, waarbij ze alleen een lege ruimte vulden met een nieuwe textuur. Maar wat als de AI mode echt zou kunnen begrijpen? Wat als de AI wist dat een hoed op een hoofd hoort, een tas aan een schouder hangt, en dat een jasje over een trui moet vallen, in plaats van er alleen bovenop te liggen? Dit is de vraag waar onderzoekers zich mee bezighouden: hoe bouw je een AI die niet alleen afbeeldingen aan elkaar plakt, maar ook echt "begrijpt" hoe kleding, accessoires en mensen in de echte wereld met elkaar interageren.
Maak kennis met Oxygen-TryOn, een nieuw "fashion-native" fundamentmodel gecreëerd door de Oxygen AIGC Group en Joy Future Academy bij JD. Zie dit model niet als een generieke fotobewerker die je moet foppen om mode-werk te doen, maar als een specialistische kleermaker die in de modewereld is geboren en opgegroeid. Terwijl andere AI-systemen proberen een algemeen fotobewerkingsprogramma te dwingen tot virtueel passen door het vage instructies te geven (wat vaak leidt tot hallucinaties, zoals het verzinnen van nepknoppen of het verliezen van het gezicht van de persoon), is Oxygen-TryOn vanaf de grond af aan specifiek gebouwd voor het aankleden van mensen. Het behandelt virtueel passen niet als een simpele "invul-puzzel", maar als een complexe redeneertaak waarbij de AI moet uitzoeken wat elk item is, waar het hoort en hoe het eruit moet zien wanneer het gedragen wordt.
De onderzoekers ontdekten dat door dit model te voeden met een enorme, speciaal gecureerde bibliotheek aan modegegevens en het te onderwijzen via een driestaps "trainingsrecept", ze resultaten konden bereiken die veel realistischer en consistenter zijn dan eerdere methoden. Het model kan een enkele foto van een persoon nemen en deze in één enkel item kleden, of het kan een chaotische mix van referenties verwerken — zoals een shirt uit de ene foto, schoenen uit de andere, een tas uit de derde en een hoed uit de vierde — en deze combineren tot één samenhangend outfit. Het gaat alles aan, van strakke productfoto's tot "in-the-wild" snapshots van mensen die de items al dragen. Cruciaal is dat het de identiteit van de persoon (hun gezicht, lichaamsvorm en pose) en de fijne details van de kleding (texturen, logo's en patronen) met hoge getrouwheid behoudt.
In hun experimenten deed Oxygen-TryOn niet alleen braaf zijn werk; het presteerde beter dan de concurrentie. Op standaardtests behaalde het state-of-the-art scores en versloeg het zowel krachtige open-source modellen als top-tier propriëtaire systemen zoals Nano Banana Pro, GPT-Image-2 en Seedream5 Lite. Het blinkt met name uit in "multi-item" scenario's, waarbij het erin slaagt meerdere items te combineren zonder in de war te raken of details te verliezen. Het team liet ook zien dat het model flexibel genoeg is om extra instructies op te volgen, zoals het veranderen van de pose van een persoon of de achtergrond, allemaal binnen dezelfde generatie-ronde.
Het geheime ingrediënt achter dit succes was niet alleen de modelarchitectuur, maar de "data-engine" die het team bouwde om het te voeden. Ze hebben niet simpelweg het internet afgestroken; ze hebben een pijplijn geconstrueerd die hoogwaardige try-on data op massale schaal verzamelt, filtert, annoteert en produceert. Vervolgens trainden ze het model in drie duidelijke fasen: eerst een "voortgezette pre-training" om de basis van mode te leren; tweede, een "supervised fine-tuning" om de specifieke taak van het aankleden te beheersen; en tot slot een fase van "reinforcement learning". Deze laatste stap is als het hebben van een strenge moderecensent (een hybride beloningssysteem) die het werk van het model beoordeelt, waardoor het leert subtiele fouten te herstellen zoals ongemakkelijke plooien of identiteitsdrift. Het resultaat is een systeem dat diverse scenario's kan afhandelen, van volledige outfits tot accessoires voor het bovenlichaam, en zelfs werkt op niet-menselijke onderwerpen zoals anime-personages of standbeelden, wat bewijst dat het de algemene regels van het dragen van dingen heeft geleerd in plaats van alleen specifieke foto's te onthouden.
Kortom, Oxygen-TryOn vertegenwoordigt een verschuiving van het "raden" hoe kleding eruit zou moeten zien naar het "redeneren" over hoe het past. Het suggereert dat door modellen specifiek voor een domein te bouwen en ze te trainen met hoogwaardige, gestructureerde data, we AI kunnen creëren die niet alleen nauwkeuriger maar ook nuttiger is voor real-world toepassingen zoals online winkelen. Hoewel het model momenteel beperkingen heeft — zoals het hanteren van meer dan vier referentie-items tegelijk vanwege de onderliggende architectuur — laat het paper zien dat de weg naar echt universeel virtueel passen openligt, en dat de toekomst van digitale mode misschien slechts één slimme generatie verwijderd is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.