Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On
O Oxygen-TryOn é um modelo de fundação unificado e nativo da moda que alcança o estado da arte em provador virtual fotorrealista para diversos itens e cenários ao alavancar um mecanismo de dados dedicado e um pipeline de treinamento de três estágios envolvendo aprendizado por reforço, superando tanto sistemas proprietários quanto de código aberto líderes.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde você pudesse experimentar instantaneamente qualquer roupa que visse em uma revista, na foto de um amigo ou em um registro aleatório de rua, sem nunca precisar pisar em um provador. Este é o sonho do "provador virtual", um ramo da inteligência artificial que tenta vestir digitalmente as pessoas com roupas novas. Por muito tempo, esses alfaiates digitais foram como aprendizes desajeitados: eles só conseguiam lidar com um tipo de camisa por vez, frequentemente esqueciam como a pessoa era por baixo e tinham dificuldade em fazer o tecido parecer real quando a pessoa se movia. Eles tratavam a tarefa como um simples jogo de "pintar por números", apenas preenchendo um espaço vazio com uma nova textura. Mas e se a IA pudesse realmente entender a moda? E se ela soubesse que um chapéu vai na cabeça, que uma bolsa fica pendurada no ombro e que uma jaqueta precisa cair sobre um suéter, em vez de apenas sentar em cima dele? Esta é a questão que os pesquisadores estão enfrentando: como construir uma IA que não apenas cole imagens, mas que realmente "entenda" como roupas, acessórios e pessoas interagem no mundo real.
Conheça o Oxygen-TryOn, um novo modelo fundamental "nativo da moda" criado pelo Oxygen AIGC Group e pela Joy Future Academy da JD. Pense neste modelo não como um editor de fotos genérico que você tem que enganar para fazer o trabalho de moda, mas como um alfaiate especialista que nasceu e foi criado no mundo do estilo. Enquanto outros sistemas de IA tentam forçar um editor de imagens de uso geral a fazer o provador virtual dando-lhe instruções vagas (o que frequentemente leva a alucinações, como inventar botões falsos ou perder o rosto da pessoa), o Oxygen-TryOn foi construído do zero especificamente para vestir pessoas. Ele trata o provador não como um simples quebra-cabeça de "preencher lacunas", mas como uma tarefa complexa de raciocínio onde a IA deve descobrir o que cada item é, onde ele pertence e como deve parecer quando usado.
Os pesquisadores descobriram que, ao alimentar este modelo com uma biblioteca massiva e especialmente curada de dados de moda e ensiná-lo através de uma "receita de treinamento" de três etapas, conseguiram resultados muito mais realistas e consistentes do que os métodos anteriores. O modelo pode pegar uma única foto de uma pessoa e vesti-la com um único item, ou pode lidar com uma mistura caótica de referências — como uma camisa de uma foto, sapatos de outra, uma bolsa de uma terceira e um chapéu de uma quarta — e combiná-los em um único visual coerente. Ele lida com tudo, desde fotos limpas de produtos até registros "in-the-wild" de pessoas já usando os itens. Crucialmente, ele preserva a identidade da pessoa (seu rosto, formato do corpo e pose) e os detalhes finos das roupas (texturas, logotipos e padrões) com alta fidelidade.
Em seus experimentos, o Oxygen-TryOn não apenas jogou bem; ele superou a concorrência. Em testes padrão, alcançou pontuações de estado da arte, vencendo tanto modelos de código aberto poderosos quanto sistemas proprietários de alto nível como o Nano Banana Pro, GPT-Image-2 e Seedream5 Lite. Ele brilha particularmente em cenários de "múltiplos itens", onde consegue sobrepor vários itens com sucesso sem se confundir ou perder detalhes. A equipe também mostrou que o modelo é flexível o suficiente para seguir instruções extras, como mudar a pose de uma pessoa ou o fundo, tudo na mesma passagem de geração.
O ingrediente secreto por trás desse sucesso não foi apenas a arquitetura do modelo, mas o "motor de dados" que a equipe construiu para alimentá-lo. Eles não apenas coletaram dados da internet; eles construíram um pipeline que coleta, filtra, anota e fabrica dados de provador de alta qualidade em escala massiva. Eles então treinaram o modelo em três estágios distintos: primeiro, um "pré-treinamento contínuo" para aprender o básico da moda; segundo, um "ajuste fino supervisionado" para dominar a tarefa específica de vestir; e, finalmente, um estágio de "aprendizado por reforço". Este último passo é como ter um crítico de moda rigoroso (um sistema de recompensa híbrido) avaliando o trabalho do modelo, ensinando-o a corrigir erros sutis como dobras estranhas ou desvio de identidade. O resultado é um sistema que pode lidar com diversos cenários, desde looks de corpo inteiro até acessórios de meio corpo, e que funciona até em assuntos não humanos, como personagens de anime ou estátuas, provando que aprendeu as regras gerais de vestir algo, em vez de apenas memorizar fotos específicas.
Em suma, o Oxygen-TryOn representa uma mudança de "adivinhar" como as roupas devem parecer para "raciocinar" sobre como elas se ajustam. Isso sugere que, ao construir modelos específicos para um domínio e treiná-los com dados estruturados de alta qualidade, podemos criar uma IA que é não apenas mais precisa, mas também mais útil para aplicações do mundo real, como o compras online. Embora o modelo tenha limites atualmente — como lidar com mais de quatro itens de referência de uma vez devido à sua arquitetura subjacente — o artigo demonstra que o caminho para um provador virtual verdadeiramente universal está aberto, e o futuro da moda digital pode estar a apenas uma geração inteligente de distância.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.