Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Imagine que você está tentando ensinar um robô a se vestir. Você mostra a ele a foto de uma pessoa e a foto de uma jaqueta nova e legal, e pergunta: "Você pode colocar a jaqueta na pessoa?". Este é o mundo da Provador Virtual (VITON), um ramo da visão computacional onde as máquinas tentam resolver o quebra-cabeça de como as roupas ficam em diferentes corpos. Para fazer isso, o robô usa um tipo especial de "cérebro" chamado modelo de difusão. Pense em um modelo de difusão como um artista mágico que começa com uma tela coberta de estática (como a neve de uma TV) e, passo a passo, limpa o ruído para revelar uma imagem. Se você der a esse artista uma descrição em texto como "uma camisa vermelha", ele pode pintá-la. Mas se você quiser que ele pinte exatamente aquela camisa específica naquela pessoa específica, com as mangas terminando no cotovelo e a gola assentando perfeitamente, o artista muitas vezes fica confuso. Ele pode pintar a camisa muito longa, muito curta ou com a cor errada. Este é um grande problema para as lojas online, porque se um cliente comprar uma camisa baseada em uma foto falsa que não corresponde à realidade, ele ficará insatisfeito.

Este relatório de Max Rehman Linder aborda essa confusão. O autor pergunta: "E se pudéssemos dar ao robô uma régua e um conjunto de instruções, não apenas uma descrição vaga?". O artigo propõe um novo método chamado ControlableClothing. Em vez de apenas mostrar as imagens ao robô, a equipe do autor mede as roupas e o corpo da pessoa com precisão matemática — calculando exatamente quanto do ombro é coberto, quão profunda é a gola e qual o comprimento das mangas. Eles transformam essas medições em um código secreto (rótulos) e os alimentam ao robô junto com as imagens. O resultado é um sistema que não apenas adivinha onde as roupas ficam; ele segue um mapa. O artigo sugere que, ao usar essas medições precisas e um "adaptador" especial (uma ferramenta que ajuda o rob em entender o código), as imagens geradas tornam-se muito mais controláveis. No entanto, o autor faz questão de notar que, embora o robô agora possa seguir essas regras, ele ainda precisa de mais prática para acertar cada pequeno detalo perfeitamente, e algumas das novas ferramentas que eles construíram ainda estão sendo testadas para ver se funcionam tão bem quanto o esperado.

A Magia do Artista de "Limpeza de Ruído"

Para entender como isso funciona, vamos olhar para o cérebro do robô. O artigo utiliza um tipo de IA chamado modelo de difusão latente. Imagine um balde de água lamacenta. Se você continuar mexendo, ela ficará cada vez mais suja até se tornar apenas uma lama marrom. Um modelo de difusão aprende a fazer o oposto: aprende como pegar essa lama marrom e, lenta e cuidadosamente, separar a sujeira da água até que você tenha uma imagem clara novamente. No mundo dos computadores, a "lama" é o ruído aleatório, e a "imagem clara" é uma foto de uma pessoa usando roupas.

Por muito tempo, esses robôs foram ótimos em criar novas imagens do zero, mas terríveis em seguir regras estritas. Se você pedisse uma camisa com mangas terminando exatamente no cotovelo, o robô poderia apenas adivinhar. É como pedir a uma criança para desenhar uma casa com uma porta de exatamente 3 polegadas de largura; ela pode desenhar uma porta, mas raramente será o tamanho exato que você queria. Tentativas anteriores de corrigir isso envolveram o uso de GANs (outro tipo de IA), mas elas eram frequentemente rígidas e não conseguiam criar dobras ou iluminação realistas. Então vieram os Modelos de Difusão, que são muito melhores em fazer as coisas parecerem reais, mas ainda lutavam com o problema da "colocação exata".

A Nova Solução: Dando a Régua ao Robô

A ideia principal do autor é simples: pare de adivinhar e comece a medir.

No passado, se você quisesse experimentar uma camisa, apenas mostraria a camisa e a pessoa ao robô. O robô tentaria "deformar" a camisa para caber. Mas o autor percebeu que, para acertar, o robô precisa saber como a camisa serve. É apertada? É larga? A manga para no pulso ou no cotovelo?

Então, a equipe construiu um pipeline de pré-processamento. Antes mesmo de o robô ver a foto, eles usam outras ferramentas inteligentes para:

1. Recortar as roupas: Eles usam uma "máscara" para esconder a parte da pessoa onde a nova camisa irá entrar.
   2.Medir tudo: Eles usam visão computacional para medir a distância dos quadris da pessoa até a parte inferior da camisa, a largura do pescoço e quanto do ombro é coberto.
2. Criar uma "Ficha de Pontuação": Eles transformam essas medições em números e rótulos. Por exemplo, em vez de apenas dizer "mangas longas", eles podem dizer "as mangas terminam em 0,8 do comprimento do braço".

A Ferramenta "Adaptador": O Tradutor

O cérebro do robô (o modelo de difusão) já é muito bom em pintar, mas não fala a linguagem das "medições". Para corrigir isso, o autor construiu uma ferramenta especial chamada adaptador. Pense neste adaptador como um tradutor.

O tradutor pega a "Ficha de Pontuação" (as medições e rótulos) e a foto da camisa, e as converte em uma linguagem que o robô entende. Ele então sussurra essas instruções no ouvido do robô enquanto ele está pintando.

• O IP-Adapter: Esta parte ajuda o robô a entender o aspecto da camisa (o padrão, a cor).
• O T2I-Adapter: Esta parte ajuda o robô a entender os detalhes e onde colocá-los.

O autor criou uma nova versão personalizada deste tradutor especificamente para a parte de "up-sampling" (aumento de resolução) do processo de pintura. Esta é a fase onde o robô adiciona os detalhes finos, como a textura do tecido ou a forma como a luz atinge uma dobra. Ao injetar os dados de medição justamente nesta fase, o robô pode ajustar os detalhes com base nas instruções da régua.

O Que os Experimentos Mostraram

O autor treinou este novo sistema em milhares de imagens de pessoas e roupas. Aqui está o que eles descobriram:

• Funciona, mas é um trabalho em progresso: Quando eles giravam os "ponteiros" (os rótulos de medição), o robô realmente mudava as roupas. Por exemplo, se dissessem ao robô para tornar a gola mais profunda (mudando um número de 1 para -2), o robô desenhava uma gola mais profunda. Se dissessem para cobrir apenas um ombro, ele fazia isso também.
• Números são melhores que palavras: O autor descobriu que dar ao robô um número específico (como um valor float) funcionava melhor do que dar a ele uma categoria (como "manga longa"). É como dizer a um chef "adicione 5 gramas de sal" em vez de "adicione um pouco de sal". O robô conseguia seguir o número com muito mais precisão.
• O truque da "Máscara": A equipe também ensinou o robô a ignorar partes da imagem que estavam escondidas atrás de uma máscara. Eles descobriram que, se dissessem ao robô "a máscara termina aqui, mas você pode pintar acima dela", o robô gerava um novo tecido acima da linha da máscara. Isso é enorme, pois significa que você poderia tirar uma foto de alguém com uma camisa longa e dizer ao robô para transformá-la em um top curto, e o robô saberia que deve pintar a área da barriga que está faltando.
• Os Limites: O artigo admite que o robô ainda não é perfeito. Quando as roupas tinham padrões ou detalhes muito complexos, o robô às vezes os perdia. O autor suspeita que isso ocorre porque a nova ferramenta de "up-sampling" que eles construíram não foi treinada por tempo suficiente. O robô ainda está aprendendo a usar sua nova régua.

O Que o Autor Diz "Não"

O autor foi muito claro sobre o que não funciona ou não é o foco:

• Usar apenas prompts de texto não é suficiente: Eles tentaram pedir ao robô para "tornar as mangas mais longas" usando apenas palavras, mas o robô frequentemente as ignorava ou errava. As medições eram necessárias.
• One-hot encoding não é o ideal: Eles tentaram usar interruptores simples de "ligado/desligado" para coisas como comprimento de manga (ex: "é longa? Sim/Não"), mas descobriram que números contínuos (como um controle deslizante de 0 a 1) ofereciam um controle muito melhor.
• Não é uma solução mágica para tudo: O autor observa que, se o robô for treinado em um conjunto de dados onde ele já memorizou as respostas, adicionar novas instruções pode não ajudar. Eles tiveram que começar do zero para fazer o novo sistema funcionar.

O Veredito

Este artigo sugere que, ao combinar medições precisas com ferramentas de "adaptador" inteligentes, podemos dar muito mais controle aos sistemas de provador virtual. Não é um problema resolvido — o robô ainda precisa de mais treinamento para acertar os detalhes minúsculos, e as novas ferramentas precisam de mais testes — mas a direção é promissora. O autor mostra que, se você der à IA uma régua e um conjunto de instruções, ela pode parar de adivinhar e começar a seguir ordens, criando imagens que são muito mais próximas do que um cliente real veria. É um passo em direção a um futuro onde você poderá experimentar roupas online, e a foto que você vê é exatamente o que chegará quando o pacote chegar.