Multi-Level Conditioning by Pairing Localized Text and Sketch for Fashion Image Generation

O artigo apresenta o LOTS, um framework que aprimora a geração de imagens de moda ao combinar guias de esboço global com pares localizados de texto e esboço, validado pelo novo conjunto de dados Sketchy que oferece múltiplos pares texto-esboço por imagem.

O essencial

Imagine que você é um estilista de moda. Antigamente, para criar um novo vestido, você desenhava um esboço no papel (o formato e o corte) e escrevia uma nota explicando os detalhes (o tecido, a cor, o estilo).

O problema é que, quando tentamos ensinar um computador a fazer isso, ele costuma ficar confuso. Se você pedir "um casaco azul e uma calça vermelha", o computador pode acabar pintando o casaco de vermelho e a calça de azul, ou misturar tudo em uma cor estranha. É como se ele ouvisse a música, mas não soubesse qual instrumento tocar cada nota.

Este artigo apresenta uma solução inteligente chamada LOTS (que significa algo como "Esboço e Texto Localizados com Guia de Múltiplos Níveis"). Vamos explicar como funciona usando uma analogia simples:

1. O Problema: A "Confusão de Atributos"

Pense em um maestro de orquestra. Se ele der uma única ordem geral para a orquestra inteira ("toquem algo alegre"), os violinos podem tocar o ritmo dos tambores e os trombones podem tocar a melodia do flautista. O resultado é um caos.

No mundo da IA de imagens, isso acontece quando tentamos descrever várias peças de roupa de uma só vez. A IA não consegue separar bem onde termina a blusa e começa a calça, misturando as cores e texturas.

2. A Solução: O "Maestro com Condução Individual"

O LOTS funciona como um maestro genial que não apenas dá uma ordem geral, mas entrega uma partitura específica para cada músico, garantindo que todos toquem juntos, mas cada um no seu lugar.

O sistema tem duas etapas principais:

• Etapa 1: O Guia Global (A Estrutura)
  Primeiro, a IA olha para o esboço completo da roupa (o "esboço global"). É como se ela visse o desenho do corpo inteiro para entender a postura, o tamanho e a silhueta geral. Isso garante que a imagem final não fique "desmontada".

• Etapa 2: O Guia Local (Os Detalhes)
  Aqui está a mágica. Em vez de misturar tudo, o LOTS pega cada peça de roupa individualmente (a blusa, a calça, o sapato).

  • Ele olha para o desenho daquela peça específica.
  • Ele lê o texto que descreve aquela peça específica (ex: "azul, de seda, com botões dourados").
  • Ele une esses dois dados (desenho + texto) e os entrega para a IA como um "pacote" separado.

3. O Processo de Criação: "Construindo Camada por Camada"

A IA não cria a imagem de uma vez só. Ela usa um processo chamado "Difusão", que é como começar com uma tela cheia de estática (ruído) e ir limpando-a até aparecer a imagem.

O LOTS entra nesse processo de limpeza como um guia constante:

• Ele diz: "Nesta parte da tela, siga o desenho da calça e use a cor vermelha".
• E, ao mesmo tempo, diz: "Nesta outra parte, siga o desenho da blusa e use o tecido azul".
• E, no fundo, ele lembra: "Não esqueça que é um corpo humano inteiro, mantenha a proporção".

Isso impede que a cor vermelha "vaze" para a blusa azul. É como se cada peça de roupa tivesse seu próprio "capitão" garantindo que ela fique exatamente como foi desenhada e descrita.

4. O Novo "Livro de Receitas": O Dataset Sketchy

Para ensinar essa IA a fazer isso, os criadores precisavam de um "livro de receitas" gigante. Eles criaram um novo banco de dados chamado Sketchy.

• Eles pegaram milhares de fotos de moda.
• Usaram inteligência artificial para "desenhar" esboços profissionais de cada peça de roupa separadamente.
• Escreveram descrições detalhadas para cada peça.
• O toque especial: Eles também pediram para pessoas comuns (que não são designers) desenharem roupas em um site. Isso serviu para testar se a IA consegue entender esboços "feios" ou amadores, não apenas desenhos perfeitos de profissionais.

Resumo Final

Em resumo, o LOTS é como um assistente de design superinteligente. Ele consegue pegar um esboço de um look completo, entender que cada peça tem sua própria história (cor, tecido, estilo) e garantir que, na imagem final, a calça seja vermelha, a blusa seja azul e o sapato seja preto, sem que as cores se misturem.

Isso é um grande avanço porque permite que designers e pessoas comuns criem roupas complexas e realistas apenas desenhando e descrevendo, sem que a máquina "alucine" e misture tudo. É o fim da "confusão de atributos" e o início de uma nova era de criação de moda assistida por computador.

Resumo técnico

Resumo Técnico: LOTS e o Dataset Sketchy

1. Problema Abordado

O trabalho foca na geração de imagens de moda realistas a partir de esboços e descrições textuais. O desafio central identificado é a geração condicional multi-localizada:

• Contexto: Um design de moda completo geralmente consiste em múltiplas peças (ex: blusa, calça, sapatos). Designers frequentemente fornecem pares de esboço-texto específicos para cada peça (ex: "blusa listrada" para a parte superior, "calça jeans" para a inferior).
• Limitação dos Métodos Atuais: As abordagens state-of-the-art (SOTA) existentes tendem a tratar o esboço global e o texto como uma única instrução monolítica. Isso leva ao problema de confusão de atributos (attribute confusion), onde propriedades de uma peça (ex: cor ou padrão de uma blusa) são erroneamente aplicadas a outra peça (ex: calça), ou a estrutura global do traje é perdida.
• Objetivo: Desenvolver um modelo capaz de manter a coerência estrutural global do traje enquanto aplica instruções semânticas finas e localizadas a cada peça individual sem vazamento de atributos.

2. Metodologia: Framework LOTS

Os autores propõem o LOTS (LOcalized Text and Sketch with multi-level guidance), um framework de duas etapas baseado em modelos de difusão:

• A. Etapa de Condicionamento Multinível:

  • Nível Local (Representação Modular Centrada no Par): Cada par esboço-texto local é processado independentemente. Esboços e textos são codificados por encoders específicos de modalidade (congelados) e fundidos em um espaço latente compartilhado usando um módulo Pair-Former. Este módulo utiliza tokens aprendíveis para criar representações espaciais fundidas para cada par, garantindo que a semântica de um par não interfira com a de outro.
  • Nível Global (Condicionamento Global): Para garantir a coerência do traje como um todo (pose, proporção, composição), um esboço global é codificado e injetado via um mecanismo de atenção cruzada (cross-attention) sobre as representações locais. Isso fornece contexto estrutural de alto nível sem fundir prematuramente os pares locais.
  • Representação Final: As representações locais e globais são somadas para formar uma representação multinível ($P_{m-l}$).

• B. Etapa de Guia de Pares na Difusão (Diffusion Pair Guidance):

  • Em vez de fundir todas as condições em uma única representação antes da geração, o LOTS injeta as representações multiníveis diretamente no processo de difusão durante as etapas iterativas de remoção de ruído (denoising).
  • Módulos de atenção adaptáveis (adapters) são inseridos paralelamente às camadas de atenção do modelo de difusão congelado. Isso permite que o modelo assimile gradualmente as condições locais e globais, prevenindo a confusão de atributos que ocorre na fusão antecipada.
  • O modelo suporta um número variável de pares esboço-texto sem alterações arquitetônicas.

3. Contribuições Principais

1. Novo Formulário de Tarefa: Definição do problema de "geração de imagem condicional multi-localizada", permitindo controle fino sobre múltiplas peças de roupa simultaneamente.
2. Framework LOTS: Uma arquitetura inovadora que processa pares localmente e integra-os globalmente apenas durante a difusão, mitigando vazamento de atributos e mantendo a integridade estrutural.
3. Dataset Sketchy:
   • O primeiro dataset de moda projetado especificamente para geração condicional localizada.
   • Baseado no Fashionpedia, contendo 47 mil trajes e 104 mil pares localizados (esboço + descrição textual detalhada por peça).
   • Inclui anotações de cor (frequentemente ausentes em datasets anteriores) e descrições textuais hierárquicas geradas por LLMs.
   • Divisão "In the Wild": Um conjunto de dados com esboços feitos por não especialistas (usuários comuns com mouse ou caneta), permitindo avaliar a robustez do modelo a variações e imperfeições no desenho.
4. Avaliação Abrangente: Introdução de métricas específicas, como o Localized-VQAScore, que verifica se os atributos textuais estão corretamente associados às regiões de roupa específicas, e estudos humanos para validar a precisão.

4. Resultados Experimentais

• Desempenho Quantitativo (Dataset Sketchy):
  • O LOTS superou todos os baselines (incluindo ControlNet, IP-Adapter, T2I-Adapter e GLIGEN) na maioria das métricas.
  • Melhorias Chave: Obteve os melhores resultados em GlobalCLIP (alinhamento semântico global), LocalCLIP (alinhamento semântico local) e L-VQAScore (precisão de localização de atributos).
  • SSIM: Mantém alta aderência estrutural ao esboço, superando métodos que priorizam apenas o texto ou apenas o esboço.
• Generalização (Sketchy in the Wild):
  • Ao ser testado em esboços não profissionais (rústicos, com distorções), o LOTS demonstrou robustez superior, mantendo o primeiro lugar na maioria das métricas, enquanto outros modelos sofreram degradação significativa.
• Estudos Humanos:
  • Em testes de preferência, o LOTS foi altamente valorizado por equilibrar a aderência ao esboço (estrutura) com a precisão semântica (cor, padrão, estilo), evitando a confusão de atributos comum em outros modelos (ex: aplicar o padrão da blusa na calça).

5. Significado e Impacto

• Avanço na Síntese de Moda: O trabalho representa uma mudança de paradigma, passando de geração global para controle granular e localizado, essencial para o design de moda realista onde a composição de múltiplas peças é crítica.
• Solução para "Attribute Confusion": Demonstra que a separação do processamento local e a integração tardia via difusão são estratégias eficazes para resolver o problema de atributos vazando entre objetos.
• Recurso para a Comunidade: A liberação do dataset Sketchy e da plataforma de coleta de esboços preenche uma lacuna crítica na pesquisa de IA para moda, fornecendo dados de alta qualidade e cenários de uso realista (esboços não profissionais) para treinar e avaliar futuros modelos.
• Aplicabilidade: O framework pode ser estendido para outros domínios que exigem controle espacial e semântico fino, como design de interiores e criação de personagens.

O código, o dataset e a plataforma estão disponíveis publicamente, conforme indicado no artigo.