Resumo Técnico: GarmentZoom

Definição do Problema

As listagens de vestuário online apresentam tipicamente uma experiência de visualização fragmentada: uma imagem de visão completa em resolução padrão fornece o contexto, enquanto imagens de close-up separadas revelam detalhes finos da textura. Os usuários precisam alternar constantemente entre essas visualizações, quebrando a continuidade da navegação. Embora a Super-Resolução Baseada em Referência (RefSR) ofereça uma solução potencial, os métodos existentes enfrentam limitações significativas neste domínio específico:

1. Desalinhamento Espacial: A RefSR padrão assume que a imagem de referência e a entrada de baixa resolução (LR) compartilham correspondência espacial. Nas listagens de vestuário, os close-ups frequentemente cobrem apenas uma pequena região não sobreposta da peça inteira, e podem diferir em perspectiva, iluminação ou deformação do tecido, tornando o alinhamento ao nível de pixel inviável.
2. Fatores de Escala Variáveis: Os métodos tradicionais de RefSR assumem fatores de upsampling fixos e discretos (ex: 4×). As listagens de vestuário do mundo real exibem fatores de escala contínuos variando de 3× a 20× entre a visão completa e o close-up.
3. Custo Computacional: Abordagens anteriores capazes de lidar com escalas variáveis e desalinhamento (ex: UltraZoom) dependem de ajuste fino (fine-tuning) por instância, o que é computacionalmente proibitivo para implantações de e-commerce em larga escala.

Metodologia

O GarmentZoom aborda esses desafios sintetizando uma única imagem de vestuário de ultra-alta resolução a partir de uma foto de visão completa e uma referência de close-up não alinhada. O sistema é construído sobre o Flux.1-dev, um modelo de flow-matching de última geração, e incorpora três componentes principais:

1. Construção do Dataset

Como as fotos de produtos do mundo real carecem de um alinhamento de pixel confiável, os autores constroem um dataset supervisionado sintético a partir de close-ups de vestuário de alta resolução.

• Geração de Tripletos: Para cada close-up de alta resolução, dois cortes espacialmente separados são amostrados: um como a referência ($I_{Ref}$) e outro como o solo verdadeiro ($I_{GT}$).
• Entrada LR Sintética: O solo verdadeiro é reduzido por um fator de escala contínuo aleatório $s \in [3, 20]$ para criar a entrada de baixa qualidade ($I_{LQ}$).
• Restrição: A separação espacial entre os cortes impede que o modelo aprenda soluções triviais de "copiar e colar", forçando-o a aprender a transferência de textura baseada em pistas de aparência em vez de correspondência direta.
• Condicionamento de Texto: Um modelo de visão-linguagem gera descrições textuais detalhadas para cada peça de roupa para servir como condicionamento auxiliar.

2. Arquitetura do Modelo

O sistema adapta a arquitetura transformer do Flux.1-dev com as seguintes modificações:

• Condicionamento de Sequência Unificada (Unified-Sequence Conditioning): A imagem de referência ($I_{Ref}$) e o ruído do target latent ($x_t$) são codificados em sequências latentes e concatenados. Essa sequência combinada é processada pelo transformer, permitindo que os tokens do alvo acessem informações de textura da referência via mecanismos de cross-attention.
• Integração de ControlNet: Um ControlNet de 4× Single-Image Super-Resolution (SISR) pré-treinado e congelado é condicionado na entrada de baixa qualidade ($x_{LQ}$) para preservar a estrutura global e a deformação do tecido da imagem original de visão completa.
• Objetivo de Treinamento: O modelo é treinado usando um objetivo de flow-matching para prever o campo de velocidade, minimizando a diferença entre as velocidades previstas e o alvo.
• Eficiência de Parâmetros: O modelo é ajustado usando LoRA (Low-Rank Adaptation) com um rank de 512, mantendo os pesos base congelados para garantir eficiência.

3. Estratégia de Inferência

Para lidar com a geração de resolução total dentro das restrições de memória da GPU, os autores empregam uma estratégia de inferência de janela deslizante (sliding-window inference):

• A imagem de visão completa é dividida em janelas sobrepostas.
• A inferência é realizada em cada patch de forma independente.
• Para mitigar artefatos causados pelas fronteiras repetidas das janelas, a posição das janelas deslizantes é variada em cada passo de tempo da inferência.
• As regiões latentes sobrepostas são calculadas pela média em uma tela unificada para produzir um output sem costuras e livre de artefatos.

Principais Contribuições

1. Um Novo Sistema: O GarmentZoom sintetiza uma única imagem de vestuário de alto detalhe a partir de fotos de visão completa e close-ups não alinhados, permitindo uma exploração fluida de zoom-and-pan.
2. RefSR Robusta Guiada por Referência: O modelo suporta referências espacialmente desalinhadas e fatores de escala contínuos (3–20×), superando as limitações de métodos anteriores dependentes de escala fixa e alinhamento.
3. Pipeline de Treinamento Eficiente: A abordagem treina um único modelo generalizável usando triplets sintéticos derivados de listagens reais de e-commerce, evitando o alto custo computacional do ajuste fino por instância.

Resultados Experimentais

O método foi avaliado em um dataset de 8.547 produtos de vestuário, comparando-o com baselines gerais de RefSR (TTSR, DATSR, AdaRefSR, ReFIR) e um baseline de SISR de escala contínua (ContinuousSR).

• Desempenho Quantitativo: O GarmentZoom alcançou resultados de estado da arte em métricas perceptuais (LPIPS, DISTS) e métricas de domínio de frequência (LSD) tanto em escalas de 4× quanto de 10×. Notavelmente, ele manteve um desempenho consistente até 16×, enquanto os métodos baseline degradaram significativamente conforme os fatores de escala aumentavam.
• Estudo de Usuário: Em um estudo com 13 participantes, o GarmentZoom recebeu preferência de topo em 97,7% dos casos para escalonamento de 10×, superando significativamente os baselines com ajuste fino.
• Comparação com Métodos por Instância: Quando comparado qualitativa e quantitativamente ao UltraZoom (que requer ~1,5 hora de ajuste fino por produto), o GarmentZoom produziu resultados de qualidade comparável sem a necessidade de treinamento específico para cada instância. Ele demonstrou fidelidade de cor superior e evitou os problemas de "desvio de cor" observados no UltraZoom.
• Estudos de Ablação:
  • Robustez de Escala: O modelo generalizou-se efetivamente através da faixa de 3–20×.
  • Similaridade de Referência: O desempenho diminuiu à medida que o deslocamento espacial entre a referência e o alvo aumentava, confirmando que o modelo depende da similaridade da referência, mas permanece robusto a desalinhamentos moderados.
  • Arquitetura: O condicionamento de sequência unificada com LoRA superou outros métodos de injeção de cross-attention (inspirados em IP-Adapter), sugerindo que a coevolução dos latentes de referência e de entrada dentro do mesmo espaço de atenção é mais eficaz para a transferência de textura.

Significância e Alegações

O artigo posiciona o GarmentZoom como um passo prático em direção a experiências virtuais de produtos sem interrupções. Ao desacoplar a necessidade de alinhamento espacial e treinamento por instância, o sistema permite a geração de imagens de vestuário de alta fidelidade e com zoom a uma fração do custo de treinamento dos métodos atuais por instância. Os autores afirmam que o sistema generaliza com sucesso entre diversos vestuários e fatores de escala, preenchendo a lacuna entre o contexto de visão geral e a fidelidade de nível de detalhe no shopping online.

Limitações: Os autores reconhecem que, como outros métodos de RefSR, se a textura necessária estiver totalmente ausente da imagem de referência, o modelo deve alucinar detalhes plausíveis. Eles sugerem que trabalhos futuros poderiam focar na seleção automática de crops de referência ideais para cobrir as texturas necessárias.