CatalogStitch: Dimension-Aware and Occlusion-Preserving Object Compositing for Catalog Image Generation

Resumo Técnico: CatalogStitch

1. O Problema

A geração de imagens de catálogo para e-commerce tradicionalmente exige fotoshoots caros e demorados. Métodos recentes de composição de objetos baseados em IA generativa (como ObjectStitch, OmniPaint e InsertAnything) oferecem uma alternativa promissora, mas falham em cenários de produção real devido a duas limitações críticas:

1. Dessincronização de Dimensões (Dimension Mismatch): Quando um produto de substituição tem proporções (aspect ratio) diferentes do produto original na imagem, os métodos existentes forçam o novo objeto a caber na máscara original. Isso resulta em distorções visuais (estiramento ou esmagamento) do produto.
2. Destruição de Oclusões (Occlusion Destruction): Em imagens de catálogo realistas, produtos são frequentemente parcialmente cobertos por elementos de primeiro plano (plantas, vasos, móveis). Os métodos generativos atuais, ao preencher a região alvo, tendem a destruir ou distorcer esses elementos oclusores, exigindo correções manuais laboriosas pós-geração.

Essas falhas exigem intervenção manual intensiva (ajuste de máscaras, restauração de pixels), tornando o fluxo de trabalho impraticável para não especialistas e lento para operadores experientes.

2. Metodologia: CatalogStitch

O CatalogStitch não é um novo modelo generativo, mas um conjunto de técnicas agnósticas ao modelo que atuam como pré e pós-processamento para qualquer modelo de composição existente. O sistema opera em duas etapas principais:

A. Computação de Máscara Consciente de Dimensão (Dimension-Aware Mask Computation)

• Objetivo: Adaptar automaticamente a região alvo para acomodar as proporções do novo produto sem distorção.
• Algoritmo:
  1. Calcula o centróide da máscara original para manter a posição espacial.
  2. Compara a proporção (aspect ratio) do produto original ($AR_t$) com a do novo produto ($AR_p$).
  3. Se a diferença exceder um limiar ($\tau = 0.06$), o algoritmo recalcula as dimensões da máscara ($w^*, h^*$) para corresponder à proporção do novo produto, mantendo o centróide fixo.
  4. Gera uma nova máscara retangular expandida, garantindo que o produto seja inserido com suas proporções nativas corretas.

B. Restauração Híbrida Consciente de Oclusão (Occlusion-Aware Hybrid Restoration)

• Objetivo: Preservar pixel-perfeitamente os elementos de primeiro plano que cobrem o produto alvo.
• Pipeline de 5 Etapas:
  1. Segmentação: Identifica instâncias de primeiro plano que se sobrepõem à região alvo usando segmentação de entidades.
  2. Cache de Pixels Exatos: Extrai e armazena os pixels originais (RGB e alpha) dos objetos oclusores da imagem de fundo. Nenhuma síntese é aplicada aqui; os pixels são preservados "verbatim".
  3. Inpainting Generativo: Aplica inpainting na imagem de fundo para remover visualmente os oclusores, expondo um fundo "limpo" onde o produto pode ser inserido sem interferência residual.
  4. Composição Generativa: O modelo de composição (ex: ObjectStitch) insere o novo produto no fundo limpo usando a máscara adaptada.
  5. Recomposição Exata: Os pixels originais dos oclusores (cacheados no passo 2) são sobrepostos (alpha compositing) ao resultado gerado. Isso garante que a geometria, textura, iluminação e sombras dos objetos de primeiro plano sejam restauradas com fidelidade absoluta, sem dependência da capacidade de reconstrução do modelo generativo.

3. Principais Contribuições

1. Algoritmo de Máscara Adaptativa: Resolve o problema de distorção de proporção automaticamente, eliminando a necessidade de ajuste manual de máscaras.
2. Restauração Híbrida Determinística: Garante a preservação perfeita de elementos oclusores através do cache e recomposição de pixels originais, superando as limitações de reconstrução de modelos generativos.
3. CatalogStitch-Eval: Introdução de um novo benchmark com 58 exemplos desafiadores (35 com dessincronização de dimensões e 23 com oclusões pesadas), incluindo visualizadores HTML e PDF para inspeção rápida.
4. Validação Cruzada: Demonstração de que as técnicas melhoram consistentemente três modelos de última geração (ObjectStitch, OmniPaint, InsertAnything), provando sua agnosticidade e utilidade geral.

4. Resultados Experimentais

Os autores avaliaram as técnicas em 58 cenários usando métricas quantitativas e qualitativas:

• Preservação de Proporção (AR Error): A taxa de erro de aspecto caiu drasticamente de ~30% (métodos base) para ~4-5% com o uso da máscara consciente de dimensão.
• Fidelidade de Oclusão (Occluder PSNR): A restauração híbrida alcançou um PSNR de 27.54 (para o modelo InsertAnything), indicando uma recuperação quase perfeita dos pixels originais, comparado a valores muito baixos (~11-13) sem a técnica.
• Qualidade Geral (FID, CLIP, DINO):
  • O modelo InsertAnything + CatalogStitch obteve os melhores resultados em todas as métricas: FID mais baixo (77.72), maior pontuação CLIP (92.68) e maior pontuação DINO (88.30).
  • As melhorias foram consistentes em todos os modelos testados, confirmando que a dessincronização de dimensões e a destruição de oclusões são falhas sistemáticas dos pipelines generativos atuais.

5. Significado e Impacto

O trabalho CatalogStitch preenche a lacuna crítica entre a pesquisa acadêmica em IA generativa e as necessidades de produção industrial de e-commerce.

• Democratização: Ao automatizar correções técnicas tediosas, permite que designers e marketers não especialistas utilizem modelos generativos complexos sem necessidade de habilidades técnicas avançadas.
• Confiabilidade de Produção: A abordagem híbrida (IA generativa para harmonização + operações determinísticas para fidelidade de pixels) oferece o equilíbrio necessário entre flexibilidade criativa e a precisão exigida por catálogos comerciais.
• Futuro: O design agnóstico ao modelo significa que essas melhorias podem ser aplicadas a qualquer novo modelo de composição que surja no futuro, protegendo os fluxos de trabalho contra a obsolescência.

Em suma, o CatalogStitch transforma a composição generativa de uma ferramenta experimental propensa a erros em uma solução prática e confiável para a geração de imagens de catálogo em escala.