Match-and-Fuse: Consistent Generation from Unstructured Image Sets

Título: Match-and-Fuse: Geração Consistente a partir de Conjuntos de Imagens Não Estruturados

1. O Problema

A maioria das experiências visuais humanas (álbuns de fotos, catálogos de produtos, arquivos históricos) consiste em conjuntos de imagens que compartilham um elemento visual comum, mas variam em viewpoint, momento de captura e conteúdo circundante. Embora existam avanços significativos na geração de imagens únicas e vídeos, a Inteligência Artificial Generativa (AIGC) ainda carece de métodos eficazes para geração de conjunto a conjunto (set-to-set generation).

O desafio central é manter a consistência cross-imagem (identidade, aparência e geometria do objeto compartilhado) ao transformar um conjunto de imagens de origem em um novo conjunto baseado em prompts de texto, sem que o objeto perca sua identidade ou sofra deformações estruturais entre as diferentes imagens. Métodos existentes falham porque:

• Operam imagem por imagem, ignorando a coerência global.
• Dependem de vídeos (que têm continuidade temporal densa), o que não se aplica a conjuntos de fotos estáticas e desordenadas.
• Exigem supervisão manual (máscaras) ou treinamento específico (fine-tuning) para cada novo conjunto.

2. Metodologia: Match-and-Fuse

O método proposto, Match-and-Fuse, é uma abordagem zero-shot e sem treinamento (training-free) que utiliza um modelo de difusão texto-para-imagem (T2I) pré-treinado e congelado (baseado no FLUX). A inovação central é modelar o conjunto de imagens como um Grafo de Consistência Par (Pairwise Consistency Graph).

Principais Componentes:

1. Modelagem como Grafo:

   • Cada imagem do conjunto é um nó no grafo.
   • Cada aresta conecta um par de imagens distintas, representando a geração conjunta de um grid de duas imagens.
   • Isso permite que o modelo explore o "prior de grid" (a capacidade emergente de modelos T2I de gerar grids coerentes quando promptados juntos), mas supera as limitações de escala e consistência de grids grandes.

2. Fusão de Características Multivista (Multiview Feature Fusion - MFF):

   • Para garantir que os pares de imagens gerados sejam consistentes, o método utiliza correspondências densas 2D (extraídas da imagem de origem usando RoMA) para identificar regiões compartilhadas.
   • Durante o processo de denoising, as características internas (features) do modelo de difusão nos pontos correspondentes são fundidas (fused). Especificamente, os vetores de Key e Value das imagens conectadas são combinados e normalizados, forçando a similaridade nas regiões compartilhadas.
   • Isso é feito iterativamente para todos os pares no grafo, consolidando a consistência local (entre pares) e global (em todo o conjunto).

3. Guia de Características (Feature Guidance):

   • Para refinar detalhes finos e corrigir inconsistências remanescentes, aplica-se um objetivo de otimização baseado na distância entre características correspondentes no espaço latente.
   • Isso atua como um ajuste leve (refinamento) após a fusão, garantindo que pequenos detalhes (texturas, tipografia) permaneçam alinhados.

4. Composição de Prompts:

   • Utiliza um Modelo de Linguagem Visual (VLM) para gerar automaticamente descrições detalhadas por imagem, separando o conteúdo compartilhado (objeto) do conteúdo não compartilhado (fundo/pose), permitindo que o fundo mude conforme um prompt temático enquanto o objeto permanece consistente.

3. Contribuições Principais

• Primeiro Método Set-to-Set: É a primeira abordagem para geração controlada em conjuntos de imagens não estruturados, indo além de pares de imagens ou vídeos contínuos.
• Abordagem Flexível e Automática: Não requer treinamento, máscaras manuais ou supervisão densa. Funciona apenas com prompts de texto simples e um conjunto de imagens de entrada.
• Nova Métrica de Avaliação: Introduz o DINO-MatchSim, uma métrica que mede a consistência cross-imagem em nível de patch (usando correspondências de características do DINOv3), superando métricas globais que falham em capturar detalhes finos.
• Grafo de Consistência: Uma nova formulação que consolida gerações pares em um framework unificado, permitindo escalabilidade para conjuntos grandes (de 2 a 15+ imagens) sem perda de resolução ou consistência.

4. Resultados e Avaliação

Os autores avaliaram o método em um benchmark de 400 edições com 149 conjuntos de imagens diversos (fotos reais, esboços, dados 3D).

• Consistência: O Match-and-Fuse alcançou o estado da arte (SOTA) em consistência visual, superando baselines como FLUX, IC-LoRA, Edicho e FLUX Kontext. A métrica DINO-MatchSim do método foi significativamente superior, aproximando-se da consistência das imagens de origem.
• Qualidade Visual: O método mantém alta qualidade de imagem e aderência ao prompt (CLIP Score), preservando texturas, pequenos detalhes e tipografia.
• Estudos de Usuário e VLM: Em testes de escolha forçada (2AFC), tanto humanos quanto modelos de linguagem visual (VLM) preferiram consistentemente o Match-and-Fuse em relação a todas as baselines.
• Escalabilidade: O método demonstra robustez em conjuntos de até 15 imagens, mantendo a consistência mesmo com variações de pose não rígidas e oclusões parciais.
• Ablação: Experimentos mostraram que remover qualquer componente (Grafo de Consistência, Fusão de Características ou Guia de Características) degrada significativamente a consistência, provando a necessidade de todos os módulos.

5. Significado e Impacto

O Match-and-Fuse preenche uma lacuna fundamental na AIGC, permitindo fluxos de trabalho criativos que antes eram impossíveis ou extremamente difíceis:

• Publicidade e E-commerce: Transformar catálogos de produtos em anúncios coerentes com diferentes fundos e estilos.
• Arte de Conceito e Cinema: Gerar storyboards ou designs de sets de filmagem com personagens e objetos consistentes em múltiplos ângulos.
• Edição de Vídeo: Permitir a edição consistente de quadros-chave para gerar vídeos coerentes, superando a incoerência de métodos que editam quadros isoladamente.

Ao eliminar a necessidade de treinamento e máscaras manuais, o método democratiza a criação de conjuntos de imagens consistentes, tornando-se uma ferramenta poderosa para criadores de conteúdo e pesquisadores que lidam com coleções de imagens do mundo real.