PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising

Resumo Técnico: PhotoQuilt

Definição do Problema
Fotomosaicos são imagens compostas onde regiões locais funcionam como fotografias independentes e autossuficientes, embora seu arranjo coletivo reconstrua uma cena global coerente. Gerar fotomosaicos de alta resolução apresenta um desafio duplo: o sistema deve manter a coerência estrutural global (a imagem alvo deve ser reconhecível à distância) ao mesmo tempo em que garante a autonomia local do ladrilho (cada ladrilho deve ser uma imagem detalhada e convincente). As abordagens existentes têm dificuldade em satisfazer ambas as escalas simultaneamente. Métodos baseados em recuperação são limitados por repositórios finitos de imagens, levando a ladrilhos repetitivos e correção de cor limitada. Métodos generativos, particularmente aqueles que utilizam modelos de difusão, enfrentam um compromisso: a geração direta de alta resolução é computacionalmente dispendiosa e tende a produzir uma única imagem suave em vez de um mosaico, enquanto métodos de geração de ladrilhos sequenciais ou baseados em patches frequentemente perdem a estrutura global ou exigem procedimentos de coordenação custosos para alinhar os ladrilhos gerados de forma independente.

Metodologia: Denoising de Ladrilhos com Bootstrapping (Bootstrapped Tiled Denoising)
O PhotoQuilt é um framework livre de treinamento que desacopla a composição global da geração de ladrilhos locais. Ele opera sem alterações arquiteturais no modelo de difusão subjacente (compatível tanto com backbones U-Net quanto Diffusion Transformer). O método procede em três estágios:

1. Inicialização Globalmente Coerente: Uma representação latente base ($z_{base}$) é gerada em baixa resolução (ex: 768×768) a partir de um prompt de texto ou pela codificação de uma imagem de referência. Esta base é upsampled para o tamanho da grade latente alvo usando um upsampler fixo.
2. Renoising Parcial: O latente upsampled é parcialmente corrompido com ruído Gaussiano em uma força específica $s$. Este passo é crítico: ele retém o layout de baixa frequência da estrutura global enquanto destrói detalhes de alta frequência. O latente renoised ($\tilde{z}_s$) serve como uma inicialização compartilhada para todos os ladrilhos, atuando como um controle global único que fixa a composição geral da cena.
3. Denoising Independente por Ladrilho: O espaço latente alvo é particionado em $K$ ladrilhos não sobrepostos. Cada ladrilho é denoiseado independentemente, partindo de sua região específica dentro do latente renoised compartilhado $\tilde{z}_s$. Crucialmente, cada ladrilho segue sua própria trajetória de denoising condicionada a um prompt específico de nível de ladrilho ou imagem de referência. Como os ladrilhos são denoiseados separadamente dentro de regiões fixas, eles desenvolvem detalhes de alta frequência únicos (autonomia) enquanto permanecem ancorados à estrutura de baixa frequência compartilhada (coerência global).

O processo conclui realizando o decode dos ladrilhos denoiseados independentemente para a imagem final do fotomosaico. O método evita custos de atenção quadrática ao confinar os mecanismos de atenção dentro de cada ladrilho, permitindo a geração de telas de resolução arbitrariamente grande.

Principais Contribuições

• Framework Livre de Treinamento: O PhotoQuilt não requer treinamento adicional, fine-tuning ou módulos especializados (como ControlNet ou adaptadores). Ele aproveita as capacidades internas de modelos pré-treinados de texto-para-imagem e imagem-para-imagem.
• Resolução Arbitrária: Ao desacoplar o layout global da geração de detalhes locais e confinar a atenção a ladrilhos individuais, o método escala para altas resoluções sem os gargalos computacionais associados aos mecanismos de atenção global.
• Otimização de Dupla Escala: A abordagem de "bootstrapping" resolve explicitamente a tensão entre estrutura global e realismo local. O latente renoised compartilhado impõe o layout global, enquanto as trajetórias de denoising independentes permitem que cada ladrilho divirja em uma imagem distinta e de alta qualidade.
• Agnosticismo de Modelo: O framework é compatível com vários backbones de difusão, incluindo Stable Diffusion 2.1, FLUX.1 e FLUX.2.

Resultados Experimentais
Experimentos foram conduzidos em mosaicos de alta resolução (6144×6144 pixels) usando grades de ladrilhos de 8×8. O PhotoQuilt foi avaliado contra seis baselines, incluindo métodos de recuperação (Match & Tone), abordagens de transferência de estilo (AdaIN) e outras estratégias generativas (Phomosaic, StreamDiff).

• Desempenho Quantitativo: O PhotoQuilt superou as baselines existentes tanto na preservação da estrutura global (medida por PSNR, SSIM, LPIPS e HPSv2 em imagens de baixa resolução) quanto na qualidade local do ladrilho (medida por CLIP score, BLIP e Image Reward). Notavelmente, enquanto métodos como o StreamDiff alcançaram alta fidelidade global, eles falharam em produzir ladrilhos diversos (colapsando os scores locais). Inversamente, métodos focados na autonomia do ladrilho frequentemente sacrificaram a coerência global. O PhotoQuilt alcançou o melhor equilíbrio, com a variante FLUX.1 atingindo os maiores scores de CLIP e Image Reward junto com métricas globais fortes.
• Estudos de Ablação:
  • Guia Global: Remover a inicialização de bootstrapping (substituindo o latente compartilhado por ruído independente) resultou em ladrilhos individuais de alta qualidade, mas em um colapso completo da estrutura global (o PSNR caiu para 13.10), confirmando que o latente compartilhado é essencial para a coerência do layout.
    im
  • Força de Renoising ($s$): O parâmetro de força $s$ atua como um controle entre fidelidade global e independência do ladrilho. Valores menores de $s$ preservam a estrutura global, mas restringem a diversidade dos ladrilhos; valores maiores de $s$ aumentam a liberdade do ladrilho, mas degradam a coerência global. Um valor de $s=0.6$ foi identificado como o trade-off ideal.
  • Resolução de Bootstrap: Imagens base de maior resolução (768×768) forneceram uma orientação estrutural mais rica em comparação com resoluções menores (256×256), melhorando diretamente a fidelidade global.

Significância e Alegações
O artigo afirma que o PhotoQuilt oferece uma solução mínima e eficaz para a geração de fotomosaicos de alta resolução. Ao resolver o problema de dupla escala através de um procedimento de denoising de ladrilhos com bootstrapping, ele permite a criação de mosaicos de grande escala onde a imagem alvo é claramente reconhecível como um todo, enquanto cada ladrilho permanece como uma fotografia significativa e autossuficiente. Os autores enfatizam que esta abordagem evita o custo computacional da geração direta de alta resolução e o overhead de coordenação da montagem sequencial de ladrilhos, fornecendo um método estável e eficiente que funciona em uma ampla gama de resoluções de saída e backbones de modelos.