Resumo Técnico: Controle Composicional Ancorado para Geração de Imagens de Paisagem

Declaração do Problema

Embora os modelos generativos de imagem sirvam como poderosas ferramentas criativas, eles carecem atualmente de controle preciso sobre a composição, um aspecto fundamental do processo criativo para fotógrafos e artistas visuais. Diferente da especificação de conteúdo, a intenção composicional envolve decisões relativas ao posicionamento do horizonte, divisão do quadro e foco do espectador. Os modelos de difusão padrão (ex: Ho et al. 2020; Rombach et al. 2022) baseiam-se em padrões estatísticos absorvidos durante o pré-treinamento, não oferecendo um mecanismo explícito para que os usuários ditem resultados espaciais ou layouts composicionais. Métodos de controle espacial existentes, como o ControlNet (Zhang et al. 2023) ou GLIGEN (Li et al. 2023), frequentemente exigem entradas estruturais como mapas de profundidade, mapas de borda ou caixas delimitadoras (bounding boxes), que nem sempre estão disponíveis ou são desejáveis para uma direção composicional de alto nível.

Metodologia

1. Extração de Vetor de Âncora Composicional

A inovação central é a extração automática de um vetor de âncora quadridimensional a partir de imagens de treinamento sem anotação manual. Este vetor codifica:

• Posição do Horizonte ($y$): Estimada via transformada de linha de Hough em um mapa de bordas Canny da parte superior de 60% da imagem, normalizada para $[0, 1]$.
• Confiança do Horizonte: A cobertura fracionária da linha horizontal mais longa detectada em relação à largura da imagem.
• Saliência Média: Computada via análise de resíduo espectral através das regiões salientes superiores.
• Razão de Primeiro Plano: Uma estimativa grosseira de conteúdo visualmente proeminente no primeiro plano.

Se nenhum horizonte for detectado, valores padrão são aplicados ($y=0.5$, confiança $=0.0$) para preservar a informatividade dos componentes restantes.

2. Arquitetura de Injeção: Atenção Desacoplada

O vetor de âncora é injetado em um modelo de difusão latente ajustado (fine-tuned) através de uma via de atenção paralela dedicada, distinta do fluxo de condicionamento de texto.

• Codificação de Fourier: O vetor 4D passa por uma camada de incorporação de Fourier usando 16 frequências com espaçamento logarítmico ($2^0$ a $2^{15}$) para criar uma representação de 132 dimensões, permitindo o aprendizado de relações espaciais detalhadas a partir de entradas escalares (motivado pelos resultados de ablação do GLIGEN).
• Projeção de Âncora: Uma rede leve (Linear $\to$ GELU $\to$ LayerNorm $\to$ Linear $\to$ LayerNorm) projeta o vetor 132D em um único token de âncora de forma $[B, 1, 768]$.
• Atenção Desacoplada: Em cada uma das 16 camadas de atenção cruzada no UNet, matrizes de projeção de Chave (Key) e Valor (Value) separadas (decomposição de baixo rank, rank 8) são introduzidas para a âncora. A saída combina a atenção de texto e de âncora:
  $$out = Attn(Q, K_{text}, V_{text}) + \lambda \cdot Attn(Q, K_{anchor}, V_{anchor})$$
  Este design evita que o token de âncora (representando $\approx 1,3\%$ do orçamento de atenção) seja obscurecido pelos 77 tokens de texto, um modo de falha observado quando as âncoras são simplesmente concatenadas à sequência de texto.

3. Estratégia de Treinamento

• Dataset: O Conjunto de Dados de Paisagens Cropped-1901 (4.713 imagens) padronizado para 1949$\times$1024 e redimensionado para 768$\times$400 para treinamento.
• Dropout de Classificador-Livre de Três Vias (CFG): Durante o treinamento, um esquema de dropout específico é aplicado: 5% de queda tanto de texto quanto de âncora, 5% de queda apenas de texto, 5% de queda apenas de âncora e 85% de retenção de ambos. Isso permite a geração condicional onde a âncora pode ser especificada na inferência sem máscaras espaciais manuais.
• Ajuste Fino (Fine-tuning): O modelo utiliza adaptadores LoRA (rank 16) nas projeções de atenção e é treinado por 10.000 passos.

Principais Resultados

Desempenho Quantitativo

A avaliação foi conduzida em quatro configurações de modelo: Baseline (sem ajuste fino), LoRA-only (sem âncora), Concatenação (âncora anexada ao texto) e o Proposto (atenção cruzada desacoplada).

• Taxa de Detecção de Horizonte: O modelo proposto alcançou a maior taxa (0,850), comparado a 0,766 para o baseline e LoRA-only, e 0,766 para a variante de concatenação.
• Alinhamento com a Regra dos Terços: O modelo proposto alcançou 0,817, superando significativamente o baseline (0,500) e o LoRA-only (0,636).
• Desvio de Horizonte: O modelo proposto reduziu o erro composicional para 0,062, uma redução de 15% em relação ao baseline (0,073).
• Ablação sobre Concatenação: A variante de concatenação teve desempenho idêntico ao baseline não modificado em todas as métricas, confirmando que um único token anexado é insuficiente para influenciar o layout espacial contra 77 tokens de texto.

Ablação por Categoria

Os autores investigaram se o treinamento em subconjuntos composicionalmente homogêneos melhora a precisão. Três modelos específicos de categoria (Montanha, Floresta, Deserto) foram treinados em subconjuntos dos dados.

• Ganhos de Precisão: Todos os modelos específicos de categoria alcançaram 100% de detecção de horizonte e desvio significativamente menor do que o modelo de treinamento misto.
• Modelo de Floresta: Alcançou o menor desvio (0,029), representando uma melhoria de 40% sobre o modelo de treinamento misto e uma melhoria de 60% sobre o baseline.
• Conclusão: O treinamento em subconjuntos de cenas específicas aumenta a precisão do controle de forma confiável, sugerindo que o controle composicional é dependente da categoria.

Significância e Alegações

O artigo apresenta resultados preliminares estabelecendo que:

1. Atenção Desacoplada é Necessária: O controle composicional eficaz via descritores escalares requer uma via de atenção dedicada com projeções de Chave/Valor independentes; a simples concatenação de tokens falha.
2. Dependência de Categoria: A precisão do controle composicional não é uniforme em todas as cenas; o treinamento em subconjuntos homogêios produz resultados superiores em comparação ao treinamento misto, mesmo com menos passos totais.
3. Viabilidade de Condicionamento Escalar: É possível especificar e medir a intenção composicional (posição do horizonte, saliência, razão de primeiro plano) no momento da inferência sem máscaras estruturais, usando um vetor 4D compacto.

Os autores reconhecem limitações, observando que o vetor de âncora é adaptado para imagens de paisagem (regidas pelas relações horizonte/céu) e pode exigir redefinição para retratos ou arquitetura. Eles também observam que a avaliação atual depende de métricas automáticas (detecção de horizonte, regra dos terços) em vez de julgamento subjetivo humano, o que é planejado para estudos de usuário futuros. O trabalho não pretende resolver todos os problemas composicionais, mas demonstra um framework viável para o controle composicional específico de paisagens.