GASS: Geometry-Aware Spherical Sampling for Disentangled Diversity Enhancement in Text-to-Image Generation

Este trabalho apresenta o GASS (Amostragem Esférica Consciente de Geometria), um método que melhora a diversidade na geração de imagens a partir de texto ao controlar geometricamente fontes de variação dependentes e independentes do prompt, garantindo alta fidelidade e alinhamento semântico.

O essencial

Imagine que você pediu a um artista de inteligência artificial (IA) para desenhar "um carro preto". O artista obedece: ele desenha um carro preto. Mas, se você pedir isso 10 vezes seguidas, ele provavelmente vai desenhar 10 carros pretos que são quase idênticos: todos no mesmo ângulo, todos com o mesmo fundo, todos com a mesma iluminação.

Isso é um problema. A IA está "preguiçosa" ou "viciada" em um único estilo, o que limita a criatividade e pode até reforçar estereótipos (como sempre desenhar carros pretos em garagens escuras, nunca em praias ensolaradas).

O artigo que você enviou apresenta uma solução chamada GASS (Amostragem Esférica Consciente de Geometria). Vamos explicar como isso funciona usando analogias do dia a dia.

1. O Problema: A "Bola de Neve" Perfeita

Pense no espaço onde a IA "pensa" sobre imagens como uma gigantesca bola de neve (uma esfera).

• No centro dessa bola, existe o seu pedido: "Carro preto".
• Quando a IA gera imagens, ela joga pequenas pedrinhas (as imagens) dentro dessa bola.
• O problema é que, sem ajuda, a IA joga todas as pedrinhas num único ponto muito próximo do centro. Elas ficam todas amontoadas. É como se você tentasse espalhar manteiga, mas ela ficasse toda num só lugar.

2. A Solução: Dividir o Mundo em Duas Direções

Os autores do GASS olharam para essa bola de neve e perceberam que existem dois tipos de variações que a IA pode fazer:

1. Variação Dependente do Pedido (O Carro em si): Mudar o ângulo do carro, se é um esportivo ou um SUV. Isso é o que o texto pede explicitamente.
2. Variação Independente do Pedido (O Cenário): Mudar o fundo (praia, cidade, neve), a luz (amanhecer, anoitecer) ou o estilo. O texto não pediu isso especificamente, então a IA ignora e faz tudo igual.

A Analogia da Bússola:
Imagine que a IA está segurando uma bússola.

• A agulha principal aponta para o texto ("Carro preto").
• O GASS descobre uma segunda agulha mágica que aponta para o "fundo da imagem" (o que não foi pedido).

3. Como o GASS Funciona: O "Empurrão Geométrico"

Em vez de apenas pedir para a IA "ser mais criativa" (o que é vago), o GASS usa uma regra geométrica simples:

1. Identificar as Direções: O sistema descobre a direção do texto e a direção perpendicular (o fundo/estilo).
2. Espalhar as Pedrinhas: Ele pega as imagens que a IA está gerando e dá um "empurrãozinho" calculado em duas direções:
   • Um empurrão para variar o carro (mudar o ângulo, o modelo).
   • Um empurrão para variar o cenário (mudar o fundo, a cor do céu).
3. O Resultado: Em vez de ter 10 carros pretos iguais, você tem 10 carros pretos: um na neve, um na praia, um de frente, um de lado, um ao pôr do sol.

4. Por que isso é especial? (A Diferença)

Métodos antigos tentavam aumentar a diversidade jogando "ruído" aleatório (como jogar areia na mesa e esperar que as pedrinhas se espalhem). Isso às vezes estragava a qualidade da imagem ou fazia o carro parecer um monstro.

O GASS é como um jardineiro inteligente:

• Ele sabe exatamente onde cortar e onde regar.
• Ele garante que o carro continue sendo um carro (a qualidade e o significado do texto são mantidos).
• Mas ele força a IA a explorar o "espaço vazio" ao redor, criando fundos e estilos que a IA normalmente não inventaria sozinha.

Resumo da Ópera

O GASS é uma técnica que ensina a IA a não ser "teimosa". Ele pega o pedido do usuário e diz: "Ok, você quer um carro preto. Mas, dentro desse pedido, vamos explorar todas as possibilidades de onde esse carro pode estar e como ele pode parecer, sem mudar o fato de que é um carro preto."

O resultado são imagens muito mais variadas, criativas e surpreendentes, sem perder a qualidade ou o significado do que você pediu. É como ter um assistente que entende que "diversidade" não é apenas mudar o objeto, mas também mudar o mundo ao redor dele.

Resumo técnico

Título: GASS: Amostragem Esférica Consciente de Geometria para Aprimoramento de Diversidade Desacoplada em Geração de Imagem a partir de Texto

1. Problema Identificado

Apesar dos avanços significativos na fidelidade das imagens e no alinhamento semântico com o texto, os modelos generativos modernos de Texto-para-Imagem (T2I) ainda enfrentam dificuldades em sintetizar imagens diversas a partir de um único prompt fixo.

• Limitação de Escolha: A falta de diversidade restringe a criatividade e o controle do usuário.
• Viés Societal: A repetição de padrões visuais estreitos pode amplificar estereótipos sociais (ex: gênero, etnia).
• Falha das Abordagens Atuais: Métodos existentes geralmente dependem de maximização de entropia para aumentar a dissimilaridade entre amostras. No entanto, essas abordagens tratam a diversidade como um bloco único, ignorando que a variação em T2I provém de fontes distintas:
  • Dependente do Prompt: Variações semânticas alinhadas ao texto (ex: ângulos de visão, modelos de objetos).
  • Independente do Prompt: Variações não especificadas pelo texto (ex: fundos, iluminação, estilos).
  • Métodos baseados em entropia (como Scendi) muitas vezes falham em separar essas fontes ou têm limitações computacionais em cenários de prompt único.

2. Metodologia Proposta: GASS

Os autores propõem uma abordagem baseada em geometria dentro do espaço de incorporação (embedding) do CLIP para decompor e controlar a diversidade.

A. Decomposição Geométrica e Medição de Diversidade
O trabalho opera na hipersfera de incorporações do CLIP, onde tanto textos quanto imagens são normalizados.

• Decomposição Ortogonal: Para um batch de imagens geradas, a variação é decomposta em dois vetores ortogonais:
  1. $e_t$ (Embedding de Texto): Captura a variação dependente do prompt (componente semântico).
  2. $u_{ind}$ (Vetor Unitário Identificado): Captura a variação independente do prompt. Este vetor é encontrado através de uma busca aleatória no espaço residual (ortogonal a $e_t$) que maximiza a energia capturada das imagens do batch (Algoritmo 1).
• Métrica de Diversidade (SPP - Spherical Spread Score): A diversidade é quantificada pela soma das expansões geométricas (spread) das projeções das imagens ao longo desses dois eixos:
  $$SPP = D_{dep} + D_{ind}$$
  Onde $D_{dep}$ e $D_{ind}$ são as diferenças entre os valores máximo e mínimo das projeções nos eixos correspondentes.

B. Amostragem Esférica Consciente de Geometria (GASS)
O método intervém no processo de inferência (amostragem) do modelo T2I congelado para expandir intencionalmente a diversidade sem perder fidelidade.

1. Expansão de Projeção Latente:
   • Para cada imagem no batch, o método calcula sua decomposição atual em $e_t$ e $u_{ind}$.
   • Adiciona um deslocamento estocástico ($\delta$) extraído de uma distribuição uniforme aos coeficientes de projeção em ambos os eixos.
   • O vetor resultante é re-normalizado para permanecer na hipersfera unitária do CLIP, garantindo que a representação permaneça válida.
2. Otimização Baseada em Gradiente:
   • Como o CLIP não possui um decodificador pré-treinado para voltar ao espaço de pixels, o método utiliza o encoder de imagem do CLIP congelado para guiar a geração.
   • Define-se uma função de perda ($L_{SPP}$) que mede o alinhamento entre a imagem estimada atual e o alvo expandido geometricamente.
   • Realiza-se uma etapa de otimização (gradiente descendente) sobre a imagem estimada limpa ($\hat{x}_{0|t}$) para minimizar essa perda, ajustando a trajetória de geração antes do próximo passo de difusão/fluxo.

3. Contribuições Principais

• Framework Geométrico de Desacoplamento: Introduz uma nova perspectiva para analisar a diversidade em T2I, separando explicitamente fontes de variação dependentes e independentes do prompt no espaço do CLIP.
• Método GASS: Propõe um mecanismo de amostragem que expande a cobertura geométrica da hipersfera de forma controlada, permitindo aumentar a diversidade sem modificar o prompt de texto.
• Controle Granular: Diferente de métodos que maximizam a entropia cegamente, o GASS permite controlar qual tipo de diversidade é aumentada (apenas semântica, apenas fundo/estilo, ou ambas).
• Generalidade: O método é aplicável a diferentes arquiteturas (U-Net e DiT) e paradigmas (Difusão e Fluxo/Flow).

4. Resultados Experimentais

Os experimentos foram realizados em backbones congelados (Stable Diffusion 2.1 e SD3 Medium) e benchmarks (ImageNet e DrawBench).

• Desempenho em Diversidade: O GASS superou métodos state-of-the-art (como PG, CADS, IG, SPELL) em métricas de diversidade, especialmente no Vendi Score (VS) e na métrica proposta (SPP).
• Fidelidade e Alinhamento: Ao contrário de muitos métodos que sacrificam a qualidade pela diversidade, o GASS manteve (e em alguns casos melhorou) a fidelidade da imagem (ImageReward) e o alinhamento semântico (ClipScore).
• Qualidade Visual: Resultados qualitativos mostraram que o GASS gera fundos mais detalhados e variados, enquanto outros métodos tendem a produzir fundos "suavizados" ou ambíguos.
• Ablação:
  • A re-normalização é crucial para manter a qualidade.
  • A expansão em ambos os eixos ($r_{dep}$ e $r_{ind}$) fornece os melhores resultados globais.
  • O método é eficiente computacionalmente, funcionando com intervenções esparsas (apenas em alguns passos de amostragem).

5. Significado e Impacto

• Avanço Teórico: O trabalho desafia a visão tradicional de maximização de entropia, propondo que a diversidade deve ser entendida e manipulada geometricamente em subespaços ortogonais.
• Aplicabilidade Prática: Oferece uma ferramenta para usuários e desenvolvedores controlarem a variação de saída sem precisar reescrever prompts complexos.
• Mitigação de Viés: Ao permitir a exploração de atributos independentes do prompt (como fundos e estilos diversos), o método ajuda a quebrar estereótipos visuais comuns em modelos T2I.
• Futuro: A abordagem abre caminho para o controle de diversidade em cenários de múltiplas condições (ex: layouts, imagens de referência), indo além do texto.

Em resumo, o GASS representa uma mudança de paradigma na melhoria da diversidade de T2I, substituindo a busca aleatória por uma intervenção geométrica estruturada e controlável no espaço latente.