Resumo Técnico: Quebrando o Bloqueio via Modulação de Representação

Declaração do Problema

Modelos recentes de texto-para-imagem (T2I), particularmente aqueles que utilizam backbones Transformer de grande escala e objetivos baseados em fluxo (flow-based), alcançaram um alinhamento texto-imagem e fotorealismo notáveis. No entanto, esses modelos frequentemente sofrem de um problema de "colapso de diversidade": ao gerar múltiplas imagens a partir de um mesmo prompt fixo, os resultados convergem para composições, layouts e padrões estilísticos excessivamente similares. Essa homogeneidade limita a utilidade dos modelos generativos para tarefas que exigem uma ampla exploração de candidatos ou construção de conjuntos de dados sintéticos.

Métodos existentes para aumentar a diversidade tipicamente se dividem em duas categorias: diversificação por lote (ex: Particle Guidance, OSCAR) e manipulação de trajetória individual (ex: CADS). Embora eficazes até certo ponto, essas abordagens frequentemente incorrem em sobrecargas significativas de computação e memória devido à otimização auxiliar, geração paralela de candidatos ou interações entre amostras. Além disso, as causas mecanísticas fundamentais do colapso de diversidade dentro das representações internas do modelo permanecem amplamente inexploradas, com trabalhos anteriores focando primariamente em heurísticas de tempo de inferência em vez de análise da causa raiz.

Metodologia: DAVE

Os autores propõem o DAVE (DC Attenuation for diVersity Enhancement), uma intervenção em nível de representação, livre de treinamento, projetada para quebrar o "bloqueio" (lock-in) das trajetórias generativas.

Análise da Causa Raiz

Através de uma análise de características Transformer intermediárias, os autores identificam que a média espacial de frequência zero (componente DC) das representações ocultas converge rapidamente entre diferentes sementes (seeds) aleatórias durante os estágios iniciais da geração.

• Observação: Nos estágios iniciais de denoising (regime de alto ruído), o componente DC exibe alta similaridade de cosseno entre sementes e baixa variância, respondendo por mais de 50% da energia total na representação.
• Mecanismo: Este fenômeno, denominado "desvio de DC precoce" (early DC drift), é atribuído ao viés espectral de redes neurais (que priorizam sinais de baixa frequência) combinado com a natureza dos objetivos de correspondência de fluxo (flow-matching) sob alta incerteza. O modelo prevê a expectativa dos dados condicionada ao texto, fazendo com que o componente DC se alinhe a uma média global invariante à semente. Este alinhamento precoce estabelece uma âncora estrutural que restringe a capacidade das sementes de ruído iniciais de induzir variação suficiente no layout global e na semântica grosseira.

A Intervenção DAVE

Para mitigar este bloqueio, o DAVE atenua seletivamente o componente DC durante a fase generativa inicial.

• Operação: Para uma representação oculta $h^{(\ell)}_t$ no bloco Transformer $\ell$ e tempo $t$, o componente DC $\mu^{(\ell)}_t$ é computado como a média espacial através dos tokens visuais. A representação é então modificada como:
  $$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$$
  onde $\alpha \in (0, 1)$ é um parâmetro de força de atenuação.
• Restrições: A intervenção é aplicada apenas a blocos Transformer específicos ($\ell \in \mathcal{L}$) identificados como tendo forte convergência de DC entre sementes, e apenas durante os passos iniciais ($t < \tau$).
• Implementação: O DAVE não requer retreinamento, não altera o pipeline de amostragem e não exige memória adicional para bancos de características. Ele opera como uma modificação cirúrgica das saídas intermediárias antes que sejam passadas para os blocos subsequentes.

Principais Contribuições

1. Insight Mecanístico: O artigo identifica a rápida convergência do componente DC nos passos iniciais de geração como um gargalo primário para a variação ao nível de semente, fornecendo uma explicação teórica e empírica para o bloqueio de trajetória.
2. Algoritmo DAVE: Um método leve, livre de treinamento, que atenua o componente DC para desbloquear a diversidade generativa sem comprometer o alinhamento semântico ou a qualidade visual.
3. Eficiência: Diferente de métodos baseados em interação que escalam quadraticamente com o tamanho do lote ($O(TB^2)$), o DAVE mantém complexidade linear ($O(TB)$) com overhead negligenciável, tornando-o escalável para modelos modernos de grande porte.
4. Robustez: O método mostra-se robusto através de diferentes arquiteturas de modelos (Stable Diffusion 3/3.5, FLUX.1-dev, SANA1.5) e complexidades de prompt, sendo o pool de blocos alvo $\mathcal{L}$ amplamente agnóstico ao dataset.

Resultados Experimentais

Os autores avaliaram o DAVE nos benchmarks ImageNet e MS-COCO utilizando métricas para qualidade visual (FID, Precisão, Densidade), diversidade (Recall, Cobertura, Vendi Score) e alinhamento texto-imagem (CLIP Score).

• Ganhos de Diversidade: O DAVE melhora consistentemente as métricas de diversidade (Recall, Vendi Score) em todos os modelos testados, superando o amostrador original e competindo favoravelmente com métodos de estado da arte como CADS e SPARKE.
• Preservação de Qualidade: Ao contrário de algumas linhas de base que trocam fidelidade por diversidade (ex: CADS mostrando degradação nos scores de CLIP em certos modelos), o DAVE mantém qualidade de imagem e alinhamento de texto competitivos.
• Desempenho In-Batch: Em configurações explícitas de geração in-batch, o DAVE alcança menor similaridade de nível de característica e maior distância perceptual comparado a métodos como Particle Guidance e SPELL, enquanto incorre em custos computacionais significativamente menores.
• Modelos Destilados: O método é compatível com modelos destilados (ex: SD3.5-Large-Turbo), melhorando a diversidade mesmo em regimes de amostragem simplificados.
• Estudos de Ablação:
  • Corte Temporal ($\tau$): Intervir nos primeiros 15–20% dos passos produz a diversidade ideal sem perda de qualidade.
  • Força de Atenuação ($\alpha$): Valores entre 0.2 e 0.5 equilibram variação estrutural e coerência semântica.
  • Seleção de Blocos: O método é robusto à escolha específica de blocos dentro do pool de alta convergência identificado $\mathcal{L}$.

Significância e Alegações

O artigo afirma que o DAVE oferece um framework prático e escalável para abordar a questão crítica da diversidade de geração limitada em modelos T2I baseados em fluxo. Ao visar a causa raiz do bloqueio de trajetória — a homogeneização precoce do componente DC — o método expande com sucesso o escopo generativo de modelos pré-treinados.

Os autores enfatizam que o DAVE oferece um trade-off favorável entre diversidade e fidelidade sem os encargos computacionais das soluções existentes. Ele serve como uma intervenção "cirúrgica" que preserva o pipeline de amostragem enquanto permite que a estocasticidade do ruído inicial impulsione variações estruturais significativas. O trabalho sugere que entender e modular a dinâmica da representação interna é um caminho viável para aumentar as capacidades generativas sem a necessidade de retreinamento ou procedimentos de otimização complexos.