Resumo Técnico: A Inicialização é Metade da Batalha: Gerando Imagens Diversas de um Posterior de Potencial de Orientação

1. Declaração do Problema

Apesar da alta fidelidade dos modelos generativos modernos, incluindo Modelos de Difusão e modelos de Flow Matching, eles frequentemente sofrem de colapso de modo (mode collapse). Mesmo com sementes aleatórias variadas, as amostras geradas frequentemente convergem para saídas estereotipadas, limitando o potencial criativo e, em casos extremos, levando à memorização exata dos dados de treinamento.

Estratégias existentes sem treinamento para aumentar a diversidade focam predominantemente em intervir durante a trajetória de geração (por exemplo, manipulando escalas de orientação ou repelindo trajetórias umas das outras). Os autores identificam uma negligência crítica nessas abordagens: a inicialização gaussiana isotrópica padrão ($x_T \sim \mathcal{N}(0, I)$) é frequentemente agnóstica ao panorama de potencial de orientação (guidance potential landscape). Geometricamente, regiões com alto potencial de orientação condicional induzem altas taxas de contração de volume no fluxo generativo. Consequentemente, trajetórias estocásticas distintas inicializadas nessas regiões de alto potencial são atraídas para um único modo dominante, causando o colapso. Por outro lado, os autores hipotetizam que inicializar a partir de bacias de baixo potencial permite que as trajetórias divirjam naturalmente, preservando a diversidade.

2. Metodologia: Inicialização Indutora de Diversidade (DivIn)

O artigo propõe o DivIn, um método de tempo de inferência, sem treinamento, que reformula a seleção do ruído inicial não como uma extração de um prior fixo, mas como uma amostragem de um posterior de potencial de orientação.

2.1. Formulação Teórica

Os autores definem uma distribuição alvo $p_{\text{diverse}}(x_T | c)$ que repondera o prior gaussiano padrão em direção a regiões ricas em diversidade:
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
onde:

• $p(x_T)$ é o prior gaussiano isotrópico padrão.
• $\tau$ é um hiperparâmetro de temperatura que controla o equilíbrio entre a aderência ao prior e a maximização da diversidade.
• $U(x_T, c)$ é um potencial de orientação que atua como um proxy para a intensidade da orientação condicional na inicialização.

2.2. O Proxy de Potencial de Orientação

Para garantir robustez e compatibilidade plug-and-play entre diferentes esquemas de inferência (por exemplo, variando o número de passos) e arquiteturas (Difusão vs. Flow Matching), o potencial $U(x_T, c)$ é definido no espaço de dados estimado usando um potencial de Tweedie generalizado:
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
Aqui, $\hat{x}_0$ representa a estimativa de denoising de passo único dos dados limpos. Esta métrica mede a distância euclidiana entre as estimativas de denoising condicional e incondicional. Minimizar este potencial penaliza estados iniciais onde a orientação condicional exerce uma atração excessivamente forte em direção a um modo dominante, enviesando a inicialização para regiões mais planas do panorama.

2.3. Amostragem via Dinâmica de Langevin

Como a amostragem direta de $p_{\text{diverse}}$ é intratável, o DivIn emprega a Dinâmica de Langevin para transicionar iterativamente as amostras do prior gaussiano inicial para o posterior alvo. A regra de atualização para o estado latente $x_T$ no passo $k$ é:
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
Este mecanismo equilibra três forças:

1. Força de Diversidade ($-\tau \nabla U$): Conduz o latente para longe de bacias de alto potencial em direção a regiões mais planas.
2. Restrição do Prior ($-x_T$): Ancorar o latente dentro do manifold válido da distribuição normal original, evitando o desvio para fora do manifold (off-manifold drift).
3. Ruído Estocástico ($\sqrt{2\eta}\xi$): Injeta ruído para escapar de mínimos locais rasos e incentivar a exploração.

Ao contrário de métodos de otimização determinísticos (ex: Inicialização de Consciência de Nitidez, SAIL) que colapsam o volume da distribuição ao buscar uma única semente ótima, o DivIn realiza a amostragem de posterior de distribuição, preservando a entropia e permitindo diversidade genuína.

3. Principais Contribuições

1. Identificação da Inicialização como um Fator Crítico: O artigo revela que o colapso de modo é significativamente impulsionado pela geometria do panorama de inicialização, especificamente a atração de trajetórias para regiões de alto potencial definidas pela orientação condicional.
2. Formulação de Posterior de Potencial de Orientação: Os autores formulam a inicialização ideal como um posterior ponderado por diversidade que repondera o prior padrão, utilizando um potencial de Tweedie generalizado que é robusto a variações de passos de inferência e unifica arquiteturas de Difusão e Flow Matching.
3. Algoritmo DivIn: Um algoritmo plug-and-play, sem treinamento, que utiliza dinâmica de Langevin para amostrar deste posterior. Ele é ortogonal aos métodos de trajetória de diversidade existentes.
4. Justificativa Teórica: O artigo fornece análise teórica (Teorema A.3) ligando a alta nitidez condicional (curvatura) à perda rápida de entropia durante o processo reverso, demonstrando que a amostragem de regiões de baixo potencial preserva o volume da distribuição.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos no ImageNet-1K (classe-para-imagem) e em um dataset de prompts gerais (texto-para-imagem) usando Stable Diffusion v1.4 e Stable Diffusion 3.5 Medium (Flow Matching).

• Melhoria na Diversidade: O DivIn supera consistentemente os métodos de inicialização de linha de base (como SAIL) e métodos baseados em trajetória (Particle Guidance, CADS, Interval Guidance) em métricas de diversidade como Vendi Score, Recall e Coverage.
  • No ImageNet (SD v1.4), o DivIn alcançou um Vendi Score de 4.688 (vs. 4.265 do modelo base), superando o SAIL (4.549) e métodos de trajetória.
  • No texto-para-imagem (SD v3.5), o DivIn aumentou o Vendi Score de 1.803 para 1.864 para o modelo base.
• Preservação de Qualidade: Ao contrário de muitos métodos de diversidade que trocam qualidade por diversidade, o DivIn mantém ou melhora a fidelidade da imagem. Ele alcançou o menor FID (16.158) entre as linhas de base isoladas no ImageNet e manteve altos escores de CLIP e Estética em tarefas de texto-para-imagem.
• Ortogonalidade e Fronteira de Pareto: Uma descoberta fundamental é que o DivIn é ortogonal a intervenções baseadas em trajetória. Combinar o DivIn com métodos como PG, CADS ou IG expande significativamente a fronteira de Pareto diversidade-qualidade, alcançando maior diversidade nos mesmos níveis de fidelidade do que os métodos sozinhos.
• Eficiência: O DivIn incorre em um overhead computacional mínimo. Com um único passo de Langevin ($K=1$), ele adiciona apenas cerca de 3% ao tempo de execução por imagem (ex: 0.754s para 0.779s), enquanto métodos de otimização determinísticos como o SAIL frequentemente exigem amostragem de rejeição mais complexa ou aproximações de segunda ordem.
• Estabilidade: Diferente do SAIL, que é sensível a limiares de parada precoce e pode levar a artefatos de alta frequência devido a latentes fora do manifold, o DivIn permanece estável e preserva a gaussianidade do espaço latente.

5. Significância e Alegações

O artigo afirma que a inicialização é "metade da batalha" na geração de imagens diversas. Ao deslocar o foco da trajetória de geração para o panorama de inicialização, o DivIn aborda uma causa raiz do colapso de modo que os métodos baseados em trajetória negligenciam.

Os autores enfatizam que:

• O DivIn é uma estratégia universal e plug-and-play compatível tanto com modelos de difusão padrão quanto com modelos modernos de Flow Matching.
• Ele fornece uma fonte distinta de diversidade não capturada por intervenções de trajetória, permitindo a descoberta de modos diversos que a amostragem padrão perde.
• O método equilibra efetivamente o trade-off entre diversidade e qualidade, empurrando a fronteira de Pareto para fora sem penalizar o alinhamento semântico ou a fidelidade da imagem.
• Oferece uma alternativa mais robusta à otimização de semente determinística (como o SAIL) ao manter a entropia da distribuição através de amostragem estocástica.

O artigo conclui que, embora o DivIn atualmente dependa de um hiperparâmetro de temperatura e adicione um overhead mínimo de inferência, ele representa uma mudança fundamental em como a diversidade generativa pode ser aumentada, oferecendo uma ferramenta poderosa e ortogonal aos mecanismos de amostragem existentes.