Self-Adversarial One Step Generation via Condition Shifting

1. O Problema

A síntese de imagens de texto para imagem (Text-to-Image) baseada em modelos contínuos (como Difusão e Flow Matching) alcançou alta fidelidade, mas enfrenta um dilema tríplice persistente ao tentar reduzir o número de avaliações de função (NFE) para 1 passo (inferência instantânea):

1. Fidelidade vs. Velocidade: Métodos de um passo frequentemente perdem detalhes de alta frequência e realismo em comparação com a integração multi-passo (NFE=20-50).
2. Estabilidade de Treinamento: Abordagens que utilizam discriminadores externos (estilo GAN) para melhorar a qualidade de um passo introduzem instabilidade no treinamento, alto custo de memória GPU e convergência lenta, dificultando a escalabilidade.
3. Eficiência de Treinamento: Métodos baseados em distilação por regressão ou consistência são mais fáceis de otimizar, mas tendem a falhar em capturar a "realidade adversarial" necessária para texturas finas e detalhes complexos em apenas um passo.

O objetivo central é: Como obter fidelidade no nível de GAN com NFE=1 sem usar um discriminador externo, mantendo a escalabilidade para grandes modelos pré-treinados e ajuste eficiente de parâmetros (LoRA)?

---

2. Metodologia: APEX

O artigo propõe o APEX (Adversarial Prompt-based EXtraction ou similar, focado no conceito de extração endógena), um framework de treinamento livre de discriminadores que gera sinais adversariais internamente através de um mecanismo chamado Deslocamento de Condição (Condition Shifting).

Conceito Central: Deslocamento de Condição

Em vez de separar "dados reais" e "dados falsos" no espaço de tempo (como em métodos anteriores que estendem o tempo para $t \in [-1, 1]$), o APEX separa as condições no espaço de condição ($c$).

• O modelo recebe a condição original $c$ (texto/prompt).
• Uma transformação afim gera uma condição "falsa" deslocada: $c_{fake} = Ac + b$.
• O modelo é treinado para gerar trajetórias sob $c_{fake}$ que correspondam às saídas atuais do modelo sob a condição real $c$.

Mecanismo de Treinamento (Duas Etapas)

1. Estimador de Velocidade Independente ($L_{fake}$):

   • O modelo é treinado sob a condição deslocada $c_{fake}$ para prever a trajetória em direção à sua própria saída atual (o "falso").
   • Isso cria um ramo de condição deslocado que atua como um estimador independente do campo de velocidade da distribuição atual do modelo ($p_{fake}$).
   • Como $c_{fake}$ é suficientemente distinto de $c$, as representações internas se desacoplam, permitindo que o ramo $c_{fake}$ forneça um sinal de correção sem depender de um discriminador externo.

2. Descida de KL e Perda de Consistência Mista ($L_{mix}$):

   • O objetivo é minimizar a divergência KL entre a distribuição gerada ($p_{fake}$) e a distribuição real de dados ($p_{real}$).
   • A diferença de velocidade entre o ramo real ($v_\theta$) e o ramo falso ($v_{fake}$) fornece um sinal de correção adversarial.
   • A perda final combina a supervisão de dados (para aproximar de $p_{real}$) e a correção adversarial (para evitar colapso e melhorar detalhes), formando uma perda de consistência mista:
     $$L_{mix} = (1-\lambda) L_{sup} + \lambda L_{cons}$$
   • Onde $L_{cons}$ força a saída do modelo a ser consistente com a estimativa do ramo falso, mas com o gradiente do ramo falso bloqueado (stop-gradient), atuando como um alvo adaptativo.

Fundamento Teórico: Gradiente Alinhado a GAN

O artigo prova teoricamente que o gradiente de treinamento do APEX assume a forma canônica de um GAN (diferença de scores), mas com uma vantagem crucial:

• GANs Clássicos: O gradiente é ponderado por um termo dependente da amostra ($D^*$ ou $1-D^*$), o que causa instabilidade e desaparecimento de gradientes quando o discriminador é muito confiante.
• APEX: O gradiente é uma diferença de scores com um peso constante ($w \equiv 1$).
  • Isso equivale à minimização da Divergência de Fisher entre a distribuição do modelo e uma distribuição implícita mista.
  • O peso constante garante sinais de treinamento estáveis, eliminando a necessidade de um discriminador externo e evitando a instabilidade típica de GANs.

---

3. Contribuições Principais

1. Fundação Teórica (Gradiente Alinhado a GAN com Peso Constante): Estabelece uma equivalência formal entre o APEX e a dinâmica de GANs através da dualidade Score-Velocidade. Prova que o APEX minimiza a Divergência de Fisher com pesos constantes, evitando a instabilidade de gradientes de discriminadores dependentes de amostras.
2. Metodologia (Framework Adversarial Endógeno): Propõe o APEX, que utiliza o deslocamento de condição ($c_{fake} = Ac + b$) para gerar sinais adversariais internos. O design é "plug-and-play", preservando a arquitetura original e sendo totalmente compatível com modelos pré-treinados e técnicas de ajuste eficiente como LoRA.
3. Desempenho e Escalabilidade: Demonstra que é possível superar modelos massivos de 12B e 20B com modelos muito menores ou com ajuste LoRA, alcançando qualidade de estado da arte em um único passo.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em diversos modelos (0.6B, 1.6B e 20B) e benchmarks (GenEval, FID, CLIP).

• Eficiência e Qualidade (NFE=1):

  • O modelo APEX 0.6B supera o FLUX-Schnell 12B (que tem 20x mais parâmetros) em qualidade de um passo, alcançando um score GenEval de 0.84 contra 0.69 do FLUX, com latência de apenas 0.20s.
  • Com LoRA no Qwen-Image 20B, o APEX atinge GenEval 0.89 em apenas 6 horas de treinamento (2k passos), superando o modelo professor original de 50 passos (0.87).
  • Aceleração de inferência: O APEX oferece um speedup de 15.33x em relação ao modelo professor de 50 passos, mantendo ou superando a qualidade.

• Comparação com o Estado da Arte:

  • Em NFE=1, o APEX 20B (LoRA) atinge 0.89 no GenEval, superando métodos de distilação anteriores (como RCGM, TwinFlow) e modelos de um passo concorrentes.
  • Em NFE=2, o APEX 1.6B atinge 0.85 GenEval, superando a base de 2 passos mais forte (Sana-Sprint 1.6B) em ~8 pontos, com o dobro de velocidade.

• Ablações:

  • Ajuste de hiperparâmetros de deslocamento ($a, b$): Escala negativa ($a \in \{-1.0, -0.5\}$) mostrou-se mais robusta, invertendo a direção da condição para criar o máximo contraste representacional entre os ramos real e falso.
  • A combinação de perdas ($L_{fake}$ e $L_{mix}$) é essencial; usar apenas uma delas resulta em desempenho inferior.

---

5. Significado e Impacto

O trabalho APEX representa um avanço significativo na geração de imagens de um passo ao resolver o trade-off entre fidelidade, velocidade e estabilidade de treinamento.

• Eliminação de Discriminadores Externos: Ao internalizar o sinal adversarial via deslocamento de condição, o APEX remove a complexidade de treinar e manter discriminadores, reduzindo o custo computacional e a instabilidade.
• Escalabilidade para Modelos Grandes: A compatibilidade total com LoRA e a preservação da arquitetura permitem que o método seja aplicado a modelos de dezenas de bilhões de parâmetros sem necessidade de reengenharia complexa.
• Viabilidade Industrial: A capacidade de gerar imagens de alta qualidade (superando modelos de 50 passos) em um único passo (NFE=1) com latência de ~0.2s torna a geração de imagens em tempo real e em larga escala economicamente viável, abrindo caminho para aplicações interativas e de alto volume.

Em resumo, o APEX demonstra que a "inteligência" necessária para a correção adversarial pode ser extraída endogenamente do próprio modelo de fluxo, transformando a geração de um passo de um compromisso de qualidade para uma nova realidade de alta fidelidade e eficiência.