Resumo Técnico: GANs Escaláveis com Transformers (GAT)

1. Declaração do Problema

Embora a escalabilidade tenha impulsionado avanços recentes na modelagem generativa (particularmente nas famílias autoregressivas e de difusão), as Redes Adversariais Generativas (GANs) permanecem pouco exploradas nesse aspecto. As tentativas existentes de escalar GANs frequentemente dependem de modelos únicos de alta capacidade com ajuste extensivo específico para tarefas, em vez de demonstrar uma escalabilidade genuína e sistemática. Além disso, o treinamento padrão de GANs enfrenta obstáculos específicos ao ser escalado:

1. Subutilização das Camadas Iniciais: Em geradores grandes baseados em transformers, as camadas iniciais frequentemente tornam-se inativas, contribuindo marginalmente para a síntese de imagens.
2. Instabilidade de Otimização: Aumentar ingenuamente a profundidade e a largura do modelo enquanto se mantêm os hiperparâmetros (especificamente as taxas de aprendizado) idênticos leva a falhas de convergência. Modelos maiores exibem mudanças maiores na saída por passo sob a mesma taxa de aprendizado, desestabilizando a dinâmica adversarial sensível.

2. Metodologia

Os autores propõem Transformadores Adversariais Generativos (GAT), um framework que combina dois ingredientes-chave para a escalabilidade: treinamento em um espaço latente compacto de um Autoencoder Variacional (VAE) e a utilização de arquiteturas puramente baseadas em transformers tanto para o gerador quanto para o discriminador.

2.1 Arquitetura

• Espaço Latente: O modelo opera no espaço latente de um VAE pré-treinado e congelado (especificamente SD-VAE), reduzindo a carga computacional enquanto preserva a fidelidade perceptual.
• Gerador: Uma arquitetura Vision Transformer (ViT) pura. Ele recebe um código latente $z$ e uma condição $c$, processa-os através de uma pilha de blocos de transformer (blocos GAT) e gera imagens por meio de uma camada de despatchificação (decodificador linear). Emprega normalização adaptativa e LayerScale para estabilidade.
• Discriminador: Um backbone ViT com um token [cls] dedicado para classificação, também utilizando LayerScale.

2.2 Inovações-Chave para Escalabilidade

Para abordar os modos de falha específicos da escalabilidade de GANs, os autores introduzem dois mecanismos principais:

A. Guia de Imagem Perturbada por Ruído Multinível (MNG)
Para evitar que as camadas iniciais se tornem inativas, o gerador é dividido em $K$ estágios, cada um produzindo uma saída intermediária $\hat{x}_k$.

• Hierarquia de Ruído: Cada saída intermediária é perturbada por ruído gaussiano com uma intensidade que diminui monotonicamente com a profundidade ($\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$).
• Supervisão: Todas as saídas intermediárias perturbadas são encaminhadas ao discriminador. Isso força as camadas iniciais a aprender estruturas grosseiras sob ruído forte e as camadas posteriores a refinar detalhes finos sob ruído fraco.
• Efeito: Isso incentiva uma trajetória de refinamento de grosso para fino, garantindo que todas as camadas contribuam ativamente para o processo de síntese sem exigir uma hierarquia de imagens explícita (diferentemente do MSG-GAN).

B. Escalonamento de Taxa de Aprendizado Consciente da Largura
Para manter a dinâmica de treinamento estável entre diferentes tamanhos de modelo, os autores propõem uma regra de escalonamento para a taxa de aprendizado ($\eta$).

• Princípio: À medida que a largura do modelo (dimensão do canal $C$) aumenta, a norma quadrada esperada das entradas cresce linearmente, causando atualizações de saída maiores por passo para uma taxa de aprendizado fixa.
• Regra: A taxa de aprendizado deve diminuir inversamente com a dimensão do canal para manter a magnitude das atualizações funcionais constante:
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• Efeito: Isso previne a divergência em modelos maiores e elimina a necessidade de ajuste manual de hiperparâmetros para cada escala.

C. Objetivos Adicionais

• Alinhamento de Representação (REPA): O discriminador é alinhado com um Modelo de Fundação Visual (VFM) congelado (por exemplo, DINOv2) usando uma perda de similaridade em dados reais. Isso incentiva o discriminador a aprender características semanticamente ricas, fornecendo feedback adversarial melhor.
• Perda Adversarial: O framework utiliza uma perda de pareamento relativística com penalidades de gradiente de dois lados (R3GAN aproximado).

3. Resultados-Chave

Os autores validam o GAT em tamanhos de modelo de Pequeno (S) a Extra-Grande (XL) no conjunto de dados ImageNet-256.

• Desempenho de Estado da Arte: O modelo GAT-XL/2 alcança um FID de 2,18 no ImageNet-256 em apenas 60 épocas. Isso representa uma melhoria significativa em relação a bases fortes de 1-NFE (um passo) como MeanFlow-XL/2 (FID 3,43) e requer 4× menos épocas do que outras bases fortes (por exemplo, o GigaGAN requer 480 épocas).
• Escalabilidade: O desempenho melhora monotonicamente à medida que o tamanho do modelo aumenta (S $\to$ XL). Há uma forte correlação negativa (-0,95) entre o custo de inferência (GFLOPs) e o FID, e uma correlação similar para a computação total de treinamento, seguindo uma lei de potência: $FID(C) \approx 3,52 \times 10^5 \cdot C^{-0,456}$.
• Eficiência: O GAT mantém a vantagem de inferência de um único passo das GANs (1 NFE), oferecendo uma aceleração de aproximadamente 200× no tempo de inferência em comparação com modelos de difusão de múltiplos passos (por exemplo, DiT) com qualidade comparável.
• Estudos de Ablação:
  • A remoção do MNG leva a camadas iniciais inativas e desempenho degradado.
  • O uso de uma taxa de aprendizado fixa entre escalas causa divergência em modelos maiores ou convergência lenta em modelos menores.
  • O objetivo REPA aumenta significativamente o desempenho, demonstrando que técnicas de modelos de difusão transferem-se efetivamente para GANs.
• Generalização: O método escala para resoluções mais altas (ImageNet-512) e diferentes tokenizadores (FLUX-e2e) e suporta geração de texto para imagem (MS-COCO) e geração incondicional (FFHQ).

4. Significado e Alegações

O artigo afirma que o GAT estabelece com sucesso um framework de GAN escalável que rivaliza com o desempenho de modelos de difusão e autoregressivos modernos, mantendo as vantagens únicas das GANs:

1. Inferência de Passo Único: Geração de alta eficiência sem remoção iterativa de ruído.
2. Manipulação Latente: A capacidade de realizar interpolação latente suave e edição semântica, que permanece coerente mesmo em grandes escalas.
3. Eficiência de Dados: Alcançar resultados de estado da arte com significativamente menos épocas de treinamento em comparação com bases de difusão.

Os autores posicionam este trabalho como um passo em direção à "escala de GANs", demonstrando que, com as escolhas arquitetônicas certas (transformers puros) e estratégias de otimização (MNG e taxas de aprendizado conscientes da largura), a aprendizagem adversarial pode ser tornada robusta e escalável, desafiando a noção de que as GANs são inerentemente limitadas em seu potencial de escalabilidade em comparação com os modelos de difusão.