Resumo Técnico: Uma Passada Não é Suficiente: Refinamento Latente Recursivo para Modelos Generativos

Declaração do Problema

Apesar dos avanços significativos na geração de imagens, o campo enfrenta um gargalo crítico de avaliação. A métrica dominante, a Distância Fréchet Inception (FID), confunde a fidelidade da amostra com a cobertura de modos, frequentemente saturando em valores baixos de um único dígito. Essa saturação mascara um problema persistente: os modelos podem alcançar pontuações FID baixas gerando um pequeno conjunto de imagens nítidas e quase idênticas (colapso de modos), enquanto falham em cobrir toda a distribuição de dados.

Os paradigmas generativos atuais exibem um trade-off:

• Modelos de Difusão e Correspondência de Fluxo: Alcançam alta fidelidade, mas frequentemente exigem amostragem iterativa (múltiplas avaliações de função neural). Variantes destiladas de uma única etapa aceleram a inferência, mas consistentemente sacrificam diversidade e cobertura. Além disso, os solucionadores de difusão cobrem sistematicamente de forma insuficiente as regiões de baixa densidade da distribuição de dados.
• Redes Generativas Adversariais (GANs): Oferecem inferência de uma única etapa, mas são propensas ao colapso de modos, concentrando-se em modos de alta fidelidade enquanto abandonam outros.
• Estimativa de Máxima Verossimilhança Implícita (IMLE): Garante a cobertura de modos por construção (assegurando que cada imagem de treinamento tenha uma amostra gerada próxima) e suporta inferência de uma única etapa. No entanto, os métodos baseados em IMLE historicamente ficaram aquém na qualidade da amostra. Essa limitação decorre parcialmente da arquitetura do gerador: a rede de mapeamento em modelos IMLE baseados em StyleGAN é um Perceptron Multicamadas (MLP) padrão processado em uma única passagem direta. Isso força a rede a determinar todos os aspectos do código de estilo (identidade, estrutura, textura, detalhe fino) simultaneamente, tornando a saída altamente sensível a imprecisões no mapeamento latente inicial.

Metodologia: Mapeador de Tokens Recursivo (RTM)

Os autores propõem substituir a rede de mapeamento MLP de passagem única em geradores baseados em estilo por um Mapeador de Tokens Recursivo (RTM). O RTM adapta a arquitetura do "Modelo Recursivo Minúsculo" (TRM) ao contexto generativo, permitindo o refinamento iterativo do espaço latente sem aumentar a contagem de parâmetros.

Arquitetura Central

• Estrutura Recursiva: Em vez de uma pilha profunda de camadas independentes, o RTM utiliza um bloco compartilhado $f$ aplicado iterativamente. O processo envolve dois níveis de recursão:
  • Ciclos Internos ($L$): Um estado interno $Z_L$ é atualizado $L$ vezes por etapa, condicionado a um estado externo e ao vetor de ruído original.
  • Etapas de Refinamento ($H$): O estado externo $Z_H$ é atualizado $H$ vezes.
• Mecanismo: O mapeador produz primeiro uma estimativa grosseira do vetor de estilo $w$ e a corrige progressivamente ao longo de múltiplos ciclos. Os ciclos iniciais estabelecem estruturas grosseiras (identidade, pose), enquanto os ciclos posteriores refinam textura e cor.
• Eficiência de Parâmetros: Como o mesmo bloco $f$ é reutilizado, aumentar $H$ ou $L$ aumenta a profundidade computacional efetiva sem adicionar parâmetros.
• Otimização de Gradiente Curto: Para gerenciar a memória durante o treinamento, apenas a etapa final de refinamento é diferenciada; as etapas intermediárias são desanexadas. Isso preserva os benefícios representacionais da recursão profunda, mantendo os custos de memória de treinamento comparáveis a um único bloco feed-forward.
• Integração: O RTM é projetado como uma substituição "plug-and-play" para a rede de mapeamento em geradores baseados em IMLE (especificamente RS-IMLE) e StyleGANs treinados adversarialmente (StyleGAN2 e StyleGAN2-ADA). A arquitetura do decodificador permanece inalterada.

Contribuições Principais

1. Mapeador de Tokens Recursivo (RTM): Uma nova arquitetura de rede de mapeamento que substitui o MLP padrão de passagem única em geradores baseados em estilo por um processo de refinamento iterativo.
2. Integração com RS-IMLE: Quando integrado ao IMLE com Amostragem por Rejeição (RS-IMLE), o RTM melhora a FID, Precisão e Revocação em nove benchmarks de poucos exemplos, CIFAR-10 incondicional e CelebA-HQ (256×256), mantendo a inferência de uma única etapa e o mapeamento direto de latente para imagem do IMLE.
3. Generalização para Treinamento Adversarial: O RTM melhora o StyleGAN2 e o StyleGAN2-ADA no CIFAR-10 e AFHQ-v1 (512×512), demonstrando que os benefícios do refinamento recursivo não são específicos ao objetivo de treinamento IMLE.
4. Flexibilidade de Inferência: O número de etapas de refinamento ($H$) atua como um hiperparâmetro computacional. Os modelos podem ser avaliados com diferentes valores de $H$ no momento da inferência sem retreinamento, permitindo um trade-off entre custo de inferência e fidelidade.

Resultados Experimentais

O artigo avalia o RTM usando Precisão, Revocação, FID e Pontuação Inception (IS) em múltiplos conjuntos de dados.

• CIFAR-10 (32×32): O RTM integrado ao RS-IMLE alcança a maior Precisão (0,896) e Revocação (0,773) entre todos os métodos listados, incluindo baselines de difusão e correspondência de fluxo. Ele reduz a FID em 30% em comparação com a baseline RS-IMLE padrão (3,97 vs. 5,69), mantendo a inferência de uma única etapa.
• CelebA-HQ (256×256): O RTM reduz a FID em 27% sobre a baseline RS-IMLE (10,67 vs. 15,43) e simultaneamente melhora a Precisão (0,952) e a Revocação (0,592).
• Benchmarks de Poucos Exemplos: Em nove conjuntos de dados padrão de poucos exemplos (por exemplo, Obama, Cão, Anime), o RTM reduz pela metade aproximadamente a FID média da reprodução correspondente do RS-IMLE (13,94 vs. 25,2).
• StyleGAN2/ADA: No CIFAR-10, o RTM reduz a FID de 3,88 para 3,55 para o StyleGAN2 e mantém a FID em 2,31 para o StyleGAN2-ADA, enquanto melhora a Precisão e a Cobertura. No AFHQ-v1, o RTM melhora a FID (4,79 vs. 4,99) e a Revocação (0,565 vs. 0,507).
• Profundidade vs. Recursão: Um estudo de ablação no CIFAR-10 mostra que simplesmente aumentar a profundidade de um MLP não recursivo (para 32 camadas) melhora a Precisão, mas degrada severamente a Revocação (0,550 vs. 0,664 da baseline). O RTM alcança uma FID melhor com 13 vezes menos parâmetros do que o MLP correspondente em profundidade, sugerindo que a recursão fornece um viés indutivo superior para a fidelidade distribucional sem sacrificar a cobertura.

Significado e Alegações

O artigo argumenta que o objetivo da geração de imagens deve mudar de meramente reduzir a FID (que está próxima da saturação) para melhorar explicitamente a diversidade e a cobertura (Revocação) juntamente com a fidelidade (Precisão).

• Além da FID: Os autores afirmam que a FID sozinha é insuficiente porque recompensa amostras nítidas e concentradas que podem ignorar grandes porções da distribuição de dados. Precisão e Revocação são complementos essenciais.
• Melhoria Simultânea: Ao contrário das baselines de correspondência de fluxo que frequentemente trocam cobertura por FID, ou modelos de difusão destilados que perdem diversidade na inferência de uma única etapa, o RTM melhora simultaneamente a qualidade e a diversidade.
• Insight Arquitetural: O artigo postula que o refinamento é um cálculo qualitativamente diferente de uma única passagem direta. Ao permitir que o mapeador revise decisões iniciais (estrutura grosseira) à luz de cálculos posteriores (detalhes finos), o RTM supera a sensibilidade do decodificador a imprecisões no código latente.
• Modéstia: Os autores reconhecem limitações, observando que os experimentos são restritos a conjuntos de dados onde a busca por vizinhos mais próximos do IMLE é computacionalmente viável (excluindo ImageNet). Eles não afirmam ter resolvido a geração de imagens, mas sim ter fornecido um método que equilibra melhor o trade-off fidelidade-diversidade dentro das atuais estruturas de avaliação.