Frequency Autoregressive Image Generation with Continuous Tokens

1. Problema e Motivação

Os modelos autoregressivos (AR) para geração de imagens têm sido inspirados no sucesso dos modelos de linguagem (LLMs), adotando um paradigma de duas etapas:

1. Quantização Vetorial (VQ): Discretizar os dados de imagem em um vocabulário finito e discreto.
2. Predição de Próximo Token: Flattening (achatamento) dos tokens em uma sequência 1D (geralmente em ordem de varredura raster) para prever o próximo token.

No entanto, os autores argumentam que essa abordagem é subótima para imagens devido à grande lacuna de modalidade entre texto e imagem:

• Texto: É discreto, causal/sequencial e 1D.
• Imagem: É contínua, não-causal/não-sequencial e 2D.

Desafios Identificados:

• Formato do Tokenizador: A quantização (VQ) introduz perda significativa de informação, limitando o limite superior de desempenho. Tokenizadores contínuos preservam melhor a natureza contínua da imagem.
• Direção de Regressão: Ordens de varredura (raster) ou aleatórias falham em estabelecer uma sequência causal natural para imagens e violam a prioridade de localidade espacial. Além disso, métodos existentes que tentam usar tokenizadores contínuos com paradigmas AR tradicionais (como VAR) enfrentam dificuldades de otimização e compatibilidade.

2. Metodologia: O Paradigma FAR

O artigo propõe o FAR (Frequency Autoregressive), um novo paradigma que alinha a geração autoregressiva com a dependência espectral inerente aos dados de imagem.

2.1. Dependência Espectral e Direção de Regressão

Em vez de prever tokens pixel a pixel ou em blocos espaciais, o FAR utiliza a dependência espectral:

• Imagens possuem componentes de baixa frequência (estrutura global, cores, formas) e alta frequência (bordas, detalhes, texturas).
• A geração de detalhes de alta frequência depende intrinsecamente da estrutura de baixa frequência já estabelecida (semelhante a um esboço seguido de refinamento em pintura).
• Mecanismo: O modelo gera a imagem progressivamente através de níveis de frequência crescentes ($i = 1 \dots F$).
  • Nível 1: Apenas a componente de frequência mais baixa (média da imagem).
  • Nível F: Todas as frequências (imagem original).
• Isso satisfaz naturalmente os requisitos de causalidade do AR, pois níveis mais altos dependem dos níveis mais baixos.

2.2. Integração com Tokenizadores Contínuos

Para implementar o FAR, os autores utilizam um tokenizador contínuo (sem quantização vetorial), resolvendo os desafios de otimização e variância:

1. Simplificação da Modelagem de Distribuição (DMS):

   • O desafio original era modelar a distribuição condicional $p(x_{i+1} | x_i)$ para cada nível de frequência, o que é complexo para redes MLP pequenas.
   • Solução: O modelo modela diretamente a distribuição da imagem completa $p(x | x_i)$ e, em seguida, aplica um filtro espectral para obter o próximo nível $x_{i+1}$. Isso simplifica a tarefa de otimização.

2. Estratégia de Loss Ponderada por Frequência (FTL):

   • Níveis de frequência mais altos são mais fáceis de prever, enquanto os níveis baixos são mais difíceis. Isso pode levar a um desequilíbrio no treinamento.
   • Solução: Atribui-se pesos maiores ao loss dos níveis de frequência mais altos (usando uma curva senoidal) para garantir um aprendizado equilibrado.

3. Mecanismo de Máscara (Mask Mechanism):

   • Para reduzir o custo de treinamento e aumentar a diversidade, o modelo aplica uma máscara aleatória nos tokens de entrada dos níveis de frequência mais baixos (onde a informação é esparsa).
   • Isso reduz a redundância computacional e introduz estocasticidade benéfica.

4. Amostragem de Difusão Consciente de Frequência:

   • Durante a inferência, utiliza-se menos passos de amostragem de difusão para os níveis de frequência mais baixos (que são mais fáceis de gerar) e mais passos para os níveis mais altos. Isso acelera significativamente o processo de inferência.

3. Contribuições Principais

1. Paradigma FAR: Proposição de uma nova direção de regressão baseada em frequência (do baixo para o alto), que respeita a causalidade do AR e preserva a localidade espacial das imagens.
2. Integração Contínua-Eficiente: Desenvolvimento de técnicas específicas (simplificação de loss, pesos dinâmicos, máscaras) para tornar a combinação de tokenizadores contínuos e modelos AR viável e eficiente.
3. Eficiência de Inferência: Redução drástica do número de passos de inferência. Enquanto modelos tradicionais exigem centenas de passos (um por token ou escala), o FAR gera imagens de alta qualidade em apenas 10 passos (correspondentes ao número de níveis de frequência).
4. Validação em Tarefas Diversas: Demonstração de eficácia tanto na geração condicional por classe (ImageNet) quanto na geração texto-para-imagem, com modelos menores e custos computacionais reduzidos.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset ImageNet (256x256) e em tarefas de Texto-para-Imagem (JourneyDB/MS-COCO).

• Qualidade de Geração (ImageNet):

  • O modelo FAR-H (791M parâmetros) alcançou um FID de 3.21 e IS de 300.6 em apenas 10 passos de inferência.
  • Comparado a métodos de ponta como VAR (310M parâmetros, 10 passos) e MAR (943M parâmetros, 256 passos), o FAR oferece qualidade visual comparável ou superior, mas com uma fração do tempo de inferência e, em alguns casos, menos parâmetros.
  • O FID ligeiramente inferior a alguns modelos de difusão é atribuído a uma diversidade um pouco menor (Recall), mas a estrutura e os detalhes são altamente consistentes.

• Geração Texto-para-Imagem:

  • O FAR demonstrou alta alinhamento com prompts e qualidade estrutural, superando modelos clássicos como DALL-E e LlamaGen, e competindo com SOTAs recentes, utilizando muito menos dados de treinamento, poder de computação e passos de inferência.

• Análise de Escala:

  • Aumentar o tamanho do modelo (de FAR-B para FAR-H) e o número de passos de inferência (até 10) resultou em melhorias consistentes na qualidade.

• Comparação com VAR e MAR:

  • O FAR supera o MAR em qualidade visual com 10 passos (o MAR requer ~256 passos para qualidade similar).
  • O FAR evita as limitações do VAR ao usar tokenizadores contínuos, que o VAR demonstrou ser incompatível devido a erros de acumulação na quantização residual.

5. Significado e Impacto

Este trabalho representa um avanço significativo na unificação de visão e linguagem sob o paradigma autoregressivo:

• Quebra do Paradigma de Quantização: Demonstra que a quantização vetorial (VQ) não é estritamente necessária para AR de imagens e que tokenizadores contínuos, quando combinados com a direção de regressão correta (frequência), superam as limitações de informação.
• Eficiência Computacional: A redução de passos de inferência de centenas para uma dezena (baseada no número de níveis de frequência) torna a geração de imagens autoregressiva muito mais prática para aplicações em tempo real.
• Alinhamento com a Natureza da Imagem: Ao modelar a dependência espectral (estrutura antes de detalhes), o FAR alinha-se melhor com a forma como os dados visuais são construídos e como redes neurais aprendem (priorizando frequências baixas), oferecendo uma arquitetura mais natural para a geração de imagens do que a simples varredura raster.

Em resumo, o FAR estabelece um novo estado da arte para modelos autoregressivos de imagem, provando que a combinação de tokens contínuos e progressão de frequência é uma via promissora para a Inteligência Artificial Geral (AGI) multimodal.