🤖 machine learning

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

Este artigo propõe um pipeline de treinamento de ponta a ponta que otimiza conjuntamente um tokenizador semântico 1D e um modelo generativo autoregressivo, alcançando desempenho de geração de imagens state-of-the-art com um FID de 1,48 no ImageNet 256x256.

Autores originais: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Publicado 2026-05-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer ensinar um computador a desenhar imagens descrevendo-as palavra por palavra, como um contador de histórias. Isso é chamado de geração autoregressiva. O computador adivinha a próxima "palavra" (ou, neste caso, uma peça visual) com base nas que vieram antes.

No entanto, há um grande problema na forma como os computadores geralmente fazem isso.

O Problema: A "Grade" vs. A "História"

A maioria dos computadores que criam imagens divide uma imagem em uma grade 2D (como um tabuleiro de xadrez). Eles tentam descrever a imagem lendo essa grade linha por linha, como se estivessem lendo um livro.

O Problema: Em uma grade, a peça no canto superior direito depende da peça no canto inferior esquerdo. Mas em uma história (uma lista 1D), você não pode falar sobre o final da história antes de contar o início. Essa incompatibilidade confunde o computador e faz as imagens ficarem bagunçadas.

Tentativas anteriores tentaram corrigir isso de duas formas:

Alterando a ordem da história: Forçando o computador a ler a grade em ordens estranhas e aleatórias (como ler um livro de trás para frente ou pulando de um lado para o outro).
Achatar a grade: Espremendo a imagem 2D em uma única linha longa de dados. Mas, muitas vezes, isso esmagava a imagem com tanta força que os detalhes eram perdidos, ou o computador não conseguia aprender a desenhá-los bem.

A Solução: EOSTok (A Equipe "End-to-End")

Os autores deste artigo criaram um novo sistema chamado EOSTok. Pense nele como uma equipe de dois trabalhadores que aprendem juntos, em vez de um treinando o outro.

1. Os Dois Trabalhadores

Trabalhador A (O Tokenizador): Este é o "compressor". Ele pega uma foto de alta definição e a espreme em uma lista curta e 1D de "tokens" (como um código secreto).
Trabalhador B (O Gerador): Este é o "contador de histórias". Ele olha para o código secreto e tenta prever o próximo token na lista para recriar a imagem.

2. O Jeito Antigo (O Erro "Two-Stage")

No passado, esses trabalhadores treinavam separadamente:

Estágio 1: O Trabalhador A era treinado apenas para espremer a imagem perfeitamente. Uma vez concluído, ele era congelado (travado no lugar).
Estágio 2: O Trabalhador B era treinado para prever os tokens.
O Defeito: O Trabalhador A não sabia que o Trabalhador B seria quem usaria os tokens. Então, o Trabalhador A poderia criar um código que era ótimo para economizar espaço, mas terrível para prever o próximo passo. Era como um tradutor escrevendo um livro em um idioma que o próximo tradutor não conseguia entender.

3. O Jeito Novo (Treinamento End-to-End)

O EOSTok treina ambos os trabalhadores ao mesmo tempo.

O Ciclo de Feedback: Se o Trabalhador B (o contador de histórias) comete um erro, o sinal de erro viaja todo o caminho de volta até o Trabalhador A. O Trabalhador A aprende: "Ah, preciso mudar meu código secreto ligeiramente para que o Trabalhador B possa prever a próxima parte mais facilmente."
O Resultado: Eles evoluem juntos. O Trabalhador A aprende a criar um código que não é apenas uma boa compressão, mas um código que é fácil de prever.

O Segredo: Três Truques

Para fazer isso funcionar perfeitamente, os autores adicionaram três ingredientes especiais:

1. A "Verificação de Pixel" (Perda APR)
Normalmente, o computador verifica apenas se a previsão do "próximo token" está correta. Mas, às vezes, o computador fica muito bom em adivinhar tokens, mas produz uma imagem borrada e feia no final.

A Correção: O sistema pega o palpite do computador do próximo token, transforma-o de volta em uma imagem e verifica se essa imagem se parece com a real. Isso força o computador a se preocupar com a qualidade final da imagem, e não apenas com o jogo de adivinhar tokens.

2. O "Professor Inteligente" (Modelos Fundamentais de Visão)
Os autores trouxeram um "Professor Inteligente" (uma IA pré-treinada que já sabe como os objetos parecem).

A Armadilha: Se você forçar a lista 1D a se parecer exatamente com o mapa 2D do Professor, você perde o benefício da lista 1D (ela se torna uma grade novamente).
A Correção: Eles usaram um método chamado "Alinhamento Implícito". Em vez de forçar a lista 1D a copiar o mapa do Professor, eles garantiram apenas que a compreensão oculta dentro do sistema correspondesse ao conhecimento do Professor. É como deixar um aluno aprender os conceitos de um professor sem forçá-lo a copiar a caligrafia do professor. Isso mantém o fluxo 1D suave, mas torna o conteúdo muito mais inteligente.

3. O Equilíbrio do "Dicionário"
O sistema usa um dicionário (codebook) de tokens visuais.

Se o dicionário for muito pequeno, as imagens parecem blocadas.
Se o dicionário for enorme demais, o computador fica confuso tentando escolher a palavra certa.
Os autores descobriram que, ao tornar o computador maior (mais poderoso), ele podia lidar com um dicionário maior sem ficar confuso, resolvendo o compromisso entre detalhe e previsibilidade.

Os Resultados

O artigo afirma que este novo método é um grande sucesso.

Em um teste padrão (ImageNet 256x256), seu modelo alcançou uma pontuação de 1,48 (quanto menor, melhor).
Este é um resultado State-of-the-Art (estado da arte), significando que é atualmente o melhor no mundo para este tipo específico de geração de imagens sem usar truques de orientação extras.
O modelo funciona melhor à medida que fica maior (escalando), provando que o sistema é robusto.

Em resumo: O EOSTok é uma nova maneira de ensinar computadores a desenhar, fazendo com que o "compressor" e o "previsor" aprendam juntos, verifiquem seu trabalho contra pixels reais e usem um professor inteligente para guiá-los sem forçá-los em uma grade rígida. O resultado é um computador que pode gerar imagens incrivelmente realistas simplesmente prevendo a próxima peça de um quebra-cabeça.

1. Declaração do Problema

A geração de imagens autoregressiva (AR) emergiu como uma alternativa forte aos modelos de difusão, dependendo de tokens visuais discretos para comprimir imagens em representações latentes. No entanto, as abordagens existentes enfrentam dois desafios principais:

Desalinhamento Espacial: A maioria dos tokenizadores de imagem utiliza estruturas de grade 2D (preservando o layout espacial). Isso induz dependências bidirecionais entre os tokens, o que conflita com a fatoração unidirecional exigida pela modelagem AR padrão em ordem raster.
Paradigmas de Treinamento Subótimos: Os métodos atuais geralmente empregam uma estratégia de treinamento em duas etapas: primeiro treinam um tokenizador para reconstrução (congelado), depois treinam um modelo AR nos tokens resultantes. Isso impede que o tokenizador se adapte às necessidades específicas da tarefa generativa.
Lacuna na Função de Perda: A perda de Previsão do Próximo Token (NTP) usada em modelos AR opera no espaço de tokens discretos e não correlaciona diretamente com a qualidade final da geração no espaço de pixels. Otimizar apenas para NTP pode levar ao "colapso do espaço latente", onde o tokenizador usa apenas alguns tokens para minimizar a perda de previsão, degradando a fidelidade da imagem.

2. Metodologia: EOSTok

Os autores propõem o EOSTok (Tokenizador Semântico Unidimensional de Ponta a Ponta), um framework que otimiza conjuntamente um tokenizador de visão 1D e um modelo generativo AR em um pipeline de estágio único.

A. Tokenizador Vision Transformer 1D

Arquitetura: Baseada em uma estrutura de autoencoder ViT (semelhante ao TiTok).
Processo: Patchs de imagem 2D são achatados e concatenados com tokens de consulta aprendíveis. Um encoder ViT causal processa essa sequência, emitindo apenas os tokens latentes 1D (descartando os embeddings de patch espacial).
Quantização: Utiliza IBQ (Quantização de Gargalo Aprimorada) para mapear vetores latentes contínuos para um livro de códigos discreto, habilitando a modelagem AR.
Decodificador: Um decodificador ViT 1D reconstrói as imagens concatenando os tokens quantizados com tokens de máscara aprendíveis.

B. Treinamento Conjunto de Ponta a Ponta

Em vez de congelar o tokenizador, o encoder, o decodificador e o modelo AR são treinados simultaneamente. A função de perda total combina:

Perda de Reconstrução ( $L_{recon}$ ): Perdas padrão de VQ-VAE (L1/L2, Perceptual, GAN) para garantir fidelidade da imagem.
Perda de Previsão do Próximo Token ( $L_{NTP}$ ): Perda padrão de entropia cruzada para o modelo AR.
Perda de Reconstrução de Previsão Autoregressiva (APR) ( $L_{APR}$ ):
- A Inovação: Para preencher a lacuna entre a previsão de tokens e a qualidade de pixels, os tokens previstos pelo modelo AR (no modo de forçamento do professor) são decodificados de volta para o espaço de pixels pelo decodificador do tokenizador.
- Mecanismo: A perda compara esses pixels decodificados com a imagem de verdade fundamental (ground-truth).
- Efeito: Isso fornece supervisão generativa de ponta a ponta ao tokenizador, impedindo que o tokenizador "hackeie" a perda NTP colapsando o espaço latente (usando poucos tokens demais).

C. Alinhamento de Representação Semântica (VFM)

Para injetar informações semânticas globais sem impor priores espaciais 2D (o que prejudicaria o desempenho AR), os autores propõem o Alinhamento Implícito:

Alinhamento Direto (Rejeitado): Alinhar tokens latentes 1D diretamente a características de VFM 2D força uma estrutura 2D sobre o espaço 1D, degradando o desempenho.
Substituição Direta (Rejeitada): Substituir patchs de imagem por características de VFM como entrada.
Alinhamento Implícito (Proposto): Alinha os embeddings de patch ocultos do encoder 1D (antes que os tokens de consulta sejam extraídos) com as características de VFM (por exemplo, do DINOv2). Isso destila conhecimento semântico no espaço latente sequencial sem impor restrições espaciais 2D explícitas.
Alinhamento do Decodificador: O decodificador também é alinhado com características de VFM para tratar a reconstrução como uma tarefa de geração condicional, auxiliando na convergência.

3. Principais Contribuições

Framework de Treinamento de Ponta a Ponta: Um pipeline inovador de estágio único que otimiza conjuntamente a reconstrução e a geração, permitindo que o tokenizador aprenda representações especificamente adaptadas para modelagem AR.
Perda APR: Uma função de perda crítica que decodifica previsões AR para o espaço de pixels, garantindo que o tokenizador aprenda um espaço latente que seja tanto reconstrutivo quanto previsivelmente generativo, prevenindo o colapso latente.
Alinhamento Semântico Implícito: Uma estratégia para aproveitar Modelos de Fundação de Visão (VFMs) para tokenizadores 1D que melhora a qualidade da geração sem reintroduzir os vieses espaciais 2D que impedem a modelagem AR.
Desempenho State-of-the-Art: Alcança resultados SOTA na geração ImageNet 256×256 sem orientação de classificador.

4. Resultados Experimentais

O modelo foi avaliado no benchmark ImageNet-1K 256×256.

Qualidade de Geração:
- EOSTok-H (644M parâmetros): Alcança um gFID de 1,48 (sem orientação) e um IS de 239,5. Este é um novo estado da arte para modelos AR sem orientação, superando modelos baseados em difusão como REPA-XL/2 (gFID 1,42 com orientação) e outras bases AR.
- EOSTok-L (312M parâmetros): Alcança um gFID de 1,74 sem orientação.
Qualidade de Reconstrução:
- O EOSTok-L alcança um rFID de 0,73, demonstrando capacidades de reconstrução de alta fidelidade.
Estudos de Ablação:
- Perda APR: Sem APR, o uso do livro de códigos cai drasticamente (de ~99% para ~51%), e o gFID piora significativamente (8,01 vs 3,32).
- Alinhamento Semântico: O alinhamento implícito melhora o gFID de 12,27 (baseline) para 3,32. O alinhamento direto piora o desempenho, confirmando que priores 2D são prejudiciais à modelagem AR 1D.
- Ordenação de Sequência: Modelos treinados com supervisão de ponta a ponta mostram desempenho significativamente melhor em sequências de tokens originais comparado a sequências invertidas ou aleatórias, provando que o espaço latente é otimizado para previsão causal.
- Escalabilidade: O desempenho melhora consistentemente com o tamanho do modelo (S a H) e o tamanho do livro de códigos, com modelos maiores mitigando o trade-off entre reconstrução e geração.

5. Significado

Este artigo altera fundamentalmente o paradigma da geração de imagens autoregressiva:

De Duas Etapas para Uma Etapa: Demonstra que treinar conjuntamente o tokenizador e o gerador produz resultados superiores comparado à abordagem tradicional de tokenizador congelado.
Viabilidade de Tokenização 1D: Prova que tokenizadores 1D, quando adequadamente treinados com orientação semântica e feedback de ponta a ponta, podem superar tokenizadores baseados em grade 2D para geração AR, eliminando conflitos de dependência espacial.
Ponte na Lacuna de Perda: A introdução da perda APR resolve a questão crítica onde a otimização no nível de tokens falha em traduzir-se para qualidade no nível de pixels, um gargalo comum na modelagem generativa discreta.
Escalabilidade: O método escala efetivamente, alcançando resultados SOTA com um modelo de 644M parâmetros, sugerindo um caminho promissor para escalar modelos de visão AR para tamanhos maiores.