Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting

Resumo Técnico: Drift-AR

1. O Problema

Os paradigmas híbridos AR-Difusão (Auto-regressivos + Difusão) combinam a modelagem semântica estruturada dos modelos AR com a síntese de alta fidelidade dos modelos de difusão. No entanto, eles enfrentam um duplo gargalo de velocidade:

1. Fase AR: A geração sequencial de tokens latentes contínuos.
2. Fase de Decodificação Visual: A necessidade de múltiplos passos iterativos de "denoising" (remoção de ruído) no decodificador de difusão para reconstruir a imagem.

Métodos existentes tentam acelerar cada etapa isoladamente (ex: Speculative Decoding para AR e Distillation para difusão), sem um princípio unificador. Além disso, técnicas de distilação (como DMD) ainda exigem inferência iterativa ou dependem de um "professor" de múltiplos passos, limitando a aceleração real.

2. A Observação Chave

Os autores identificam que a entropia de previsão por posição em modelos AR de espaço contínuo é uma métrica subutilizada que carrega um significado duplo:

• Para o AR: A entropia reflete a confiabilidade das previsões. Modelos "rascunho" (draft) menores tendem a produzir previsões de baixa entropia (superconfiantes), causando uma incompatibilidade com a distribuição de entropia do modelo alvo, o que leva a altas taxas de rejeição no Speculative Decoding.
• Para a Difusão: A entropia codifica a dificuldade local de geração. Regiões com alta entropia (bordas complexas, texturas) indicam onde o modelo AR está menos certo e onde o decodificador visual precisa aplicar mais "esforço corretivo". Regiões de baixa entropia (céu, paredes) são mais fáceis de gerar.

3. Metodologia: Drift-AR

O Drift-AR utiliza o sinal de entropia para acelerar ambas as etapas simultaneamente em um único framework unificado:

A. Aceleração da Fase AR: Entropy-Informed Speculative Decoding

• Adaptação do método EAGLE para espaços contínuos.
• Perda de Regressão Contínua: Substitui a classificação discreta por regressão de características contínuas.
• Perda de Entropia Causal-Normalizada: Introduz uma nova função de perda que alinha explicitamente as distribuições de entropia do modelo rascunho (draft) e do modelo alvo. Isso corrige a incompatibilidade de entropia, permitindo que o modelo rascunho aprenda a gerar previsões incertas (diversas) onde necessário, aumentando drasticamente a taxa de aceitação.

B. Aceleração da Decodificação Visual: Anti-Symmetric Drifting Field

• Substituição do decodificador de difusão iterativo por um campo de deriva (drifting field) anti-simétrico.
• Prior Parametrizado por Entropia: A entropia calculada na fase AR não é descartada; ela é reinterpretada como a variância física da distribuição inicial do processo de deriva.
  • Baixa Entropia (Previsão Confiável): Gera uma distribuição inicial com baixa variância (focada). O campo de deriva é quase nulo.
  • Alta Entropia (Previsão Incerta): Gera uma distribuição inicial com alta variância. O campo de deriva atua com mais força para guiar a amostra para a variedade de dados (data manifold).
• Geração em 1 Passo (1-NFE): Devido à propriedade anti-simétrica do campo ($V_{p,q} = -V_{q,p}$), quando a distribuição gerada $q$ iguala a distribuição de dados $p$, o campo de deriva se anula. Isso permite que a geração ocorra em um único passo de inferência sem necessidade de iteração ou distilação.

C. Treinamento Unificado

• Utiliza um esquema de treinamento recuado (annealed) em duas fases:
  1. Fase I: Otimização conjunta do AR e do decodificador de deriva para estabilizar a distribuição de prior.
  2. Fase II: Congelamento do módulo AR (para manter a distribuição de prior fixa) e otimização pura do campo de deriva. Isso garante a estabilidade teórica necessária para a condição de equilíbrio do campo de deriva.

4. Resultados Principais

Os experimentos foram realizados em modelos de referência como MAR, TransDiff e NextStep-1 (geração de imagens em ImageNet e Text-to-Image).

• Aceleração: O método alcança um speedup de 3.8x a 5.5x em comparação com os métodos base.
• Qualidade: O Drift-AR iguala ou supera a qualidade original (FID e IS) e supera métodos de aceleração existentes (como DMD e LazyMAR).
  • Exemplo: No MAR-H, alcançou 5.16x de velocidade com FID de 1.53 (melhor que o baseline 1.55).
• Decodificação Real de 1 Passo: Diferente de métodos de distilação que ainda exigem múltiplos passos ou perdem qualidade drástica ao reduzir para 1 passo, o Drift-AR mantém a qualidade com apenas 1 NFE (Noise Function Evaluation).
• Ablação: A remoção da parametrização por entropia causou a maior degradação de desempenho, validando que o uso da entropia como variância física é o componente central da metodologia.

5. Contribuições e Significado

• Unificação de Aceleração: É a primeira abordagem a unificar a aceleração da geração AR e da decodificação visual sob um único princípio (entropia), eliminando a necessidade de tratar os gargalos isoladamente.
• Fim da Iteração na Difusão: Demonstra que é possível realizar decodificação visual de alta fidelidade em um único passo sem depender de distilação de professores de múltiplos passos, utilizando princípios físicos de campos de deriva.
• Eficiência Computacional: O sinal de entropia é computado uma única vez durante a fase de especulação e reutilizado para o decodificador, sem custo adicional.
• Impacto: O Drift-AR abre caminho para a geração de imagens em tempo real com modelos híbridos, superando as limitações de latência que impediam a adoção prática desses modelos em aplicações interativas.

Em resumo, o Drift-AR transforma a incerteza do modelo (entropia) de um problema em uma ferramenta de controle, permitindo que o sistema "sabe" onde precisa trabalhar mais (alta entropia) e onde pode relaxar (baixa entropia), resultando em uma geração rápida e de alta qualidade.