Resumo Técnico: FREPix

Declaração do Problema

Embora os modelos de difusão no espaço latente tenham se tornado o paradigma dominante para geração de imagens devido à sua eficiência, eles introduzem um gargalo estrutural: a qualidade da geração é estritamente limitada pela fidelidade de reconstrução dos Autoencoders Variacionais (VAEs) utilizados para comprimir os dados. Isso renovou o interesse na geração no espaço de pixels, onde os modelos operam diretamente sobre imagens brutas para evitar artefatos de representação. No entanto, os métodos existentes no espaço de pixels tratam majoritariamente a geração de imagens como um processo homogêneo em frequência. Eles modelam a imagem inteira com um único estado e um caminho de interpolação compartilhado, confiando implicitamente que a rede descubra a separação entre estruturas globais (baixa frequência) e detalhes finos (alta frequência). Essa abordagem ignora as propriedades estatísticas distintas, as distribuições de energia e as dinâmicas de aprendizado desses componentes de frequência, impondo um viés indutivo desnecessariamente restritivo ao processo de geração.

Metodologia: FREPix

Os autores propõem o FREPix (Matching de Fluxo Heterogêneo em Frequência), um framework que decompõe explicitamente a geração de imagens no espaço de pixels em componentes de baixa e alta frequência ao longo de todo o pipeline. A metodologia consiste em quatro inovações-chave:

1. Espaço de Estados Decomposto em Frequência e Interpolação Heterogênea

Em vez de tratar a imagem $x_t$ como um único estado homogêneo, o FREPix reparametriza o estado usando uma Transformada Wavelet Discreta (DWT) ortonormal, $W$. A imagem é decomposta em um subestado de baixa frequência $l_t$ (estrutura) e um subestado de alta frequência $h_t$ (detalhe).
Crucialmente, o framework atribui caminhos de interpolação heterogêneos a esses subestados. Em vez de aplicar um único cronograma compartilhado a todas as frequências, o FREPix define cronogramas separados e estritamente crescentes, $g_l(t)$ e $g_h(t)$, para os componentes de baixa e alta frequência:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
Isso permite que a dinâmica de transporte reflita a assimetria natural da formação de imagens, onde a estrutura global é estabelecida antes que os detalhes finos sejam refinados. Os autores provam que essa interpolação heterogênea é uma extensão principiante do matching de fluxo padrão, preservando a validade da equação de continuidade e a aprendibilidade.

2. Modelagem Generativa Fatorizada via Desacoplamento Arquitetural Explícito

Para evitar que o transporte decomposto colapse de volta em um problema de previsão unificado, o FREPix emprega uma arquitetura explicitamente desacoplada. O objetivo de geração é fatorado em dois módulos especializados:

• Preditor de Estrutura ($f_\phi$): Um Transformer de Difusão (DiT) que recebe o subestado de baixa frequência ruidoso $l_t$ e prevê o componente de baixa frequência limpo $\hat{l}$. Este módulo captura dependências de longo alcance e semântica global.
• Refinador de Detalhes ($g_\phi$): Um decodificador leve e sem atenção (adaptado do DeCo) que recebe o subestado de alta frequência ruidoso $h_t$ e a estrutura de baixa frequência prevista $\hat{l}$ como condição para prever o componente de alta frequência limpo $\hat{h}$.

Este design transforma a geração "de grosso a fino" de uma tendência arquitetural implícita em um princípio de design explícito, impondo uma dependência condicional onde os detalhes de alta frequência são gerados com base na estrutura de baixa frequência estabelecida.

3. Objetivo de Matching de Fluxo Alinhado à Frequência

O objetivo de treinamento está alinhado com a estrutura decomposta. O framework converte a previsão de imagem limpa da rede ($\hat{x}$) em um campo de velocidade induzido com base no caminho de interpolação heterogêneo. Em seguida, é definida uma função de perda consciente de frequência, aplicando pesos dependentes do tempo $\lambda_l(t)$ e $\lambda_h(t)$ aos erros de velocidade de baixa e alta frequência, respectivamente:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
Isso permite que o modelo reequilibre a dificuldade de otimização ao longo do tempo (por exemplo, priorizando a estrutura de baixa frequência no início da trajetória e o refinamento de alta frequência posteriormente) sem alterar o campo de velocidade marginal alvo.

4. Funções de Perda Auxiliares

O objetivo final de treinamento combina a função de perda de matching de fluxo alinhada à frequência com as perdas de Percepção (LPIPS) e Alinhamento de Representação (REPA) para garantir consistência de características e recuperação de padrões locais.

Resultados Principais

O FREPix foi avaliado na geração de imagens por classe do ImageNet nas resoluções 256×256 e 512×512.

• Desempenho: Em 256×256, o FREPix-XL (674M parâmetros) alcança um FID de 1,91 e 295,6 IS após 320 épocas. Em 512×512, atinge 2,38 FID e 334,7 IS. Esses resultados são competitivos com modelos de espaço de pixels de última geração (por exemplo, DeCo, PixelDiT) e aproximam-se do desempenho de modelos de espaço latente, apesar de operarem diretamente sobre pixels.
• Eficiência de Treinamento: O modelo demonstra forte desempenho no início do treinamento. Após apenas 80 épocas, alcança um FID de 2,29, superando outras bases de espaço de pixels em estágios semelhantes.
• Eficiência de Amostragem: O FREPix se destaca no regime de baixo NFE (Número de Avaliações de Função). Sob amostragem Euler de 25 passos, alcança um FID de 2,59, superando significativamente o DeCo (3,30) e o PixNerd (3,28).
• Custo Computacional: O FREPix-XL opera a 230 GFLOPs por passagem direta, valor inferior à maioria dos métodos recentes de espaço de pixels (por exemplo, PixelFlow em 5818 GFLOPs) e competitivo com modelos de espaço latente (por exemplo, DiT em 238 GFLOPs), demonstrando um trade-off aprimorado entre qualidade e computação.

Significado e Alegações

O artigo afirma que modelar explicitamente a heterogeneidade de frequência fornece um viés indutivo mais forte para a geração de espaço de pixels de ponta a ponta. Ao tornar explícitos os papéis distintos dos componentes de baixa e alta frequência no espaço de estados, caminho de transporte, arquitetura e objetivo, o FREPix transforma o processo de geração "de grosso a fino" de um comportamento emergente em um princípio de design rígido.

Os autores afirmam que essa abordagem:

1. Mitiga o Emaranhamento de Frequência: Ao desacoplar os objetivos de previsão, o modelo reduz a dimensionalidade efetiva e a complexidade estatística que cada ramo deve aprender, conforme apoiado por seus limites de generalização.
2. Melhora a Eficiência de Amostragem: O design de transporte heterogêneo é particularmente benéfico ao amostrar com poucos passos, sugerindo que alinhar o caminho de interpolação com a ordem natural de recuperação das frequências de imagem acelera a convergência.
3. Oferece uma Alternativa Viável ao Espaço Latente: O FREPix demonstra que a geração no espaço de pixels pode alcançar qualidade competitiva sem o gargalo representacional dos VAEs, mantendo ao mesmo tempo uma eficiência computacional comparável aos métodos de espaço latente.

O artigo conclui que a heterogeneidade de frequência é uma perspectiva útil para projetar futuros modelos generativos de espaço de pixels, embora reconheça limitações relacionadas à família específica de cronogramas de interpolação explorada e à natureza fixa da decomposição wavelet utilizada.