Resumo Técnico: RaPD (Difusão de Pixels Agnóstica à Resolução)

1. Declaração do Problema

As imagens naturais são inerentemente contínuas, no entanto, os modelos generativos modernos operam predominantemente em grades espaciais discretas (seja em espaços latentes de VAE ou em espaços de pixels). Essa discretização impõe uma limitação fundamental: gerar imagens em resoluções arbitrárias e não vistas exige aumentar o número de tokens e o custo computacional, tornando desafiadora a geração nativa em alta resolução.

As abordagens existentes para geração em resolução arbitrária tipicamente introduzem continuidade apenas na etapa de decodificação.

• GANs utilizam MLPs consultados por coordenadas, mas sofrem com capacidade de geração limitada.
• Modelos de Difusão Latente (LDMs) empregam decodificadores flexíveis, mas o próprio processo de difusão permanece confinado a um espaço latente comprimido e discreto, herdando o gargalo do VAE e vinculando semânticas a conteúdos discretos.
• Modelos de Difusão de Pixels operam diretamente sobre pixels, mas ainda geram em grades discretas fixas.
• Campos de Imagem Neural (NIFs) como LIIF e CLIF permitem renderização livre de resolução, mas são treinados principalmente para interpolação e reconstrução. Seus latentes são otimizados para pistas de aparência local e carecem da estrutura semântica necessária para modelagem generativa de alta qualidade.

O problema central abordado é a lacuna entre reconstrução e geração: representações contínuas existentes são excelentes para reconstrução de super-resolução, mas falham quando usadas diretamente para geração de imagem a partir de texto. O artigo questiona se a geração de imagens pode ser formulada sobre "pixels contínuos" em vez de grades discretas ou proxies comprimidos.

2. Metodologia

Os autores propõem o RaPD (Difusão de Pixels Agnóstica à Resolução), um framework que realiza difusão diretamente dentro de um espaço latente contínuo de Campo de Imagem Neural (NIF). O framework consiste em duas etapas principais e três componentes técnicos-chave.

2.1 Framework Básico

O RaPD adota um design de duas etapas:

1. Etapa 1 (Aprendizado de NIF): Um codificador $E_\phi$ mapeia uma imagem de entrada para um latente NIF denso e de alta resolução $z$, sem subamostragem espacial. Um Renderizador de Atenção Consultado por Coordenadas (CQAR) renderiza esse latente em coordenadas-alvo arbitrárias.
2. Etapa 2 (Treinamento de Difusão): O codificador e o renderizador são congelados. Um denoiser no estilo DiT é treinado para prever a velocidade de correspondência de fluxo em latentes NIF normalizados, condicionado a embeddings de texto.

Na inferência, um único latente desruido é renderizado em qualquer resolução-alvo alterando apenas a grade de coordenadas de consulta, mantendo o custo de difusão fixo independentemente do tamanho de saída.

2.2 Orientação de Representação Semântica (SRG)

Para superar a lacuna entre NIFs orientados à reconstrução e modelagem generativa, o RaPD introduz a SRG, que opera tanto no nível de representação quanto no nível de treinamento de difusão:

• Destilação Semântica: Como os latentes NIF padrão carecem de estrutura semântica, o RaPD injeta semânticas de um modelo fundacional de visão congelado (DINOv2 ViT-B/14) no latente NIF denso durante a Etapa 1.
  • O latente NIF $z$ é projetado para corresponder à grade de patches do DINOv2.
  • Uma perda de alinhamento composta por uma perda de cosseno (exigindo concordância semântica por posição) e uma perda de similaridade de matriz de distância (preservando a geometria relacional entre pares) é otimizada.
  • Isso atua como supervisão formativa, moldando o latente em uma representação consciente de geração sem sacrificar as capacidades de renderização por coordenadas.
• Deslocamento de Passo de Tempo Consciente de Densidade Latente: Os cronogramas padrão de correspondência de fluxo são projetados para latentes de VAE comprimidos. Os latentes NIF do RaPD são densos e de alta resolução. Para compensar essa maior densidade de informação, os autores introduzem um fator de deslocamento de passo de tempo maior ($s=32$) no cronograma de correspondência de fluxo. Isso prioriza estágios de ruído intenso (pequeno $t$), que são críticos para gerar conteúdo coerente em espaços latentes densos.

2.3 Renderizador de Atenção Consultado por Coordenadas (CQAR)

Os decodificadores implícitos existentes (ex: LIIF, CLIF) utilizam MLPs ponto a ponto ou CNNs rasas que processam características locais independentemente. Estes falham em utilizar a estrutura semântica global injetada pela SRG.

O RaPD substitui esses por CQAR, que realiza atenção sobre as coordenadas de saída consultadas em vez da grade latente de entrada.

• Construção de Tokens: Para cada coordenada-alvo, um token é construído a partir da característica latente do vizinho mais próximo, coordenada absoluta, deslocamento relativo e tamanho da célula.
• Atenção Janelada: Esses tokens são processados por blocos de atenção auto-janelada no estilo Swin. Isso permite raciocínio semântico inter-pixel, permitindo que o renderizador raciocine globalmente através dos pixels consultados, mantendo um custo computacional escalável.

3. Contribuições Principais

1. Framework RaPD: Um framework de difusão de pixels agnóstico à resolução que gera sinais de imagem contínuos diretamente em um espaço latente NIF, desacoplando o custo de difusão da resolução de saída.
2. Orientação de Representação Semântica (SRG): Uma estratégia para transformar latentes contínuos orientados à reconstrução em representações conscientes de geração via destilação semântica e cronogramas de correspondência de fluxo adaptados.
3. Renderizador de Atenção Consultado por Coordenadas (CQAR): Um decodificador inovador que substitui operadores implícitos locais por atenção condicionada a coordenadas e consciente de escala, permitindo renderização arbitrária de resolução espacialmente coerente.

4. Resultados Experimentais

O artigo avalia o RaPD contra modelos de difusão latente state-of-the-art (ex: SD3, FLUX.1-dev) e modelos de difusão de pixels (ex: PixelGen, DeCo, PixNerd).

• Qualidade de Geração: No GenEval, o RaPD alcança uma pontuação geral de 0,85, superando o PixelGen (0,79) e o DeCo (0,83), com melhorias significativas em categorias composicionais (dois objetos, contagem, cor). No DPG-Bench, o RaPD pontua 81,6, superando as bases de difusão de pixels.
• Geração em Resolução Arbitrária: O RaPD demonstra forte generalização para resoluções fora da distribuição (até $4096^2$), apesar de ter sido treinado com supervisão até $512^2$. As imagens geradas mantêm estrutura global coerente e detalhes finos em altas resoluções.
• Eficiência: Uma vantagem crítica é a escalabilidade computacional. Enquanto modelos de difusão de pixels em grade fixa (PixelGen, DeCo) exibem crescimento quadrático no tempo de inferência com a resolução, o RaPD mantém o custo de desruido quase fixo.
  • Em $4096^2$, PixelGen e DeCo levam >61 segundos.
  • O RaPD leva apenas 2,13 segundos para a mesma resolução, pois o custo de difusão é independente do tamanho de saída.

5. Significância e Limitações

Significância:
O artigo afirma que o RaPD muda fundamentalmente o paradigma da geração de imagens ao formular o processo sobre "pixels contínuos". Ele demonstra com sucesso que a geração de alta qualidade e agnóstica à resolução é possível sem o gargalo de informação dos VAEs ou a escalabilidade de custo quadrático da difusão de pixels discretos. Ao tratar o espaço latente como um sinal contínuo em vez de uma grade discreta, o RaPD alcança uma combinação única de qualidade de geração e eficiência de inferência em altas resoluções.

Limitações:
Os autores reconhecem várias restrições:

1. Escala de Dados: O modelo é treinado em ~36 milhões de imagens (BLIP3o), o que é substancialmente menor do que modelos em escala comercial (ex: SD3, FLUX), potencialmente limitando a qualidade absoluta de geração.
2. Codificador de Texto: O uso de um codificador de texto Qwen3-1.7B congelado e relativamente compacto pode restringir a compreensão de prompts complexos em comparação com sistemas que utilizam modelos de linguagem maiores.
3. Otimização de Inferência: A implementação atual ainda não utiliza otimizações avançadas como FlashAttention, kernels fundidos ou quantização FP8, o que significa que as latências relatadas são limites superiores conservadores.

O artigo conclui que trabalhos futuros poderiam focar na escalabilidade de conjuntos de dados/modelos, na extensão do framework para geração/editável controlável e na implementação de aceleração de inferência consciente de hardware.