Resumo Técnico: REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion

Declaração do Problema

Os Modelos de Difusão Latente (LDMs) estabeleceram o estado da arte no desempenho de síntese de imagem ao deslocar o paradigma generativo para um espaço latente VAE compacto. No entanto, treinar esses modelos apresenta um desafio fundamental: o padrão de objetivo de denoising de estilo reconstrução fornece apenas supervisão semântica indireta. Consequentemente, semânticas de alto nível (objetos, layout, relações) emergem lentamente durante o treinamento, limitando tanto a qualidade da amostra quanto a velocidade de convergência.

Tentativas recentes de abordar isso injetando semântica de Modelos de Fundação de Visão (VFMs) foram subótimas. Abordagens existentes dependem exclusivamente de alinhamento de representação externa (destilando características como um professor externo) ou modelam conjuntamente sinais semânticos dentro do processo de difusão, mas os restringem a fatias estreitas de características de VFM. Especificamente:

• REG modela apenas um único token global de nível de imagem ([CLS]), carecendo de granularidade espacial.
• ReDi modela características de nível de patch (locais), mas depende de uma projeção PCA linear, o que restringe as representações a um subespaço linear de baixa dimensão, descartando informações espaciais ricas, não lineares e de múltiplas camadas.

Os autores argumentam que o aproveitamento eficaz das características de VFM requer a modelagem conjunta de semântica espacial dentro do modelo de difusão, preservando simultaneamente suas informações não lineares e de múltiplas camadas através de representações compactas e aprendidas.

Metodologia: REGLUE

O artigo introduz o REGLUE (Representation Entanglement with Global–Local Unified Encoding), um framework de difusão latente unificado que modela conjuntamente três modalidades dentro de um único backbone SiT (Scalable Interpolant Transformer):

1. Latentes de Imagem VAE: O espaço latente padrão otimizado para reconstrução.
2. Semântica Local (nível de Patch): Características de VFM comprimidas e espacialmente estruturadas.
3. Semântica Global (nível de Imagem): O token [CLS] do VFM.

Componentes Principais

1. Compressor Semântico Leve
Para lidar com a incompatibilidade de dimensionalidade entre as características de VFM de alta dimensão ($D_f \gg D_z$) e os latentes VAE, o REGLUE emprega um compressor semântico convolucional não linear e leve ($E_\psi$).

• Arquitetura: Um autoencoder convolucional raso pré-treinado offline para reconstruir características de múltiplas camadas de VFM.
• Função: Ele agrega características de nível de patch de múltiplas camadas (via concatenação por canal) e as mapeia para uma representação compacta e espacialmente estruturada ($s^*$) com dimensionalidade significativamente reduzida ($D_s \ll \sum D_\ell$).
• Benefício: Diferente do PCA linear, esta compressão não linear preserva a informação semântica essencial enquanto reequilibra a capacidade do modelo de difusão, evitando que a modalidade semântica domine os latentes do VAE.

2. Modelagem de Difusão Unificada
O backbone SiT modela conjuntamente os latentes VAE ($z_t$), a semântica local comprimida ($s_t$) e o token global ($cls_t$).

• Processo Forward: Ruído independente é injetado em todas as três modalidades usando um cronograma compartilhado.
• Tokenização: Os latentes VAE e a semântica comprimida são patcheados e projetados para uma dimensão de token comum. Eles são fundidos via concatenação de canais para manter uma única grade de $N$ tokens, evitando o overhead quadrático de concatenar sequências. O token global permanece como um token separado.
• Objetivo: O modelo é treinado com uma perda de velocidade multimodal, prevendo a velocidade para todas as três modalidades simultaneamente.

3. Alinhamento de Representação Externa
Como um sinal auxiliar, o REGL_UE incorpora uma perda de alinhamento de características (inspirada em REPA). Em um bloco Transformer selecionado, os tokens ocultos são projetados para corresponder aos alvos congelados de VFM (tanto globais quanto locais) via uma perda de similaridade de cosseno. Isso regulariza as representações internas em direção ao VFM professor sem exigir que o modelo de difusão gere diretamente as características brutas do VFM.

Principais Contribuições

1. Framework Unificado: O REGLUE é o primeiro framework que modela conjuntamente a semântica de nível de imagem (global) e de nível de patch (local) de VFM ao lado dos latentes VAE dentro de um único backbone de difusão.
2. Compressão Semântica Não Linear: A proposta de um compressor semântico não linear e leve que agrega características de múltiplas camadas de VFM em um espaço compacto que preserva a semântica. Isso permite ganhos significativos via modelagem conjunta de nível de patch, superando métodos de projeção linear.
3. Design Sinérgico: O artigo demonstra que a semântica de nível de patch, os tokens globais e o alinhamento externo atuam sinergicamente. Os principais ganhos de desempenho derivam da modelagem espacial da semântica de patches comprimidos, enquanto os tokens globais e o alinhamento servem como melhorias complementares.
4. Eficiência: O método melhora o desempenho generativo e acelera a convergência sem aumentar o número de parâmetros do modelo de difusão ou o custo de computação em tempo de inferência (o throughput permanece comparável aos baselines).

Resultados Experimentais

Experimentos foram conduzidos no benchmark de geração de ImageNet 256×256 usando backbones SiT-B/2 e SiT-XL/2.

Melhorias de Desempenho:

• Redução de FID: O REGLUE supera consistentemente os baselines. No SiT-B/2 com 400K passos, o REGLUE atinge um FID de 12.9, comparado a 33.0 para o SiT vanilla, 24.4 para o REPA, 21.4 para o ReDi e 15.2 para o REG.
• Velocidade de Convergência: O REGLUE atinge o desempenho de 1M de passos do ReDi e REG usando menos de 30% e 80%, respectivamente, de suas iterações de treinamento. Por exemplo, o SiT-XL/2+REGLUE atinge um FID de 2.5 em 1M de passos, superando o REG (2.7) e o ReDi (5.1).
• Geração Incondicional: Em configurações incondicionais, o REGLUE atinge um FID de 28.7 no SiT-B/2, superando o baseline condicional (33.0) e outros métodos SOTA.

Insights de Ablação:

• Local vs. Global: A semântica de nível de patch (local) é crítica; modelá-la isoladamente produz ganhos maiores do que modelar apenas tokens globais.
• Compressão: A compressão não linear é essencial. O PCA linear (como usado no ReDi) produz resultados subótimos (FID 21.4 vs. 14.3 para compressão não linear sem alinhamento).
• Agregação de Camadas: Agregar as últimas quatro camadas do VFM (9–12) antes da compressão fornece o melhor sinal, enquanto incluir camadas rasas degrada o desempenho.
• Difusibilidade: A análise de frequência (DCT) revela que o compressor não linear suprime componentes de alta frequência que os modelos de difusão têm dificuldade em modelar, resultando em uma representação "amigável à difusão" enquanto preserva a precisão semântica.

Significância e Alegações

O artigo afirma que o REGLUE representa um avanço significativo na difusão latente ao "emaranhar" efetivamente representações otimizadas para reconstrução e otimizadas para semântica. Os autores asseveram que a escolha de design crítica para o aproveitamento de VFMs não é meramente alinhar características externamente ou modelar um único token, mas sim modelar conjuntamente a semântica espacial dentro do processo de difusão usando representações compactas e não lineares.

O trabalho demonstra que:

1. A semântica espacial de VFM é crucial para capturar estruturas de grão fino.
2. A compressão não linear é o mecanismo chave para desbloquear todo o benefício dessas ricas características de múltiplas camadas.
3. Tokens globais e alinhamento externo atuam como melhorias complementares e leves que refinam ainda mais o processo de geração.

Ao alcançar resultados de estado da arte com menos iterações de treinamento e sem aumento no custo de inferência, o REGLUE oferece um caminho escalável e eficiente para uma síntese de imagem de maior qualidade. O código está disponível publicamente para facilitar pesquisas adicionais em síntese conjunta de imagem-característica.