Resumo Técnico: Condicionamento em Tempo de Teste com Características Visuais Alinhadas por Representação (REPA-G)

Declaração do Problema

Embora o alinhamento de representação com modelos auto-supervisionados tenha demonstrado acelerar o treinamento de modelos de difusão e melhorar a qualidade das amostras, seu potencial para aprimorar o condicionamento em tempo de inferência permanece amplamente inexplorado. As estratégias de condicionamento atuais na síntese de imagens dependem tipicamente de rótulos de classe ou descrições textuais. O condicionamento baseado em classes oferece apenas um controle grosseiro limitado a categorias predefinidas, enquanto os prompts de texto, embora flexíveis, são frequentemente imprecisos e ambíguos. Além disso, os métodos de condicionamento pós-treinamento existentes muitas vezes exigem parâmetros adicionais, treinamento específico para a tarefa ou modificações arquitetônicas que permanecem fixas na inferência. Há uma necessidade de um método que permita um controle preciso, flexível e detalhado sobre a geração sem retreinar o modelo ou depender de prompts ambíguos.

Metodologia: REPA-G

Os autores introduzem o Representation-Aligned Guidance (REPA-G), um framework que utiliza as representações internas de modelos de difusão treinados com alinhamento de representação para permitir o condicionamento visual em tempo de teste.

Mecanismo Central

O REPA-G opera otimizando um objetivo de similaridade (um "potencial") durante o processo de inferência. O método guia o processo de denoising em direção a uma representação alvo extraída de um extrator de características auto-supervisionado pré-treinado (ex: DINOv2).

1. Extração de Características: Tokens visuais são extraídos de uma imagem de referência (âncora) usando a mesma rede auto-supervisionada utilizada durante a fase de alinhamento do treinamento do modelo.
2. Guia de Gradiente: O procedimento de amostragem é modificado através do cálculo do gradiente de uma função de potencial $\mathscr{V}$ que quantifica o alinhamento entre as características internas da amostra gerada e as características de condicionamento.
3. Distribuição Inclinada: Teoricamente, este guia direciona o processo de amostragem para extrair de uma "distribuição inclinada" $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$, onde $p_0$ é a distribuição de dados original e $\lambda$ controla a força do guia.

Escolhas de Design para o Potencial

O framework suporta múltiplas granularidades de controle ao adaptar a função de potencial $\mathscr{V}$:

• Alinhamento de Patch Independente (IPA): Permite flexibilidade espacial.
  • Mapa de Características Completo: Impõe restrições espaciais densas para reconstrução estocástica.
  • Mapa de Características Mascarado: Preserva informações dentro de regiões específicas (ex: forma do objeto) enquanto permite variação em outros locais.
  • Conceito Médio: Alinha a média semântica global, removendo restrições espaciais para guiar a categoria geral (ex: "coelho").
  • Conceito Único: Foca o guia em um patch local específico.
• Alinhamento de Patch Seletivo (SPA): Utiliza um mecanismo de soft-max com um parâmetro de temperatura $T$ para ponderar dinamicamente os patches com base em sua similaridade com um conceito alvo. Isso permite que o modelo localize conceitos de forma adaptativa, contornando restrições espaciais rígidas.

Pré-requisitos

O método requer que o modelo de difusão seja treinado com alinhamento de representação (ex: usando objetivos REPA ou REPA-E). Isso garante que o espaço de características interno seja semanticamente significativo e bem condicionado, significando que as distâncias no espaço de características correlacionam-se com as distâncias no espaço de densidade condicional. Sem esse alinhamento, o espaço de características carece da estrutura semântica necessária para um condicionamento eficaz.

Contribuições Principais

1. Framework REPA-G: O primeiro framework de condicionamento visual em tempo de teste para modelos de difusão treinados com alinhamento de representação. Ele alinha as características internas de difusão com alvos de um codificador auto-supervisionado sem exigir ajuste fino ou retreinamento.
2. Justificativa Teórica: Os autores fornecem uma análise teórica mostrando que este guia permite a amostragem de uma distribuição inclinada induzida por potencial. Eles também justificam que as características auto-supervisionadas são bem adequadas para esta tarefa devido à coerência semântica e propriedades de mapeamento suave do espaço de representação alinhado.
3. Controle Versátil: O método permite o controle sobre conceitos visuais concretos e abstratos em múltiplas escalas, variando desde o pareamento de textura detalhado via patches únicos até o guia semântico amplo usando tokens globais. Também suporta a composição de múltiplos conceitos (ex: combinar um objeto de uma imagem com o fundo de outra).

Resultados Experimentais

Os autores avaliaram o REPA-G nos datasets ImageNet e COCO utilizando modelos de flow matching (SiT) treinados com alinhamento de representação.

• Desempenho ao Nível da Distribuição: No ImageNet, o REPA-G supera significativamente os baselines incondicionais e os modelos SiT padrão quando condicionado. Por exemplo, usando REPA-E com características DINOv2 (FDINO), o método alcançou um Fréchet Inception Distance (FID) de 1.45 (Mapa de Características Completo) e 2.30 (Mascarado), comparado a 15.07 para o baseline incondicional. O método também demonstrou altos Inception Scores (IS) e métricas de Precisão/Recall.
• Alinhamento ao Nível da Instância: As imagens geradas mostraram alta similaridade de cosseno com as imagens âncoras nos espaços de características DINOv2, JEPA e CLIP, com valores de PSNR indicando forte fidelidade ao nível de pixel em reconstruções mascaradas.
• Comparação com Text-to-Image: Quando comparado contra um baseline de texto-para-imagem (CAD-I) no COCO, o REPA-G usando características visuais alcançou desempenho superior (FID de 2.11 vs. 37.98 para texto), sugerindo que as características visuais fornecem um sinal mais denso e informativo do que legendas de texto.
• Composição de Múltiplos Conceitos: Em tarefas de geração composicional (combinando objetos âncoras com fundos alvo), as variantes do REPA-G (IPA e SPA) superaram significativamente os baselines de condicionamento por classe e interpolação em termos de scores CLIP e métricas de similaridade patch-wise.

Significância e Alegações

O artigo afirma que o REPA-G oferece uma alternativa flexível e precisa aos prompts de texto frequentemente ambíguos ou rótulos de classe grosseiros. Ao operar inteiramente em tempo de inferência, ele evita o custo computacional e a complexidade de treinar novos mecanismos de condicionamento ou realizar ajuste fino de modelos. Os autores enfatizam que a eficácia do método é contingente ao fato de o modelo ser treinado com alinhamento de representação, o que garante que o espaço de características interno possua a estrutura semântica necessária. Embora a abordagem atualmente exija o ajuste da escala de guia $\lambda$ para tarefas composicionais e enfrente desafios com variações de perspectiva de cena, ela representa um passo significativo em direção à modelagem generativa controlável e orientada por características.