Contrastive-Augmented Flow Matching for Style-Content Disentanglement

Resumo Técnico: Fluxo de Correspondência Aumentado por Contraste para Desentrelaçamento de Estilo-Conteúdo

Definição do Problema
A aprendizagem de representações que separam efetivamente conteúdo e estilo é fundamental para a geração controlável e generalização composicional. No entanto, as abordagens existentes enfrentam uma dicotomia:

• Métodos discriminativos (ex: aprendizagem contrastiva) otimizam a separabilidade de características e as fronteiras de decisão, mas tipicamente modelam apenas a distribuição condicional $P(y|x)$. Consequentemente, eles têm dificuldade com a generalização composicional para novas combinações de fatores e não conseguem gerar amostras consistentes com a estrutura subjacente dos dados.
• Métodos generativos (ex: modelos de difusão e de fluxo como o SCFlow) permitem a síntese controlável e o transporte invertível, mas frequentemente carecem de variáveis latentes explicitamente desentrelaçadas. Treinados primariamente com objetivos generativos, esses modelos exibem um "desentrelaçamento não restrito", onde as representações de conteúdo e estilo vazam uma para a outra, resultando em fatores semanticamente desalinhados ou incompletos. Essa limitação é particularmente pronunciada ao lidar com combinações não vistas de fatores familiares.

Metodologia: CAtFM
Os autores propõem o Fluxo de Correspondência Aumentado por Contraste (CAtFM), um framework que integra a regularização contrastiva em uma formulação de fluxo de correspondência invertível. A inovação central reside na aplicação da supervisão contrastiva aos endpoints preditos em vez de latentes intermediários ou campos de velocidade.

1. Fundação de Fluxo de Correspondência: O CAtFM baseia-se no SCFlow, que modela a mistura e o desentrelaçamento de estilo-conteúdo como um problema de transporte determinístico entre uma distribuição de origem desentrelaçada $p_0(x)$ e uma distribuição de alvo mesclada $p_1(x)$. O modelo aprende um campo de velocidade $v_\theta(x_t, t)$ para transportar amostras via uma Equação Diferencial Ordinária (ODE).
2. Construção de Endpoints: Como os fatores de conteúdo e estilo puros de referência não estão disponíveis, o método constrói trios de treinamento usando pares de referência de conteúdo-estilo. O endpoint de origem $x_0$ é formado pela concatenação de uma referência de conteúdo (com estilo aleatório) e uma referência de estilo (com conteúdo aleatório). O endpoint de alvo $x_1$ é a imagem mesclada (ou seu embedding).
3. Predição Bidirecional de Endpoints: Diferente do Fluxo de Correspondência padrão que prediz a velocidade, o CAtFM utiliza o campo de velocidade aprendido para reconstruir ambos os endpoints de origem ($\hat{x}_0$) e alvo ($\hat{x}_1$) em um único passo:
   • $\hat{x}_0 = x_t - t \cdot v_\theta(x_t, t)$
   • $\hat{x}_1 = x_t + (1-t) \cdot v_\theta(x_t, t)$
4. Regularização Contrastiva: Objetivos contrastivos são aplicados diretamente a essas representações reconstruídas. A predição concatenada é dividida em metades de conteúdo e estilo. Perdas de contraste dentro do lote (ex: InfoNCE, Margin Loss) são aplicadas independentemente aos componentes de conteúdo e estilo usando seus respectivos rótulos. Isso impõe compacidade intra-fator e separação inter-fator sem assumir representações estritamente puras ou totalmente fatorizadas.
5. Objetivo de Treinamento: A perda total combina a perda padrão de Fluxo de Correspondência ($\mathcal{L}_{FM}$) com a perda contrastiva ($\mathcal{L}_{cont}$), ponderada por um hiperparâmetro $\lambda$:
   $$\mathcal{L}_{total} = \mathcal{L}_{FM} + \lambda \cdot \mathcal{L}_{cont}$$

Principais Contribuições

• Formulação Inovadora: O CAtFM é o primeiro framework para desentrelaçamento de estilo-conteúdo baseado em fluxo de correspondência que utiliza predições de endpoints bidirecionais como sinais explícitos de aprendizagem.
• Desentrelaçamento Implícito com Restrições Explícitas: O método mantém a formulação de supervisão leve e implícita do SCFlow (onde o desentrelaçamento surge da invertibilidade do fluxo), enquanto adiciona restrições discriminativas explícitas para evitar o vazamento de fatores.
• Robustez à Mudança de Distribuição: Ao acoplar restrições discriminativas com transporte determinístico, o método alcança uma robustez de conjunto aberto e generalização composicional mais fortes em comparação com baselines puramente generativos ou discriminativos.
• Agnosticismo de Representação: A abordagem é validada através de múltiplos espaços de embedding congelados (CLIP, DINO, ALIGN), demonstrando que o objetivo proposto melhora a discriminação de estilo e a fidelidade de conteúdo, independentemente do extrator de características subjacente.

Resultados Experimentais
Os autores avaliam o CAtFM em dados sintéticos, estilos não vistos no domínio e benchmarks do mundo real (ImageNet, WikiArt, DomainNet, DTD).

• Corretude Semântica: O CAtFM supera o vanilla SCFlow e o CLIP em precisão de recuperação zero-shot tanto para conteúdo quanto para estilo. Ele alcança maior similaridade de cosseno com descrições textuais e menores pontuações FID para geração direta.
• Desentrelaçamento: Métricas quantitativas mostram melhorias significativas em Informação Mútua Normalizada (NMI) e pontuações de silhueta, indicando agrupamentos mais densos e melhor separação dos fatores de conteúdo e estilo no espaço latente em comparação ao SCFlow e baselines puramente discriminativos.
• Generalização: Em datasets fora do domínio e classes de estilo não vistas, o CAtFM demonstra desempenho superior em tarefas de recuperação (F1 scores) e classificação de conjunto aberto (AUOC). Ele rejeita efetivamente classes vistas quando apresentadas com consultas não vistas, uma capacidade na qual modelos puramente generativos frequentemente falham.
• Análise Qualitativa: Resultados visuais confirmam que o CAtFM produz saídas de estilo com mínimo vazamento de conteúdo e representações de conteúdo que preservam pistas semânticas amplas e contexto de cena em comparação ao SCFlow.

Significância e Alegações
O artigo afirma que o CAtFM fornece uma "maneira simples de acoplar restrições discriminativas com transporte determinístico". Os autores argumentam que, embora os modelos de fluxo generativos forneçam um forte arcabouço para o desentrelaçamento via invertibilidade, eles se beneficiam significativamente de restrições contrastivas explícitas para evitar o vazamento de fatores. O trabalho demonstra que integrar esses paradigmas resulta em representações que não são apenas semanticamente consistentes e bem separadas, mas também robustas sob mudanças de distribuição, abordando as limitações de usar abordagens puramente generativas ou discriminativas isoladamente. Os autores observam que o método atualmente opera em espaços de embedding congelados e que trabalhos futuros podem estender isso para controle de nível de pixel via espaços latentes de VAE/difusão.