Resumo Técnico: Alinhamento Latente Equivariante via Flow Matching sob Simetrias de Grupo

Declaração do Problema

O artigo aborda uma limitação crítica no Aprendizado de Representação Equivariante (ERL) para modelos generativos conscientes de geometria e síntese de novas vistas (NVS). Embora o ERL vise construir espaços latentes onde as ações de grupo (por exemplo, rotações em $SO(2)$ ou $SO(3)$) atuem de forma analítica e previsível, os autores identificam um fenômeno denominado desalinhamento latente.

Na prática, mesmo quando um codificador $\Phi$ é treinado com objetivos de equivariância, a representação latente transformada analiticamente $\rho(g)\Phi(x)$ (onde $\rho(g)$ é a representação de grupo conhecida) frequentemente diverge do latente codificado empiricamente da imagem transformada $\Phi(g \circ x)$. Essa discrepância surge de:

1. Otimização Imperfeita: O codificador falha em aprender um mapeamento perfeitamente equivariante devido à complexidade de comprimir conjuntamente o conteúdo do objeto e as estruturas de simetria.
2. Aliasing: Arquiteturas padrão (CNNs, Transformers) introduzem aliasing via amostragem discreta e filtros não limitados em banda, causando erros de equivariância persistentes.
3. Alvos Multimodais: Codificadores imperfeitos podem mapear entradas distintas para o mesmo latente, criando uma distribuição de alvo multimodal quando ações de grupo são aplicadas, o que mapeamentos determinísticos ponto a ponto não conseguem resolver.

Este desalinhamento acumula-se sob transformações, degradando a consistência geométrica e a fidelidade visual das vistas sintetizadas.

Metodologia: Fluxo Latente Residual (RLF)

Para corrigir este desalinhamento sem descartar os valiosos priors de teoria de grupos, os autores propõem o Fluxo Latente Residual (RLF), um framework baseado em Flow Matching.

Conceito Central

Em vez de tratar o latente transformado analiticamente $\rho(g)\Phi(x)$ como a verdade fundamental (ground truth), os autores o tratam como uma aproximação de primeira ordem. Eles aprendem um fluxo contínuo (um difomorfismo dependente do tempo) que transporta este latente aproximado para o latente alvo empiricamente correto $\Phi(g \circ x)$.

Formulação do Problema

A tarefa é formulada como um problema de transporte de distribuição condicional:

• Fonte ($z_0$): O latente transformado analiticamente, $z_0 = \rho(g)\Phi(x)$.
• Alvo ($z_1$): O verdadeiro latente codificado da imagem transformada, $z_1 = \Phi(g \circ x)$.
• Restrição: Diferente do flow matching padrão que transporta distribuições independentes, o RLF deve transportar $z_0$ para seu $z_1$ específico pareado, derivado do mesmo objeto $(x, g)$. Isso requer a modelagem da distribuição conjunta condicional $\pi_{0,1}(z_0, z_1 | x, g)$ em vez de marginais independentes.

Procedimento de Treinamento

O método segue um pipeline de treinamento de três estágios:

1. Treinamento de Autoencoder de Base: Um codificador $\Phi$ e um decodificador $\Psi$ são treinados usando perda de ERL padrão (Equação 2) para minimizar erros de equivariância e reconstrução.
2. Treinamento de RLF: O codificador é congelado. Um modelo de fluxo é treinado para aprender o campo de velocidade $v_\theta$ que transporta $z_0$ para $z_1$. O objetivo minimiza a diferença entre a velocidade aprendida e o campo de velocidade condicional (interpolação linear entre $z_0$ e $z_1$):
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   Isso permite que o modelo lide com a natureza multimodal da distribuição alvo decorrente de codificadores imperfeitos.
3. Fine-tuning do Decodificador: O decodificador $\Psi$ é ajustado (fine-tuned) nos latentes corrigidos pelo fluxo para se adaptar à distribuição latente deslocada, garantindo uma reconstrução de alta qualidade.

A arquitetura do modelo de fluxo varia por grupo: baseada em Transformer para $SO(2)$ e baseada em U-Net para $SO(3)$ (aproveitando a estrutura de grade quadrada dos blocos da matriz de Wigner D).

Principais Contribuições

1. Identificação do Desalinhamento Latente: O artigo define e analisa formalmente a discrepância entre latentes rotacionados analiticamente e latentes codificados empiricamente em ERL, demonstrando como isso compromete a consistência geométrica.
2. Framework de Fluxo Latente Residual: Os autores propõem um mecanismo de correção latente inovador usando flow matching. Ao contrário das aplicações padrão que transportam ruído para dados, o RLF transporta aproximações de teoria de grupo para alvos empíricos, preservando a estrutura de grupo enquanto corrige imperfeições do codificador.
3. Validação Empírica: O método é validado através de múltiplos datasets com simetrias $SO(2)$e$SO(3)$, mostrando reduções significativas no erro latente e melhorias na qualidade da síntese de novas vistas.

Resultados Experimentais

Os autores avaliaram o RLF em seis datasets, incluindo benchmarks sintéticos (ABO-Material, ModelNet10-SO(3), ComplexBRDFs) e de imagens reais (RotatedMNIST, SmallNORB).

• Síntese de Novas Vistas (NVS): O RLF superou consistentemente os baselines (incluindo NFT, Spatial-VAE e LGA) tanto em configurações dentro da distribuição (in-distribution) quanto fora da distribuição (OOD).
• Métricas:
  • Erro Latente: Redução significativa na distância $L_2$ entre os latentes previstos e os reais (ground-truth).
  • Erro de Ângulo: Diminuição substancial no desvio dos ângulos de rotação previstos em relação ao ângulo real, particularmente para tarefas $SO(3)$.
  • Fidelidade Visual: Melhorias no PSNR e LPIPS, com resultados qualitativos mostrando melhor preservação de fundo e detalhes finos durante a rotação comparado aos baselines, que frequentemente exibiam corrupção ou artefatos.
• Generalização: O método demonstrou robustez através de variados ângulos de rotação e objetos não vistos, validando que a correção de fluxo generaliza efetivamente a relação de equivariância.

Significância e Alegações

O artigo afirma que o Fluxo Latente Residual fornece uma solução prática para o problema de "desalinhamento latente" que afeta os modelos equivariantes existentes. Ao tratar a ação de grupo como uma aproximação de primeira ordem e aprender uma correção residual, o método:

• Restaura a Consistência: Força o espaço latente a aderir mais fielmente à simetria de grupo subjacente do que o treinamento de ERL padrão sozinho.
• Aumenta a Fidelidade: Melhora diretamente a qualidade da síntese de novas vistas, particularmente em cenários desafiadores de rotação fora do plano, onde a oclusão e o raciocínio geométrico são necessários.
• Preserva a Estrutura: Mantém a interpretabilidade e as garantias teóricas de simetrias de grupo (ex: matrizes de Wigner D) enquanto corrige as limitações práticas das arquiteturas de redes neurais.

Os autores observam que, embora o método melhore significativamente o alinhamento, a qualidade final da imagem permanece limitada pela capacidade do decodificador. Eles identificam a extensão do framework para transformações mais gerais (ex: $SE(3)$, movimento articulado) e o desenvolvimento de estratégias de treinamento fim-a-fim estáveis como direções futuras importantes.