Resumen Técnico: Alineación de Latentes Equivariantes mediante Flow Matching bajo Simetrías de Grupo

Planteamiento del Problema

El artículo aborda una limitación crítica en el Aprendizaje de Representaciones Equivariantes (ERL) para modelos generativos conscientes de la geometría y síntesis de vistas novedosas (NVS). Mientras que el ERL busca construir espacios latentes donde las acciones de grupo (por ejemplo, rotaciones en $SO(2)$o$SO(3)$) actúan de forma analítica y predecible, los autores identifican un fenómeno denominado desalineación latente.

En la práctica, incluso cuando un codificador $\Phi$ se entrena con objetivos de equivariancia, la representación latente transformada analíticamente $\rho(g)\Phi(x)$ (donde $\rho(g)$ es la representación de grupo conocida) a menudo diverge del latente codificado empíricamente de la imagen transformada $\Phi(g \circ x)$. Esta discrepancia surge de:

1. Optimización Imperfecta: El codificador no logra aprender un mapeo perfectamente equivariante debido a la complejidad de comprimir conjuntamente el contenido del objeto y las estructuras de simetría.
2. Aliasing: Las arquitecturas estándar (CNNs, Transformers) introducen aliasing a través de muestreos discretos y filtros no limitados en banda, lo que causa errores de equivariancia persistentes.
3. Objetivos Multimodales: Los codificadores imperfectos pueden mapear entradas distintas al mismo latente, lo que crea una distribución de objetivos multimodal cuando se aplican acciones de grupo, algo que los mapeos deterministas punto a punto no pueden resolver.

Esta desalineación se acumula bajo las transformaciones, degradando la consistencia geométrica y la fidelidad visual de las vistas sintetizadas.

Metodología: Flujo Latente Residual (RLF)

Para corregir esta desalineación sin descartar los valiosos priors de la teoría de grupos, los autores proponen el Flujo Latente Residual (RLF), un marco basado en Flow Matching.

Concepto Central

En lugar de tratar el latente transformado analíticamente $\rho(g)\Phi(x)$ como la verdad de campo (ground truth) final, los autores lo tratan como una aproximación de primer orden. Se aprende un flujo continuo (un difeomorfismo dependiente del tiempo) que transporta este latente aproximado hacia el latente objetivo empíricamente correcto $\Phi(g \circ x)$.

Formulación del Problema

La tarea se formula como un problema de transporte de distribución condicional:

• Fuente ($z_0$): El latente transformado analíticamente, $z_0 = \rho(g)\Phi(x)$.
• Objetivo ($z_1$): El verdadero latente codificado de la imagen transformada, $z_1 = \Phi(g \circ x)$.
• Restricción: A diferencia del flow matching estándar que transporta distribuciones independientes, el RLF debe transportar $z_0$ hacia su $z_1$ específico emparejado, derivado del mismo objeto $(x, g)$. Esto requiere modelar la distribución conjunta condicional $\pi_{0,1}(z_0, z_1 | x, g)$ en lugar de marginales independientes.

Procedimiento de Entrenamiento

El método sigue un flujo de entrenamiento de tres etapas:

1. Entrenamiento del Autoencoder Base: Se entrena un codificador $\Phi$ y un decodificador $\Psi$ utilizando un error ERL estándar (Ecuación 2) para minimizar los errores de reconstrucción y de equivariancia.
2. Entrenamiento de RLF: El codificador se congela. Se entrena un modelo de flujo para aprender el campo de velocidad $v_\theta$ que transporta $z_0$ hacia $z_1$. El objetivo minimiza la diferencia entre la velocidad aprendida y el campo de velocidad condicional (interpolación lineal entre $z_0$ y $z_1$):
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   Esto permite al modelo manejar la naturaleza multimodal de la distribución objetivo derivada de codificadores imperfectos.
3. Ajuste Fino del Decodificador: El decodificador $\Psi$ se ajusta mediante un entrenamiento fino sobre los latentes corregidos por el flujo para adaptarse a la distribución latente desplazada, asegurando una reconstrucción de alta calidad.

La arquitectura del modelo de flujo varía según el grupo: basada en Transformers para $SO(2)$ y basada en U-Net para $SO(3)$ (aprovechando la estructura de rejilla cuadrada de los bloques de la matriz D de Wigner).

Contribuciones Clave

1. Identificación de la Desalineación Latente: El artículo define y analiza formalmente la discrepancia entre los latentes rotados analíticamente y los latentes codificados empíricamente en ERL, demostrando cómo esto socava la consistencia geométrica.
2. Marco de Flujo Latente Residual: Los autores proponen un novedoso mecanismo de corrección latente utilizando flow matching. A diferencia de las aplicaciones estándar que transportan ruido hacia datos, el RLF transporta aproximaciones de la teoría de grupos hacia objetivos empíricos, preservando la estructura de grupo mientras corrige las imperfecciones del codificador.
3. Validación Empírica: El método se valida a través de múltiples conjuntos de datos con simetrías $SO(2)$y$SO(3)$, mostrando reducciones significativas en el error latente y mejoras en la calidad de la síntesis de vistas novedosas.

Resultados Experimentales

Los autores evaluaron el RLF en seis conjuntos de datos, incluyendo benchmarks sintéticos (ABO-Material, ModelNet10-SO(3), ComplexBRDFs) y de imágenes reales (RotatedMNIST, SmallNORB).

• Síntesis de Vistas Novedosas (NVS): El RLF superó consistentemente a las líneas base (incluyendo NFT, Spatial-VAE y LGA) tanto en configuraciones dentro de la distribución (in-distribution) como fuera de la distribución (OOD).
• Métricas:
  • Error Latente: Reducción significativa en la distancia $L_2$ entre los latentes predichos y los reales (ground-truth).
  • Error de Ángulo: Disminución sustancial en la desviación de los ángulos de rotación predichos respecto al valor real, particularmente para tareas de $SO(3)$.
  • Fidelidad Visual: Mejoras en PSNR y LPIPS, con resultados cualitativos que muestran una mejor preservación del fondo y de los detalles finos durante la rotación en comparación con las líneas base, que a menudo presentaban corrupción o artefactos.
• Generalización: El método demostró robustez ante variaciones en los ángulos de rotación y objetos no vistos, validando que la corrección de flujo generaliza eficazmente la relación de equivariancia.

Significado y Reivindicaciones

El artículo afirma que el Flujo Latente Residual proporciona una solución práctica al problema de la "desalineación latente" que afecta a los modelos equivariantes existentes. Al tratar la acción de grupo como una aproximación de primer orden y aprender una corrección residual, el método:

• Restaura la Consistencia: Fuerza a que el espacio latente se adhiera más fielmente a la simetría de grupo subyacente que el entrenamiento ERL estándar por sí solo.
• Mejora la Fidelidad: Mejora directamente la calidad de la síntesis de vistas novedosas, particularmente en escenarios desafiantes de rotación fuera del plano donde se requiere razonamiento geométrico y de oclusión.
• Preserva la Estructura: Mantiene la interpretabilidad y las garantías teóricas de los grupos (por ejemplo, las matrices D de Wigner) mientras corrige las limitaciones prácticas de las arquitecturas de redes neuronales.

Los autores señalan que, aunque el método mejora significamente la alineación, la calidad final de la imagen permanece limitada por la capacidad del decodificador. Identifican la extensión del marco a transformaciones más generales (por ejemplo, $SE(3)$, movimiento articulado) y el desarrollo de estrategias de entrenamiento de extremo a extremo (end-to-end) estables como direcciones futuras importantes.