Resumen Técnico: Cálculo Geodésico en Variedades Latentes Definidas Implícitamente

Planteamiento del Problema

En el aprendizaje automático, los autoencoders proporcionan representaciones latentes de baja dimensión para datos de alta dimensión (por ejemplo, imágenes, formas) basándose en la hipótesis de la variedad. Sin embargo, estos espacios latentes suelen carecer de una estructura geométrica explícita, lo que dificulta la realización de operaciones geométricas rigurosas como la interpolación, la extrapolación o el cálculo de geodésicas. Aunque el análisis de formas utiliza extensamente las variedades de Riemann para modelar colecciones de formas (por ejemplo, mediante LDDMM), aplicar estas herramientas a los espacios latentes de los autoencoders es un desafío debido a que:

1. Falta de Parametrización Explícita: Las variedades latentes suelen tener una codimensión no nula en el espacio ambiente, lo que hace que las parametrizaciones globales sean difíciles o imposibles debido a obstrucciones topológicas.
2. Representaciones Imperfectas: Las representaciones implícitas prácticas (aprendidas de los datos) son a menudo inexactas o "imperfectas", lo que provoca que los métodos numéricos estándar fallen o produzcan trayectorias que se desvían del verdadero soporte de los datos.
3. Dependencia de la Métrica: Los métodos existentes a menudo restringen el cálculo de geodésicas a arquitecturas de autoencoder específicas o a elecciones de métrica específicas (por ejemplo, euclídea), fallando al no incorporar métricas dependientes de la aplicación (por ejemplo, métricas de tracción o pullback provenientes de la variedad de los datos).

El desafío central es dotar a las variedades latentes de una estructura geométrica utilizable que permita el cálculo de trayectorias geodésicas (interpolación y extrapolación) que se adhieran a la distribución de la muestra de los datos, incluso cuando la representación de la variedad es imperfecta.

Metodología

El marco propuesto aborda estos desafíos a través de tres componentes principales: una representación implícita de la variedad latente, un cálculo geodésico variacional discreto y una estrategia de aprendizaje para el operador de proyección.

1. Representación Implícita mediante Proyección Aprendida

En lugar de aprender una parametrización global, los autores describen la variedad latente $Z \subset \mathbb{R}^l$ como una subvariedad implícita definida por el conjunto de nivel cero de una función $\zeta$.

• Definición: $\zeta(z) = z - \Pi(z)$, donde $\Pi: \mathbb{R}^l \to \mathbb{R}^l$ es una aplicación de proyección que mapea cualquier punto en el espacio latente al punto más cercano en la variedad $Z$.
• Estrategia de Aprendizaje: Dado que la verdadera proyección $\Pi$ es desconocida, los autores proponen aprender una proyección aproximada $\Pi_\sigma$ minimizando un objetivo de eliminación de ruido (denoising). Este objetivo, inspirado en los autoencoders de eliminación de ruido (Alain & Bengio, 2014), trata las muestras latentes como una nube de puntos y aprende $\Pi_\sigma$ para minimizar la distancia cuadrática esperada entre una muestra con ruido y su proyección.
  • El funcional de pérdida es $Q(\Pi) = \int \int |z - \Pi(y)|^2 f_\sigma(z-y) \, dz \, dy$, donde $f_\sigma$ es un núcleo gaussiano.
  • Este enfoque es independiente de la arquitectura del autoencoder subyacente y soporta codimensiones arbitrarias.

2. Cálculo Geodésico Variacional Discreto

Para calcular geodésicas en estas variedades implícitas potencialmente imperfectas, los autores emplean un enfoque variacional de tiempo discreto (basado en Rumpf & Wirth, 2015).

• Energía de la Trayectoria Discreta: Una trayectoria continua $z(t)$ se aproxima mediante una secuencia discreta $z = (z_0, \dots, z_K)$. La energía de la trayectoria se aproxima mediante una suma de aproximaciones de distancia local $W(z_{k-1}, z_k)$:
  $$E_K(z_0, \dots, z_K) = \sum_{k=1}^K W(z_{k-1}, z_k)$$
• Flexibilidad de la Métrica: El marco soporta diferentes métricas de Riemann mediante la elección de $W$:
  • Euclídea: $W_E(z, \tilde{z}) = |\tilde{z} - z|^2$ (heredada del espacio ambiente).
  • Métrica de Tracción (Pullback): $W_{PB}(z, \tilde{z}) = |\psi(z) - \psi(\tilde{z})|^2$ (distancia en el espacio de los datos).
  • Riemanniana General: $W_M(z, \tilde{z}) = \text{dist}_M^2(\psi(z), \psi(\tilde{z}))$ (usando la métrica intrínseca de la variedad de los datos).
• Optimización: La geodésica se encuentra minimizando $E_K$ sujeto a la restricción $\zeta(z_k) = 0$ para todo $k$. Los autores utilizan un método de Lagrangiano Aumentado para resolver esta optimización restringida. Este método es robusto ante restricciones "imperfectas" (donde $\zeta_\sigma$ no se anula exactamente) al penalizar las desviaciones de la variedad mientras se actualizan iterativamente los multiplicadores de Lagrange.

3. Mapa Exponencial Discreto

Para la extrapolación geodésica (disparo o shooting), los autores definen un mapa exponencial discreto $\text{Exp}_K$. Dada una posición inicial $z_0$ y una velocidad discreta (definida por $z_1$), el método minimiza iterativamente un funcional $F$ que impone las condiciones de punto de silla de la ecuación geodésica discreta y la restricción de la variedad. Esto permite la generación de trayectorias geodésicas que se extienden más allá de los puntos finales dados.

Contribuciones Clave

1. Cálculo Geodésico de Tiempo Discreto para Variedades Imperfectas: El artículo introduce un marco numérico para calcular geodésicas en variedades latentes implícitas que no están representadas perfectamente. El método es robusto a las imprecisiones de la función implícita $\zeta_\sigma$.
2. Aprendizaje de Proyección basado en Eliminación de Ruido: Un enfoque novedoso para aprender una proyección aproximada sobre una variedad latente de codimensión desconocida mediante la minimización de un objetivo de eliminación de ruido, independiente de la arquitectura específica del autoencoder utilizado.
3. Integración de Métricas Flexibles: El marco permite la incorporación de métricas de Riemann dependientes de la aplicación (por ejemplo, métricas de tracción) directamente en el cálculo geodésico sin requerir una parametrización explícita de la variedad.
4. Validación Empírica: El enfoque se evalúa en varios autoencoders (isométrico, VAE esférico, de baja curvación/distorsión) entrenados con datos sintéticos y reales (conchas discretas, captura de movimiento, rotaciones de imágenes), demostrando una interpolación y extrapolación realistas en comparación con la interpolación lineal.

Resultados

Los autores evalúan el método en cuatro escenarios distintos:

• Conchas Discretas (Autoencoder Isométrico): Sobre el conjunto de datos SCAPE de poses humanas, la interpolación geodésica en la variedad latente aprendida evita con éxito las autointersecciones que ocurren con la interpolación lineal en el espacio latente.
• Captura de Movimiento (VAE Esférico): Utilizando un VAE esférico sobre datos de movimiento CMU, el método calcula geodésicas utilizando una métrica esférica de tracción. Las poses decodadas resultantes son realistas, mientras que la interpolación lineal produce contracciones articulares antinaturales y autointersecciones de extremidades.
• Datos de Imágenes (Baja Curvatura/Distorsión): En un conjunto de datos de objetos 3D en rotación, el método realiza interpolación y extrapolación geodésica en un espacio latente de 16 dimensiones, produciendo transiciones suaves en las imágenes decodificadas.
• Pose-NDF (Función de Distancia): El método se extiende para trabajar con campos de distancia neuronales (Pose-NDF) como la representación implícita, calculando con éxito geodésicas en la variedad de poses humanas plausibles donde la interpolación lineal falla.

En todos los casos, las geodésicas calculadas se adhieren a la geometría de la variedad de los datos, evitando el "espacio vacío" que recorre la interpolación lineal. El mapa exponencial discreto genera con éxito trayectorias extrapoladas que siguen la curvatura de la variedad.

Significación y Reivindicaciones

El artículo afirma proporcionar una herramienta práctica y robusta para realizar operaciones geométricas en variedades latentes, cerrando la brecha entre la riqueza teórica de la geometría de Riemann y las limitaciones prácticas de las representaciones latentes aprendidas.

• Robustez: La principal significación reside en la capacidad del método para funcionar con representaciones implícitas "imperfectas", una realidad común en las aplicaciones prácticas de aprendizaje automático donde no se dispone de una descripción exacta de la variedad.
• Generalidad: Al desacoplar el cálculo geométrico de la arquitectura específica del autoencoder y permitir métricas arbitrarias, el marco habilita nuevos métodos de orden reducido para espacios de formas y modelado generativo.
• Direcciones Futuras: Los autores sugieren modestamente que trabajos futuros podrían conectar las representaciones basadas en proyección con las basadas en distancia, extender el cálculo a distribuciones latentes (por ejemplo, en VAEs) y utilizar el transporte paralelo discreto para la transferencia de detalles. Reconocen limitaciones respecto a la escalabilidad a dimensiones muy altas y la falta de un análisis de error matemático completo que combine los errores de aprendizaje con los errores de discretización.

El trabajo pretende abrir nuevas vías para utilizar las representaciones latentes en el aprendizaje automático al permitir la interpolación y extrapolación geodésica que respeten la geometría subyacente de los datos.