The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition

Resumen Técnico: La Pérdida Gaussiana de la Pulsera

Enunciado del Problema
Un objetivo central en el aprendizaje de representaciones es construir un codificador determinista $E: \mathbb{R}^{d_{in}} \to \mathbb{R}^d$ cuya salida coincida con una priori gaussiana fija, típicamente $\mathcal{N}(0, I_d)$. Dicho espacio latente gaussiano es deseable porque garantiza la independencia de las coordenadas, permite el muestreo contrafactual y el intercambio de submódulos mediante marginalización, y representa la distribución de máxima entropía en un segundo momento fijo.

Los enfoques existentes enfrentan compensaciones significativas:

• Codificadores estocásticos (VAEs): Inyectan ruido de muestreo en cada paso forward y sufren colapso posterior.
• Pérdidas de uniformidad esférica: Acoplan las coordenadas a través de la norma, rompiendo la independencia de los bloques concatenados.
• Difusión/Ajuste de flujo: Requieren inferencia iterativa y no producen un código latente determinista en un solo paso.
• Ajuste de momentos (p. ej., VICReg): Solo restringen los dos primeros momentos, fallando en capturar dependencias de orden superior o colas pesadas.
• Transporte Óptimo: Computacionalmente costoso ($O(N^3)$) y más adecuado para evaluación que para entrenamiento.

El desafío técnico central es definir una pérdida de lote determinista que responda si un conjunto finito de $N$ incrustaciones de puntos se asemeja a $N$ extracciones i.i.d. de $\mathcal{N}(0, I_d)$, siendo estable a través de dimensiones y amigable con GPU ($O(N^2)$ o mejor).

Metodología: La Descomposición de la Pulsera
El artículo introduce la Pérdida Gaussiana de la Pulsera, una pérdida de lote determinista que opera sin muestreo, términos KL o transporte iterativo. El método se basa en una descomposición geométrica específica de la distribución gaussiana.

1. Descomposición Esfera-Intervalo:
   Para un punto $x \in \mathbb{R}^d \setminus \{0\}$, el mapeo de pulsera $\Phi$ transforma $x$ en un par $(u, t)$ en el espacio producto $S^{d-1} \times [0, 1]$:

   • Dirección: $u = x / \|x\| \in S^{d-1}$.
   • Radio: $t = F_{\chi^2_d}(\|x\|^2)$, donde $F_{\chi^2_d}$ es la función de distribución acumulada (CDF) de la distribución chi-cuadrado con $d$ grados de libertad.

   El Teorema 1 establece una equivalencia bicondicional: Para $d \ge 2$, el empuje (pushforward) de una distribución $Q$ bajo $\Phi$ es la medida producto uniforme $\sigma_{d-1} \otimes \text{Unif}[0, 1]$ si y solo si $Q = \mathcal{N}(0, I_d)$. Este resultado, verificado por máquina en Lean 4, demuestra que imponer uniformidad en este espacio de "pulsera" es necesario y suficiente para la gaussianidad, a diferencia de los métodos que solo ajustan marginales radiales.

2. La Función de Pérdida:
   El objetivo minimiza una energía de repulsión par reflejada en el espacio de la pulsera.

   • Núcleo: La pérdida utiliza un núcleo $K_W(u, t; u', t') = k_{ang}(u, u') \cdot k_{rad}(t, t')$.
     • El componente angular $k_{ang}$ es una gaussiana cordal.
     • El componente radial $k_{rad}$ es una gaussiana reflejada de Neumann. Para manejar el dominio acotado $[0, 1]$, el núcleo incluye reflexiones de puntos a través de los límites 0 y 1. La implementación utiliza una truncación de "tres imágenes": el punto real, su reflexión a través de 0 y su reflexión a través de 1.
   • El Teorema 2 demuestra que el minimizador poblacional único de esta energía es la distribución uniforme en la pulsera.
   • Aceleradores de Muestra Finita: Para mejorar la convergencia, la pérdida incluye opcionalmente un término radial de Wasserstein 1D ($L_{rad}$) y una penalización de momentos ($L_{mom}$), ambos compartiendo el mismo óptimo.
   • Calibración: Los componentes se estandarizan en una sola estadística ($L_{wb}$) mediante calibración nula de Monte-Carlo, asegurando que la pérdida tenga una media de 0 y una desviación estándar de 1 bajo la hipótesis nula de gaussianidad.

3. Ruta Rápida Espectral:
   El cálculo par es $O(N^2 d)$. Para lotes grandes, los autores derivan una aproximación espectral ($O(NdK)$) expandiendo el núcleo en armónicos esféricos (angular) y modos coseno (radial). Esta ruta es explícitamente una aproximación del núcleo reflejado par, con gradientes empíricamente coincidentes.

4. Autoencoder Gaussiano Determinista (DGAE):
   La pérdida se acopla con un codificador de atención euclidiana de clave aprendible y un flujo invertible exacto (RealNVP). El flujo moldea la representación intermedia del codificador hacia el objetivo de la pulsera, permitiendo que el codificador aprenda características específicas de la tarea mientras el flujo maneja la gaussianización final.

Contribuciones Clave

1. Caracterización Bicondicional: Una demostración (verificada por máquina) de que la uniformidad en el espacio producto esfera-intervalo es equivalente a $\mathcal{N}(0, I_d)$ para $d \ge 2$.
2. Pérdida de Límite Reflejado: Una pérdida de repulsión par principista con reflexión de Neumann que minimiza únicamente en el objetivo uniforme, corrigiendo los efectos de límite en la coordenada radial.
3. Aproximación Espectral: Una ruta rápida que reduce la complejidad de $O(N^2 d)$ a $O(NdK)$ manteniendo la paridad de gradientes con la referencia par.
4. Validación Empírica: Superioridad demostrada sobre métodos basados en momentos y solo radiales en benchmarks sintéticos y una construcción de contexto/residuo de factores dependientes para MNIST.

Resultados Experimentales
El artículo evalúa el método en cuatro frentes:

• Benchmark X-Distribution: Una distribución sintética con covarianza identidad pero simetría no elíptica (segmentos de línea que se cruzan). Mientras que los métodos basados en momentos (VCReg) y los métodos radiales (Radial-VCReg) fallan en gaussianizar completamente la distribución conjunta, la Pulsera logra las mejores puntuaciones (puntuaciones z de $W_2$ bariocéntricas más bajas) en 2D y 10D.
• Impostor de Copula Radial-Angular: Un benchmark más difícil donde las marginales radiales y angulares son correctas, pero su dependencia (copula) es incorrecta. La Pulsera logra las mejores puntuaciones en 10D y 128D, superando a MMD y Wasserstein Recortado, que fallan en detectar la estructura de dependencia.
• Mezcla No Gaussiana de 15D: Un DGAE entrenado en una mezcla anisotrópica de 15D alcanza un MSE de reconstrucción de 0.241, con la pérdida de la pulsera disminuyendo significativamente durante el entrenamiento, indicando una gaussianización exitosa del espacio latente.
• Muestreo Condicional MNIST: El marco implementa con éxito una construcción de contexto/residuo. Dada la mitad inferior de una imagen, el modelo genera múltiples mitades superiores plausibles muestreando del bloque residual gaussiano, validando la capacidad de manejar factores dependientes de manera determinista.

Significado y Afirmaciones
El artículo afirma que la Pérdida Gaussiana de la Pulsera proporciona un mecanismo determinista, de un solo paso y amigable con GPU para imponer gaussianidad exacta en distribuciones arbitrarias (excluyendo el origen). Su significado principal radica en pasar de condiciones necesarias (ajustar momentos o marginales radiales) a una condición necesaria y suficiente mediante la descomposición esfera-intervalo.

Los autores enfatizan que esto habilita:

• Muestreo Contrafactual: Los factores independientes pueden intercambiarse o remuestrearse sin reentrenar.
• Construcción de Contexto/Residuo: Una manera principista de separar el contexto determinista de los residuos estocásticos en configuraciones dependientes.
• Eficiencia: La ruta espectral permite escalar a lotes grandes sin el costo cúbico del transporte óptimo.

El artículo se mantiene modesto respecto a las limitaciones: la ruta espectral es una aproximación; el mapa no está definido en $x=0$; y la independencia exacta de bloques requiere información subyacente independiente (manejada mediante la construcción de contexto/residuo para factores dependientes). El trabajo se presenta como un avance metodológico para el aprendizaje de representaciones en lugar de un modelo generativo de vanguardia para síntesis de imágenes de alta fidelidad.