Regularized estimation of Monge-Kantorovich quantiles for spherical data

Resumen Técnico: Estimación Regularizada de Cuantiles de Monge-Kantorovich para Datos Esféricos

Planteamiento del Problema
Los datos direccionales, observados como puntos en la $d$-esfera unitaria $S^{d-1}$, carecen de un orden canónico, lo que hace que la definición de cuantiles estadísticos sea más compleja que en el espacio euclídeo. Enfoques no paramétricos recientes utilizan la teoría del Transporte Óptimo (OT, por sus siglas en inglés) para definir cuantiles de Monge-Kantorovich (MK). Específicamente, para datos direccionales, se construye una función de cuantiles empírica $Q_n$ resolviendo un problema de OT entre una distribución uniforme en la esfera y la medida empírica de los datos.

Sin embargo, los estimadores de OT existentes para datos direccionales sufren de dos limitaciones primarias:

1. Falta de Capacidad Fuera de la Muestra (Out-of-Sample): El emparejamiento empírico entre dos distribuciones discretas (los datos y una rejilla regular) produce una función constante a trozos restringida al conjunto de las observaciones. No puede proporcionar estimaciones para nuevos puntos de datos no observados ($X_{new}$), lo cual es esencial para aplicaciones como la clasificación basada en profundidad o la medición de la dispersión.
2. Complejidad Computacional: Resolver problemas de OT discretos típicamente escala cúbicamente con el número de observaciones, lo que dificulta la escalabilidad.

Metodología
Los autores proponen un marco de estimación regularizada de cuantiles MK direccionales utilizando Transporte Óptimo Entrópico (EOT) en la 2-esfera ($S^2$). La metodología procede de la siguiente manera:

1. Regularización Entrópica: En lugar de resolver el problema discreto de Monge, los autores formulan un problema de OT continuo entre la medida uniforme $\mu_{S^2}$ y la medida objetivo $\nu$. Introducen un término de regularización entrópica con un parámetro $\varepsilon > 0$. Esto transforma el problema en una optimización semidual sobre una única función de potencial $u$, definida como:
   $$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$$
   donde $u^{c,\varepsilon}$ es la conjugada suave de $u$.

2. Parametrización Espectral: Para resolver este problema de dimensión infinita, el potencial dual $u$ se parametriza utilizando armónicos esféricos. La función se expande como una serie de coeficientes $\bar{u} = (\bar{u}^m_l)$. Los autores demuestran que, para el caso regularizado, el potencial es dos veces continuamente diferenciable, lo que asegura que la serie de armónicos esféricos pertenece a $\ell^1$.

3. Algoritmo Estocástico: Se desarrolla un algoritmo de descenso de gradiente estocástico para optimizar los coeficientes de los armónicos esféricos.

   • Entrada: Una secuencia de observaciones i.i.d. $X_1, \dots, X_n$ de $\nu$.
   • Mecanismo: En cada iteración, el algoritmo actualiza los coeficientes utilizando el gradiente de la función objetivo con respecto a una sola muestra.
   • Eficiencia: El algoritmo aprovecha la Transformada Rápida de Fourier (FFT) en la esfera (a través de la librería pyshtools) para calcular las integrales y transformaciones necesarias. El costo computacional por iteración es $O(p^2 \log^2 p)$, donde $p$ es el tamaño de la rejilla, mejorando significativamente la complejidad cúbica de los resolvedores de OT discretos.
   • Aprendizaje en Línea (Online Learning): El algoritmo opera de manera en línea, procesando los datos secuencialmente sin requerir el almacenamiento de una matriz de costo completa de $n \times n$.

4. Función de Cuantil y de Distribución Regularizada:

   • Una vez estimada la potencial óptima $u_\varepsilon$, las funciones de cuantil regularizado $Q_\varepsilon$ y de distribución $F_\varepsilon$ se derivan.
   • A diferencia del caso no regularizado, estas funciones son suaves y se definen mediante expresiones de forma cerrada que involucran promedios ponderados en el espacio tangente (proyecciones baricéntricas).
   • Específicamente, $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)$, lo que permite la evaluación directa en cualquier punto $x \in S^2$.

5. Profundidad Estadística Direccional: El artículo define una Profundidad MK Direccional basada en la proximidad de la función de distribución $F(x)$ a la mediana de Fréchet. Esta medida de profundidad satisface versiones adaptadas de los axiomas de Liu-Zuo-Serfling, incluyendo la invarianza rotacional y la monotonicidad a lo largo de curvas de signo.

Contribuciones Clave

• Extensión de los Mapas Entrópicos: Los autores extienden el concepto de mapa entrópico (previamente definido para espacios euclídeos) al entorno no euclídeo de la esfera, proporcionando un estimador suave y regularizado para los cuantiles MK.
• Estimación Fuera de la Muestra (Out-of-Sample): La función de cuantil regularizada propuesta $Q_\varepsilon$ permite la estimación de cuantiles para nuevas observaciones, una capacidad que falta en los métodos previos basados en OT discreto.
• Algoritmo Espectral Estocástico: Se introduce un nuevo algoritmo estocástico que resuelve problemas de OT continuo en $S^2$ expandiendo los potenciales en armónicos esféricos, utilizando FFT para la eficiencia computacional.
• Definición de Profundidad Direccional: Se introduce una nueva noción de profundidad estadística MK direccional, que hereda propiedades de la profundidad MK euclídea y satisface axiomas relevantes para la estadística direccional.

Resultados y Afirmaciones

• Propiedades Teóricas: El artículo establece que los potenciales regularizados son dos veces continuamente diferenciables, asegurando que las funciones de cuantil y distribución resultantes sean suaves. Demuestra que, a medida que $\varepsilon \to 0$, los potenciales regularizados convergen uniformemente a los potenciales de Kantorovich no regularizados.
• Eficiencia Computacional: El algoritmo estocástico evita la complejidad $O(n^3)$ del OT discreto, reduciendo el costo por iteración a $O(p^2 \log^2 p)$, lo que lo hace adecuado para grandes conjuntos de datos y escenarios de aprendizaje en línea.
• Utilidad Estadística: La metodología permite la clasificación basada en profundidad y la medición de la dispersión al proporcionar mapeos continuos y diferenciables. El artículo ilustra estos beneficios mediante experimentos numéricos (detallados en la Sección 6 del artículo completo), mostrando que el enfoque regularizado proporciona contornos más suaves y un mejor rendimiento fuera de la muestra en comparación con los estimadores discretos no regularizados.

Significado
El artículo afirma que su principal significancia radica en cerrar la breancia entre los cuantiles teóricos basados en OT y las aplicaciones estadísticas prácticas para datos direccionales. Al introducir la regularización entrópica y un resolvedor espectral estocástico, los autores proporcionan un método computacionalmente tratable que supera la limitación de "fuera de la muestra" de los enfoques discretos anteriores. Esto permite la aplicación de cuantiles MK y medidas de profundidad a problemas del mundo real que involucran datos direccionales, como la clasificación y la medición de riesgos, donde la suavidad y la capacidad de evaluar nuevos puntos de datos son obligatorias. El trabajo también contribuye al campo más amplio del OT en variedades al proporcionar una formulación explícita y tratable para la esfera.