Wasserstein Spatial Depth

Resumen Técnico: Wasserstein Spatial Depth

1. Planteamiento del Problema

El análisis de datos modernos ha evolucionado hacia la modelización de observaciones como distribuciones aleatorias (o medidas de probabilidad) en lugar de vectores euclidianos. Este enfoque es crucial en campos como la visión por computadora (imágenes longitudinales), el procesamiento de lenguaje natural (distribuciones de palabras) y la biología.

El desafío principal radica en que el espacio de distribuciones sobre $\mathbb{R}^d$ (con $d > 1$), equipado con la distancia de Wasserstein ($W_2$), no es un espacio vectorial lineal, sino una variedad Riemanniana (o espacio métrico geodésico) con una estructura no lineal compleja.

• Limitación de las herramientas actuales: Los métodos estadísticos tradicionales (regresión, PCA, pruebas de hipótesis) y las medidas de profundidad estadística existentes (como la profundidad de Tukey o espacial en espacios euclidianos) están diseñados para espacios lineales.
• Fallas de adaptación: Intentar incrustar el espacio de Wasserstein en un espacio de Hilbert (como un RKHS) para aplicar profundidades funcionales ignora la estructura geodésica intrínseca y distorsiona las relaciones de orden y distancia. Además, la complejidad computacional de profundidades como la de Tukey o Monge-Kantorovich en espacios de Wasserstein es prohibitiva (crece exponencialmente con el tamaño de la muestra).

El artículo busca llenar esta brecha definiendo una noción de profundidad estadística específica para datos de valor distribucional que respete la geometría de Wasserstein.

2. Metodología: Definición de la Profundidad Espacial de Wasserstein (WSD)

Los autores extienden el concepto de profundidad espacial (introducido por Liu y Singh, y generalizado por Zuo y Serfling) al espacio de Wasserstein.

• Concepto Base: En $\mathbb{R}^d$, la profundidad espacial de un punto $x$ respecto a una distribución $P$ es $1 - \|E[\frac{X-x}{\|X-x\|}]\|$. Se interpreta como la magnitud del vector promedio de las direcciones unitarias desde $x$ hacia las muestras.
• Generalización Geodésica: En el espacio de Wasserstein $\mathcal{P}_2(\mathbb{R}^d)$, la "dirección" se define a través de los campos de velocidad de las geodésicas.
  • Dadas dos distribuciones $Q$ y $P$, existe un mapa de transporte óptimo $T_{Q,P}$ que empuja $Q$ hacia $P$.
  • La geodésica constante entre $Q$ y $P$ es $\gamma_t = ((1-t)I + tT_{Q,P})\#Q$.
  • El campo de velocidad en $t=0$ es $v_{Q \to P} = T_{Q,P} - I$.
• Definición Formal (Definición 3.1): Para una distribución objetivo $Q$ y una distribución de distribuciones $P$ (sobre el espacio de Wasserstein), la WSD se define como:
  $$WSD(Q; P) := 1 - \left( \int \left\| E_{P \sim \mathcal{P}} \left[ \frac{x - T_{Q,P}(x)}{W_2(P, Q)} \right] \right\|^2 dQ(x) \right)^{1/2}$$
  Donde $T_{Q,P}$ es el mapa de transporte óptimo de $Q$ a $P$.
  • Interpretación: Mide la "centralidad" de $Q$ dentro de la nube de distribuciones $P$. Un valor de 1 indica que $Q$ es la mediana geométrica (el punto más central), mientras que valores cercanos a 0 indican que $Q$ es un outlier.

3. Contribuciones Clave

El artículo establece teóricamente y computacionalmente la viabilidad de la WSD:

1. Propiedades Teóricas Fundamentales: Se demuestra que la WSD satisface las propiedades axiomáticas deseadas para una profundidad estadística:

   • Rango: Toma valores en $[0, 1]$.
   • Invarianza: Es invariante bajo transformaciones isométricas y bajo transformaciones geodésicas (una propiedad única de los espacios no lineales).
   • Vanishing at infinity: Tiende a 0 cuando la distancia de Wasserstein a la mediana tiende a infinito.
   • Maximalidad: Alcanza su máximo (valor 1) en la mediana espacial (barycentro de Wasserstein).
   • Continuidad: Es continua tanto en la distribución objetivo $Q$ como en la distribución de referencia $P$.

2. Robustez:

   • Se caracteriza el punto de ruptura (breakdown point) de las regiones de profundidad empírica, demostrando que es $\alpha/2$ (similar a la profundidad espacial euclidiana), lo que indica alta robustez frente a outliers.
   • Se deriva la función de influencia y se prueba que está acotada, confirmando la robustez del estimador.

3. Estimación y Consistencia:

   • Se proponen estimadores para dos escenarios de muestreo comunes en datos distribucionales:
     • Muestreo de una etapa: Se observan las distribuciones $P_1, \dots, P_n$ directamente.
     • Muestreo de dos etapas: Se observan muestras de datos $X_{i,j}$ generadas por distribuciones latentes $P_i$.
   • Se prueba la consistencia del estimador empírico y su normalidad asintótica bajo ambos modelos.
   • Se establecen tasas de convergencia para el caso de dos etapas, mostrando que el estimador es computable en tiempo polinomial.

4. Pruebas de Hipótesis No Paramétricas:

   • Se desarrolla una prueba de dos muestras basada en la WSD para comparar dos poblaciones de distribuciones ($H_0: P = Q$).
   • Se utiliza un procedimiento de permutaciones que garantiza un control exacto del error Tipo I en muestras finitas y potencia asintótica.

4. Resultados Empíricos y Simulaciones

Los autores validan la metodología mediante simulaciones extensas y un caso de estudio real:

• Consistencia: Las estimaciones empíricas convergen rápidamente a los valores teóricos en diversos casos (distribuciones exponenciales, Weibull, Gaussianas y Uniformes).
• Comparación con otros métodos:
  • Vs. Profundidad Espacial Euclidiana: Cuando las distribuciones pertenecen a una familia de ubicación, la WSD coincide con la profundidad espacial de los parámetros de ubicación, validando la intuición.
  • Vs. Profundidades Funcionales (MBD, FSD): Al incrustar distribuciones en un RKHS y aplicar profundidades funcionales, se pierde la información geométrica. La WSD detecta outliers que las profundidades funcionales no logran distinguir.
  • Vs. Otras profundidades métricas (Lens, Spatial métrica): La WSD supera a la profundidad de Lens y a la profundidad espacial métrica (definida en [72]) en la capacidad de ordenar distribuciones y detectar outliers, además de tener mejores propiedades teóricas (como la relación directa con la mediana).
• Detección de Outliers: En experimentos con distribuciones gaussianas y uniformes, la WSD identifica correctamente distribuciones "exóticas" (outliers) con valores de profundidad significativamente más bajos que la población regular.
• Prueba de Dos Muestras: La prueba basada en WSD muestra una potencia superior o comparable a la prueba basada en "Distance Profiles" (DP) en diversos escenarios, manteniendo una mayor estabilidad ante variaciones en la dispersión de los puntos.

5. Aplicación al Mundo Real

El método se aplica a un conjunto de datos climáticos de temperaturas diarias en Europa (1874-2023) de 40 estaciones meteorológicas.

• Enfoque: Cada año se modela como una distribución sobre $\mathbb{R}^{12}$ (las 12 temperaturas medias mensuales de las 40 estaciones).
• Hallazgos: La WSD identifica años "anormales" con valores de profundidad bajos. Estos años (1879, 1929, 1940, 1942, 1947, 1956, 1963, 2018) coinciden históricamente con eventos climáticos extremos (inviernos muy fríos, olas de calor, sequías), validando la utilidad práctica de la métrica para detectar anomalías en series temporales complejas.

6. Significado e Impacto

Este trabajo es fundamental porque:

1. Redefine el análisis de datos distribucionales: Proporciona la primera herramienta de profundidad estadística que respeta explícitamente la geometría Riemanniana del espacio de Wasserstein, evitando las distorsiones de las incrustaciones lineales.
2. Habilita inferencia robusta: Permite realizar tareas estadísticas clásicas (ordenamiento, detección de outliers, pruebas de hipótesis, clustering) en espacios de datos no lineales de alta dimensión.
3. Viabilidad Computacional: A diferencia de otras profundidades en espacios métricos complejos, la WSD es computable en tiempo polinomial y escalable, lo que la hace aplicable a problemas reales.
4. Marco Teórico Sólido: Establece las bases para futuros desarrollos en estadística no paramétrica sobre espacios de medidas de probabilidad, ofreciendo garantías de consistencia, normalidad y robustez.

En conclusión, la Profundidad Espacial de Wasserstein es una herramienta esencial para la nueva era del análisis de datos donde las observaciones son distribuciones complejas, permitiendo extraer información estructural y geométrica que los métodos tradicionales ignoran.