Shape-constrained density estimation with Wasserstein projection

Este artículo estudia la estimación de densidades no paramétrica con restricciones de forma mediante proyecciones en la distancia de Wasserstein, demostrando propiedades estructurales, proponiendo un método de discretización y comparando este enfoque con la estimación de máxima verosimilitud para densidades no decrecientes y log-cóncavas.

Lo esencial

Imagina que eres un chef que intenta recrear la receta exacta de un pastel famoso, pero solo tienes una lista de ingredientes sueltos (los datos) y no la receta completa. Tu objetivo es adivinar la forma y el sabor del pastel original basándote en esos ingredientes.

En el mundo de las estadísticas, esto se llama estimación de densidad. Quieres reconstruir la "forma" de una distribución de datos (como la altura de las personas en una ciudad o los precios de las casas) a partir de una muestra limitada.

Este artículo presenta una nueva forma de hacer esto, llamada Proyección de Wasserstein, y la compara con el método tradicional que usan los estadísticos desde hace décadas (la Máxima Verosimilitud).

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: ¿Cómo adivinar la forma?

Tienes un montón de puntos dispersos en un papel (tus datos). Quieres dibujar una curva suave que los represente, pero con reglas estrictas:

• Caso Monótono: La curva debe ir siempre hacia abajo (como una resbaladilla), nunca subir. (Ejemplo: la probabilidad de que un objeto sea muy grande es menor que la de que sea mediano).
• Caso Log-Cóncavo: La curva debe tener una forma de "campana" o de "techo de casa" (como una montaña), sin valles extraños en medio.

2. El Método Tradicional: El "Chef de la Verosimilitud" (MLE)

El método clásico (Máxima Verosimilitud) funciona como un chef que dice: "¡Voy a ajustar mi receta para que los ingredientes que tengo en la mano encajen perfectamente!".

• Cómo funciona: Intenta que la curva pase lo más cerca posible de cada punto de datos individual.
• El resultado: A menudo, la curva resultante es muy "picuda" o se ajusta demasiado a los errores de la muestra. Es como si el chef intentara que el pastel tuviera exactamente la forma de cada trozo de fruta que tiró en la mesa, en lugar de la forma general del pastel.

3. El Nuevo Método: El "Chef de la Distancia" (Proyección de Wasserstein)

Los autores proponen un enfoque diferente basado en la Teoría del Transporte Óptimo. Imagina que tienes dos montones de arena:

1. Montón A: Tus datos reales (los puntos dispersos).
2. Montón B: Tu modelo teórico (la curva que estás dibujando).

El método de Wasserstein pregunta: "¿Cuál es la cantidad mínima de esfuerzo (o energía) necesaria para mover la arena del Montón A y transformarla en la forma del Montón B?".

• La analogía de la arena: Si tienes un grano de arena en la posición 1 y quieres moverlo a la posición 2, cuesta algo de energía. Si tienes que moverlo a la posición 100, cuesta mucho más.
• La ventaja: Este método no solo mira si los puntos coinciden, sino dónde están ubicados. Respeta la "geografía" o la distancia física entre los datos.

4. Las Reglas del Juego (Restricciones de Forma)

El artículo se centra en dos reglas importantes para que la curva tenga sentido:

• Monótona (Resbaladilla): La curva nunca puede subir.
• Log-Cóncava (Montaña): La curva debe ser "cóncava" (como un techo curvo hacia abajo).

El gran descubrimiento de los autores es que, si usas el método de "Transporte de Arena" (Wasserstein) con estas reglas, la curva resultante tiene una propiedad mágica: es simple y geométrica.

• En el caso de la resbaladilla, la curva resultante es una serie de escalones (constante por tramos).
• En el caso de la montaña, la curva es una serie de techos planos inclinados (log-lineal).

5. La Sorpresa: ¡La curva se hace más grande!

Aquí está la parte más interesante y contraintuitiva.

• El método antiguo (MLE): Si tus datos están entre -1 y 1, la curva resultante suele terminar exactamente en -1 y 1. No se atreve a salirse de los datos.
• El método nuevo (Wasserstein): A veces, la curva resultante se extiende más allá de tus datos.
  • Ejemplo: Si tienes datos en -1 y 1, el método antiguo dice "el pastel está entre -1 y 1". El método nuevo dice: "Espera, para mover la arena de la forma más eficiente, necesito un poco más de espacio, así que el pastel va desde -1.5 hasta 1.5".

¿Por qué? Porque el método de Wasserstein "suaviza" los bordes para minimizar el esfuerzo de mover la arena. Acepta un poco más de incertidumbre en los extremos para tener una forma más natural y estable en el centro.

6. ¿Por qué importa esto?

Imagina que estás diseñando un puente.

• El método antiguo te dice: "El puente debe terminar exactamente donde están los pilares que medí".
• El método nuevo te dice: "Para que el puente sea más estable y resistente a vientos (ruido en los datos), es mejor que los extremos se extiendan un poco más allá de los pilares medidos".

En resumen:
Este paper nos dice que, a veces, para entender mejor la realidad, no debemos intentar encajar nuestros datos en una caja rígida (como hace el método tradicional), sino que debemos permitir que la "forma" de nuestros datos se expanda un poco, siguiendo las reglas de la física y la distancia (Wasserstein). Esto nos da estimaciones más robustas, especialmente cuando los datos son imperfectos o escasos.

Los autores han creado algoritmos (código informático) para que cualquiera pueda usar esta "nueva forma de mover la arena" y obtener mejores gráficos y predicciones en la vida real.

Resumen técnico

1. Problema y Contexto

El artículo aborda el problema de la estimación de densidad no paramétrica con restricciones de forma en el caso univariado. Tradicionalmente, este problema se resuelve mediante la Estimación de Máxima Verosimilitud (MLE), que busca maximizar la verosimilitud de los datos observados dentro de un conjunto de distribuciones $F$ que cumplen ciertas restricciones geométricas (como ser monótonas o log-cóncavas).

Los autores proponen una alternativa basada en la Teoría del Transporte Óptimo. En lugar de minimizar la divergencia de Kullback-Leibler (que subyace a la MLE), proponen encontrar la distribución en el modelo $F$ que minimiza la distancia al empírico de los datos ($\mu_n$) bajo la distancia de Wasserstein ($W_p$).

El objetivo es estudiar las propiedades estructurales y el rendimiento de este estimador de proyección de Wasserstein, comparándolo con el MLE, especialmente en escenarios donde el modelo puede estar mal especificado (es decir, la verdadera distribución $\mu^*$ no pertenece a $F$).

2. Metodología

2.1. Marco Teórico: Geometría de Wasserstein

El enfoque se basa en la identificación de las distribuciones de probabilidad con sus funciones cuantílicas ($Q_\mu$). Para distribuciones univariadas, la distancia $p$-Wasserstein entre dos medidas $\mu$ y $\nu$ es isométrica a la distancia $L^p$ entre sus funciones cuantílicas:
$$W_p(\mu, \nu) = \| Q_\mu - Q_\nu \|_{L^p([0,1])}$$

El estimador se define como:
$$\hat{\mu}_n = \arg \min_{\nu \in F} W_p(\nu, \mu_n)$$
donde $\mu_n$ es la medida empírica de los datos.

2.2. Restricciones de Forma y Convexidad

Para garantizar la existencia y unicidad del estimador, el conjunto de distribuciones $F$ debe ser displacement convex (convexo en el sentido de McCann) y cerrado en la topología de Wasserstein.

• En el caso univariado, la convexidad de desplazamiento en el espacio de distribuciones equivale a la convexidad ordinaria en el espacio de funciones cuantílicas.
• El artículo se centra en el caso $p=2$ (distancia cuadrática), lo que permite utilizar propiedades de espacios de Hilbert ($L^2$) y garantiza que el estimador sea 1-Lipschitz, facilitando el análisis de convergencia.

2.3. Casos de Estudio

Los autores analizan dos restricciones fundamentales:

1. Densidades no crecientes en $\mathbb{R}_+$: El conjunto de funciones cuantílicas asociadas es convexo y corresponde a funciones convexas, no decrecientes y que se anulan en 0.
2. Densidades log-cóncavas en $\mathbb{R}$: El conjunto de funciones cuantílicas asociadas corresponde a funciones donde la inversa de la derivada ($1/Q'$) es cóncava.

3. Contribuciones Clave y Resultados Principales

3.1. Propiedades Estructurales del Estimador

El resultado más significativo del papel es la caracterización de la forma del estimador $\hat{\mu}_n$:

• Caso Monótono (Teorema 3.6): La densidad estimada es constante por partes (piecewise constant) y tiene soporte compacto.
  • Diferencia con MLE: A diferencia del estimador de Grenander (MLE para densidades monótonas), los puntos de quiebre de la densidad estimada por Wasserstein no necesariamente coinciden con los puntos de datos observados, y el soporte puede ser más amplio que el rango de los datos.
• Caso Log-Cóncavo (Teorema 4.7): La densidad estimada es log-affine por partes (piecewise log-affine) y tiene soporte compacto.
  • Diferencia con MLE: Similar al caso anterior, los puntos de quiebre no están restringidos a ser los datos observados. Además, el soporte puede extenderse más allá del envolvente convexo de los datos (ejemplo: para datos en $\{-1, 1\}$, el MLE es $Unif(-1, 1)$, mientras que la proyección de Wasserstein es $Unif(-1.5, 1.5)$).

3.2. Propiedades Estadísticas

• Consistencia: Se demuestra que el estimador converge a la proyección de la verdadera distribución sobre el modelo $F$ en la métrica $W_2$.
• Tasas de Convergencia: Para distribuciones log-cóncavas verdaderas, se establece una tasa de convergencia paramétrica (hasta un factor logarítmico) en la distancia $W_2$, similar a la que se espera en modelos paramétricos.
• Equivariancia Afín: El estimador respeta las transformaciones afines (escalado y traslación), una propiedad deseable que comparte con la MLE.

3.3. Implementación Computacional

Los autores proponen algoritmos de discretización para resolver el problema de optimización:

• Monótono: Se formula como un programa cuadrático (QP) sobre los valores de la función cuantílica en una partición, sujeto a restricciones lineales de convexidad y monotonía.
• Log-Cóncavo: Se formula como un problema de optimización convexa sobre la función $h = 1/Q'$, que debe ser positiva y cóncava. Se utiliza programación no lineal para minimizar la distancia $L^2$ entre las cuantílicas.
• Se proporciona código en R para la implementación de estos estimadores.

4. Comparación con Máxima Verosimilitud (MLE)

El artículo destaca diferencias cualitativas importantes entre ambos enfoques:

1. Geometría Subyacente: La MLE proyecta en la geometría de la divergencia de Kullback-Leibler (información), mientras que la proyección de Wasserstein incorpora la geometría euclidiana del espacio de estados.
2. Soporte y Puntos de Quiebre:
   • El MLE tiende a tener un soporte igual al envolvente convexo de los datos y sus puntos de quiebre son subconjuntos de los datos.
   • El estimador de Wasserstein puede generar soportes más amplios y puntos de quiebre "suavizados" que no coinciden con los datos, lo que a veces proporciona un mejor ajuste global en la métrica de transporte óptimo.
3. Robustez ante Mal Especificación: En casos donde el modelo está mal especificado (ej. datos bimodales estimados con un modelo log-cóncavo), la proyección de Wasserstein ofrece un compromiso diferente, a menudo suavizando las características extremas de los datos de manera distinta a la MLE.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Fundamentación Teórica: Proporciona la primera caracterización estructural rigurosa de los estimadores de proyección de Wasserstein bajo restricciones de forma en el caso univariado, demostrando que son problemas de optimización convexa bien planteados.
• Nueva Perspectiva Geométrica: Introduce una alternativa sólida a la inferencia estadística basada en verosimilitud, utilizando la geometría del transporte óptimo. Esto es relevante dado el creciente interés en la geometría de la información de Wasserstein.
• Aplicabilidad Práctica: Demuestra que estos estimadores son computacionalmente tratables mediante técnicas de optimización convexa estándar y ofrece una herramienta viable para el análisis de datos con restricciones de forma conocidas.
• Direcciones Futuras: El artículo abre la puerta a la extensión de estos métodos a dimensiones superiores (donde la convexidad de desplazamiento es más compleja) y a la interpolación entre métricas de Wasserstein y Fisher-Rao.

En resumen, el paper establece que la estimación de densidad mediante proyección de Wasserstein es una metodología teóricamente sólida, computacionalmente viable y con propiedades estructurales distintivas que la diferencian y complementan a la estimación clásica de máxima verosimilitud.