Posterior uncertainty for kernel density estimates

Planteamiento del Problema
Este artículo investiga los fundamentos teóricos de la estimación de densidad de kernel (KDE) dentro del marco de la inferencia bayesiana predictiva. Si bien trabajos recientes han establecido interpretaciones bayesianas para diversos algoritmos predictivos de un paso adelante, el comportamiento específico de las KDE clásicas en este entorno requiere un análisis riguroso. El problema central es determinar si las medidas predictivas asociadas con el remuestreo recursivo de KDE convergen débilmente casi seguramente a una medida de probabilidad aleatoria límite. Además, los autores buscan caracterizar las propiedades de esta medida límite —específicamente su absolutely continuidad— y establecer la convergencia de los estimadores de momentos. Un vacío crítico abordado es si estas secuencias predictivas satisfacen los criterios de convergencia estándar (como ser condicionalmente idénticamente distribuidas, c.i.d., o casi c.i.d., a.c.i.d.) o si representan una nueva clase de secuencias convergentes que no lo son.

Metodología
Los autores emplean un esquema de remuestreo predictivo donde, dados los datos observados $y_{1:n_{obs}}$, se construye una estimación de densidad de kernel $f_0$. Las observaciones subsiguientes $Y_{n+1}$ se muestrean recursivamente a partir de distribuciones predictivas $f_n$ que actualizan la estimación de densidad de kernel incorporando los nuevos puntos de datos muestreados. El ancho de banda $h_n$ decae como $n^{-a}$ para $a > 0$.

El análisis se apoya en varias herramientas matemáticas:

1. Teoría de Convergencia Débil: Los autores utilizan la equivalencia entre la convergencia débil de medidas de probabilidad aleatorias y la convergencia casi segura (a.s.) de integrales de funciones continuas acotadas (específicamente $C_b^\infty$).
2. Teoría de Martingales y Supermartingales: La convergencia de las medidas predictivas se analiza utilizando el teorema de Robbins-Siegmund para casi supermartingales no negativos.
3. Integrabilidad Uniforme: Para asegurar la convergencia de los momentos, el artículo establece condiciones bajo las cuales la secuencia de variables remuestreadas es uniformemente integrable.
4. Pruebas de Absoluta Continuidad: Para núcleos gaussianos, los autores prueban la absoluta continuidad de la medida límite con respecto a la medida de Lebesgue demostrando la absoluta continuidad uniforme de las integrales de las funciones de densidad y aplicando el teorema de Prokhorov y las propiedades de la compacidad en $L^1$.

Contribuciones Clave y Resultados

• Convergencia Débil Casi Segura: El artículo demuestra que para estimadores de densidad de kernel cuyos núcleos satisfacen $\int z K(z) dz = 0$ y $\int z^2 K(z) dz < \infty$, la secuencia de medidas predictivas $\alpha_n$ converge débilmente casi seguramente a una medida de probabilidad aleatoria $\alpha$. Esto implica que la secuencia de remuestreo $(Y_n)_{n \ge 1}$ es asintóticamente intercambiable.
• Criterios de Convergencia No Estándar: Un hallazgo teórico significativo es que, para núcleos gaussianos, la secuencia predictiva no es condicionalmente idénticamente distribuida (c.i.d.), ni forma un cuasi-martingala, ni es casi c.i.d. (a.c.i.d.). Esto proporciona un ejemplo no trivial de una secuencia predictiva que converge débilmente casi seguramente sin satisfacer las condiciones suficientes estándar (c.i.d., cuasi-martingala o a.c.i.d.) que se encuentran habitualmente en la literatura.
• Absoluta Continuidad del Límite: Para núcleos gaussianos, los autores demuestran que la medida directriz límite $\alpha$ es casi seguramente absolutamente continua con respecto a la medida de Lebesgue. Esto asegura la existencia de una función de densidad de probabilidad límite, lo cual es un requisito previo para definir intervalos de credibilidad para la propia estimación de la densidad.
• Convergencia de Momentos: El artículo demuestra que los momentos empíricos de la secuencia remuestreada convergen casi seguramente a los momentos de la distribución límite. Esto permite la estimación de funcionales de la densidad (por ejemplo, medias, varianzas) mediante el esquema de remuestreo predictivo.
• Predictivos Intrínsecos: Los resultados se extienden a "predictivos intrínsecos", donde la distribución predictiva inicial también es una estimación de densidad de kernel derivada de los datos observados, asegurando que todo el proceso sea autoconsistente.

Significancia y Reivindicaciones
El artículo afirma proporcionar una justificación rigurosa para el uso del remuestreo predictivo para evaluar la incertidumbre posterior en las estimaciones de densidad de kernel. Al establecer la existencia de una densidad límite (específicamente para núcleos gaussianos), los autores permiten la construcción de intervalos de credibilidad para la propia KDE, una capacidad que carecía de este marco predictivo específico.

Los autores destacan que su trabajo ofrece una "red de seguridad teórica" al anclar el método en la intercambiabilidad, aun cuando las secuencias predictivas específicas no satisfacen las propiedades más fuertes de c.i.d. o a.c.i.d. que se asumen a menudo en la literatura de la posterior de martingala. Los resultados se ilustran en dos conjuntos de datos reales (tiempos de espera de los géiseres de Old Faithful y velocidades de galaxias), donde el método produce estimaciones de la media posterior y bandas de credibilidad que parecen estables y razonables, contrastando con el comportamiento de los Modelos de Mezcla de Procesos de Dirichlet en ciertas regiones de baja densidad de datos.

El artículo concluye modestamente, señalando que, si bien el resultado de la absoluta continuidad se prueba para núcleos gaussianos, se conjetura que se cumple de forma más general para otros núcleos, aunque esto queda por verificar. Del mismo modo, la cuestión de si la distancia de variación total entre las medidas predictivas y el límite converge a cero sigue siendo un problema abierto.