Resumen Técnico: Imputación Distribucionalmente Fiel mediante Estimación de Densidad de Kernel Semidefinida Positiva

1. Formulación del Problema

El artículo aborda el desafío de los datos faltantes en la inferencia estadística y el aprendizaje automático. Aunque los valores faltantes son ubicuos, los métodos de imputación existentes suelen depender de heurísticas o supuestos paramétricos restrictivos (por ejemplo, la normalidad multivariante) que no logran capturar la verdadera distribución de los datos conjuntos. Además, las métricas populares como el Error Cuadrático Medio (RMSE) premian las predicciones puntuales (medias condicionales) pero ignoran las dependencias multivariantes y la incertidumbre.

Los autores se centran en el mecanismo de Falta Completamente al Azar (MCAR). Reformulan el problema de la imputación no como una tarea de regresión, sino como un problema de estimación de densidad a partir de observaciones enmascaradas. El objetivo central es estimar una distribución $p$ tal que sus marginales observadas coincidan exactamente con las marginales empíricas de los datos. Formalmente, dada una densidad de datos verdadera $p^\star$ y una distribución de máscara $\mu$, el objetivo es encontrar $p$ tal que $p_S = p^\star_S$ para casi todo $\mu$ en la máscara $S$.

El objetivo de aprendizaje se define minimizando el riesgo de Kullback–Leibler (KL) enmascarado:
$$L(p) := \sum_{S \subseteq [d]} \mu(S) \text{KL}(p^\star_S \parallel p_S)$$
Esta formulación asegura que los datos imputados reproduzcan la estructura conjunta de la verdad fundamental, permitiendo tanto imputaciones simples como múltiples.

2. Metodología: PSD-Impute

La solución propuesta, PSD-Impute, aprovecha las Densidades de Kernel Semidefinidas Positivas (PSD) para transformar el problema no convexo de estimación de densidad en una tarea de optimización convexa con marginales de forma cerrada.

2.1 El Modelo

El método aproxima la densidad $p(x)$ utilizando un mapa de características $\phi(x)$ derivado de un kernel gaussiano $k_\eta(x, x') = \exp(-\eta \|x - x'\|^2)$ y un conjunto de puntos de anclaje $W = \{w_1, \dots, w_\ell\}$. La densidad está parametrizada por una matriz PSD $Q \in \mathbb{S}^d_+$:
$$p_Q(x) = \phi(x)^\top Q \phi(x)$$
Para asegurar que $p_Q$ sea una densidad de probabilidad válida, se normaliza mediante la matriz de momentos $H = \int \phi(x)\phi(x)^\top dx$, imponiendo la restricción $\text{Tr}(QH) = 1$.

2.2 Propiedades Clave

La elección de densidades de kernel PSD está motivada por cuatro propiedades:

1. Universalidad: La clase de modelos puede aproximar cualquier densidad continua a medida que el número de anclajes $\ell \to \infty$.
2. Marginales de Forma Cerrada: A diferencia de los estimadores de densidad de kernel estándar, las marginales de las densidades PSD pueden computarse analíticamente. Para un subconjunto $S$, la marginal es:
   $$p_{Q,S}(x_S) = c_{2\eta}^{N_S} \text{Tr}(Q (K_S(x_S) \circ H_{N_S}))$$
   donde $K_S$ es una matriz de kernel de rango uno y $H_{N_S}$ es una matriz precomputable que depende únicamente de las dimensiones no observadas.
3. Convexidad: El logaritmo negativo de la verosimilitud de las observaciones enmascaradas es convexo con respecto a $Q$.
4. Aproximación Óptima: La familia alcanza tasas minimax óptimas para densidades suaves, rompiendo las barreras de la maldición de la dimensionalidad asociadas con los histogramas de kernel no negativos.

2.3 Optimización

El problema de minimización del riesgo empírico se formula como:
$$\min_{Q \succeq 0, \text{Tr}(QH)=1} \left[ -\frac{1}{N} \sum_{i=1}^N \log \text{Tr}(Q A_i) + \lambda \text{Tr}(Q A_0) \right]$$
donde $A_i$ es una matriz dependiente de los datos derivada de la máscara observada $S_i$ y los puntos de anclaje. El término $\lambda \text{Tr}(Q A_0)$ actúa como un regularizador (controlando la norma RKHS), y se utiliza una barrera log-det para imponer la semidefinición positiva.

Los autores resuelven esto utilizando un método de punto interior de Newton amortiguado. Al explotar la estructura de Kronecker de las matrices involucradas, el algoritmo escala eficientemente, evitando la necesidad de trucos estocásticos o entrenamiento no convexo.

3. Garantías Teóricas

El artículo establece la consistencia estadística y las tasas de convergencia para el estimador $\hat{p}$:

• Consistencia: El estimador converge a la densidad verdadera $p^\star$ en términos del riesgo KL enmascarado.
• Tasa de Convergencia: Bajo supuestos de suavidad de Hölder ($s$) y soporte compacto, el límite del exceso de riesgo es $O(N^{-s/(6s+2d)})$.
• Dimensionalidad: La tasa se adapta a la regularidad de la distribución de probabilidad, ofreciendo una forma de superar la maldición de la dimensionalidad para probabilidades muy regulares.
• Estrategia de Demostración: El análisis descompone el error en un error de aprendizaje (estimación de $Q$ a partir de muestras finitas) y un error de aproximación (qué tan bien la clase PSD aproxima a $p^\star$), acotando ambos por separado antes de combinarlos.

4. Resultados Experimentales

Los autores reportan experimentos preliminares en un conjunto de datos sintéticos y once conjuntos de datos del mundo real.

• Desempeño: PSD-Impute demuestra una precisión distribucional competitiva en comparación con bases populares (incluyendo MICE, missForest y modelos generativos profundos).
• Métricas: La evaluación se centra en métricas distribucionales (Distancia de Energía, Transporte Óptimo) en lugar de solo RMSE, mostrando que PSD-Impute preserva mejor la estructura conjunta de los datos.
• Capacidades: La densidad ajustada de forma única genera con éxito tanto imputaciones simples (vía medias condicionales) como imputaciones múltiples (vía muestreo), unificando estos dos enfoques.

5. Significado y Contribuciones

El artículo afirma llenar un vacío crítico en la literatura al proporcionar un método que es simultáneamente:

1. Flexible: Libre de supuestos gaussianos o de bajo rango.
2. Distribucionalmente Principiado: Optimiza para la distribución conjunta en lugar de errores puntuales.
3. Convexo: Anclado en la optimización convexa, garantizando óptimos globales.
4. Computacionalmente Viable: Solucionable en CPUs modestas mediante pasos de Newton estructurados.

Los autores posicionan este trabajo como un paso hacia un "tratamiento principiado y consciente de la distribución para datos faltantes". Señalan que, aunque el trabajo actual se centra en MCAR, el marco de Máxima Verosimilitud se extiende naturalmente a entornos MAR. Las direcciones futuras mencionadas incluyen la extensión a MAR/MNAR, la aceleración de la selección de anclajes y la combinación de modelos PSD con kernels profundos para datos de alta dimensión como imágenes o texto.

El artículo concluye que, si bien se requiere mayor ingeniería, las garantías teóricas y los resultados empíricos preliminares sugieren una fuerte promesa práctica para PSD-Impute en escenarios donde preservar las propiedades estadísticas de los datos es primordial.