Resumen Técnico: Completado de Matrices Distribucionales de Bajo Rango

Definición del Problema

Este artículo aborda el problema del completado de matrices distribucionales, una generalización de la clásica tarea de completado de matrices de bajo rango. En este escenario, la matriz objetivo $\rho^* \in \mathcal{P}(\mathcal{X})^{m_1 \times m_2}$ consiste en entradas que son distribuciones de probabilidad sobre un dominio $\mathcal{X}$, en lugar de valores escalares.

El modelo de observación se caracteriza por dos capas de incompletitud:

1. Observación Parcial: Solo un subconjunto de las entradas de la matriz es observado, indicado por una máscara binaria $T(i,j)$.
2. Observación Indirecta: Incluso para las entradas observadas, la distribución subyacente $\rho^*(i,j)$ no es directamente accesible. En su lugar, se observa un conjunto finito de muestras i.i.d. $\{X^{(ij)}_1, \dots, X^{(ij)}_{N_{ij}}\}$ extraídas de $\rho^*(i,j)$, donde el tamaño de la muestra $N_{ij}$ puede variar entre las entradas.

El objetivo es recuperar la matriz completa de valores distribucionales $\rho^*$ (o su representación) a partir de estas observaciones parciales e indirectas. Este problema surge en aplicaciones como el modelado de la variabilidad del flujo de tráfico entre ubicaciones o el análisis de la distribución de los pronósticos de ingresos a través de diferentes trimestres fiscales e instituciones.

Metodología

Embebimientos de Media por Kernel (KME)

Para manejar la naturaleza de dimensión infinita de las distribuciones de probabilidad y evitar las restricciones de variedad asociadas con las funciones de densidad, los autores representan cada distribución $\rho^*(i,j)$ mediante su Embebediento de Media por Kernel (KME) en un Espacio de Hilbert Reproductor (RKHS) $\mathcal{H}$:
$$\mu^*(i, j, \cdot) = \mathbb{E}_{X \sim \rho^*(i,j)} [K(X, \cdot)] \in \mathcal{H}$$
Recuperar $\rho^*$ es equivalente a recuperar la matriz de KME $\mu^* \in \mathcal{H}^{m_1 \times m_2}$. La distancia entre distribuciones se mide utilizando la Discrepancia de Media Máxima (MMD).

Modelado de Bajo Rango mediante Desplegamiento Funcional

Los autores proponen una estructura de rango de Tucker para la matriz distribucional. Ven $\mu^*$ como un tensor de tres vías en el espacio $\mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H}$. Dado que $\mathcal{H}$ es a menudo de dimensión infinita, las definiciones estándar de rango tensorial no se aplican directamente.

Para abordar esto, el artículo introduce operadores de desplegamiento funcional ($U_1, U_2, U_3$) que mapean el tensor en productos de dos espacios (por ejemplo, $U_1: \mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H} \to \mathbb{R}^{m_1} \otimes (\mathbb{R}^{m_2} \otimes \mathcal{H})$). Estos operadores inducen operadores lineales cuyos rangos definen el rango multilineal $(r_1, r_2, r_3)$.

• Implicación Estructural: Un bajo rango multilineal implica que los componentes funcionales de los KMEs residen en un subespacio de baja dimensión, y que las matrices de funcionales de esperanza asociados (por ejemplo, matrices de media) son de bajo rango.

Marco de Estimación

Los autores proponen un estimador M regularizado $\hat{\mu}$ definido mediante la minimización de una función de pérdida más una penalización de norma nuclear:
$$\hat{\mu} = \arg\min_{\mu} \left[ \frac{1}{m_1 m_2} \sum_{(i,j): T(i,j)=1} \left\| \mu(i, j, \cdot) - \hat{\mu}_{emp}(i, j, \cdot) \right\|_{\mathcal{H}}^2 + \lambda \Psi(\mu) \right]$$

• Término de Pérdida: La MMD al cuadrado entre el KME estimado y el KME empírico derivado de las muestras observadas.
• Regularización: $\Psi(\mu) = \sum_{j=1}^3 \beta_j \|U_j \mu\|_*$, donde $\|\cdot\|_*$ denota la norma nuclear del operador lineal inducido. Esto promueve el bajo rango en las tres vías.

Solución Computacional

A pesar de la naturaleza de dimensión infinita de $\mathcal{H}$, el Teorema del Representante asegura que la solución $\hat{\mu}$ reside en el subespacio de dimensión finita de las funciones kernel observadas.

1. El problema se re-parametriza en un problema de optimización tensorial de dimensión finita sobre un tensor de coeficientes $B \in \mathbb{R}^{m_1 \times m_2 \times \tilde{N}}$.
2. Para manejar grandes tamaños de muestra, los autores sugieren aproximar la matriz de Gram utilizando técnicas de aproximación de kernel (por ejemplo, el método de Nyström o Características de Fourier Aleatorias).
3. La optimación se resuelve utilizando un método de Dirección Alternante de Multiplicadores de Augmented Lagrangian (ADMM) acelerado.

Contribuciones Clave

1. Formulación de Problema Novedosa: El artículo formaliza el completado de matrices para entradas con valores distribucionales, abordando el desafío de recuperar distribuciones a partir de datos de muestra parciales y ruidosos.
2. Marco Teórico: Introduce una definición de rango de Tucker para tensores de valores distribucionales utilizando operadores de desplegamiento funcional, cerrando la brecha entre los datos funcionales de dimensión infinita y el análisis de tensores de dimensión finita.
3. Innovación Algorítmica: El estimador propuesto utiliza la regularización de norma nuclear en operadores lineales inducidos. Crucialmente, los autores demuestran que la solución admite una representación de dimensión finita, lo que hace que el problema sea computacionalmente tratable mediante optimización convexa.
4. Garantías Estadísticas: El artículo establece límites de error no asintóticos para la MMD agregada al cuadrado.
   • La tasa de convergencia coincide con la del completado de matrices regularizado por norma nuclear para matrices escalares.
   • A diferencia de los enfoques existentes de k-vecinos más cercanos (por ejemplo, Feitelberg et al., 2024), la consistencia del método propuesto no requiere que el número de muestras por entrada ($N_{ij}$) diverja. En su lugar, la consistencia se logra a medida que las dimensiones de la matriz ($m_1, m_2$) crecen, aprovechando la estructura de bajo rango global para el intercambio de información.

Resultados Experimentales

Datos Sintéticos

• Configuración: Matrices simuladas con distribuciones de mezcla gaussiana. Las comparaciones se realizaron contra un método de k-vecinos más cercanos (NN) (Feitelberg et al., 2024) y el completado de matrices clásico (SOFTIMPUTE) aplicado a medias y varianzas de las muestras.
• Hallazgos:
  • El método propuesto (LRKME) superó consistentemente al método NN tanto en entradas observadas como no observadas, particularmente en la estimación de la varianza y estadísticas de orden superior.
  • LRKME también superó a SOFTIMPUTE, demostrando la ventaja de utilizar la información distribucional completa en lugar de solo resúmenes escalares.
  • En entornos 2D, el método NN fue excluido debido a la intratabilidad computacional de las distancias de Wasserstein multivariantes, mientras que LRKME se mantuvo efectivo.

Aplicación en el Mundo Real

• Conjunto de Datos: Datos de viajes de taxis de la ciudad de Nueva York (NYC), modelando la distribución de los conteos de viajes diarios entre 265 ubicaciones de origen y destino.
• Desafío: Alta tasa de valores faltantes (>39%) y tamaños de muestra altamente variables por entrada (de 1 a 3672).
• Hallazgos: LRKME logró un error relativo empírico significativamente menor (0.0015) comparado con el método NN (0.0212) en el conjunto de prueba. La inspección visual de casos específicos mostró que LRKME captura mejor las distribuciones de cola pesada y los patrones de concentración en comparación con el estimador NN.

Significación y Reivindicaciones

El artículo afirma proporcionar el primer método para el completado de matrices distribucionales que:

1. Acomoda patrones de observación generales con tamaños de muestra variables.
2. Se extiende naturalmente a distribuciones multidimensionales sin los cuellos de botella computacionales de los métodos basados en Wasserstein.
3. Ofrece garantías de consistencia global que no dependen del crecimiento asintótico de las muestras por entrada, apoyándose en la estructura de bajo rango de la matriz.
4. Proporciona una solución computacionalmente eficiente mediante la representación de dimensión finita y la optimización convexa.

Los autores posicionan su trabajo como un paso significativo respecto a los enfoques actuales de k-vecinos más cercanos, ofreciendo un marco más robusto, teóricamente fundamentado y escalable para imputar datos distribucionales faltantes.