Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors

Resumen Técnico: Estimación Conjunta Bayesiana de Parámetros y del Orden del Modelo para Tensores de Masa de Probabilidad de Bajo Rango

Planteamiento del Problema
En el procesamiento de señales estadísticas y el aprendizaje automático, la obtención de una estimación fiable de la función de masa de probabilidad (PMF) conjunta de un conjunto de variables aleatorias discretas es un desafío fundamental. Si bien la PMF conjunta puede representarse como un tensor de $N$ dimensiones, la estimación directa mediante métodos de histogramas sufre de la "maldición de la dimensionalidad", lo que requiere un número exponencial de observaciones a medida que aumenta el número de variables.

Los enfoques recientes modelan la PMF conjunta como una Descomposición de Políadas Canónicas (CPD) de bajo rango, vinculándola con modelos de variables latentes como el modelo de Naïve Bayes. Sin embargo, los algoritmos de estimación basados en CPD existentes (por ejemplo, máxima verosimilitud o factorización de tensores acoplados) requieren que el rango del tensor (orden del modelo) se especifique de antemano. En la práctica, el rango real es desconocido. Las soluciones actuales consisten en seleccionar un rango de un conjunto de candidatos utilizando validación cruzada (CV) o criterios de información (AIC, BIC, DNML). Estos procedimientos son computacionalmente costosos, ya que requieren múltiples ejecuciones de entrenamiento, y corren el riesgo de una especificación errónea del modelo si el rango real no está incluido en el conjunto de candidatos.

Metodología
El artículo propone un nuevo marco bayesiano, denominado VB-PMF (PMF Bayesiano Variacional), que estima simultáneamente los componentes de bajo rango de una PMF conjunta e infiere su rango directamente a partir de los datos observados, eliminando la necesidad de validación cruzada.

1. Especificación del Modelo Bayesiano:

   • La PMF conjunta se modela como una CPD donde el vector de carga $\lambda$ representa las probabilidades a priori de los estados latentes y las matrices de factores $A_n$ representan las PMF condicionales.
   • Para imponer las restricciones del simplex de probabilidad (no negatividad y suma igual a uno), los autores asignan prioris de Dirichlet al vector de carga $\lambda$ y a las columnas de las matrices de factores.
   • Crucialmente, se impone una priori de Dirichlet que promueve la dispersión (sparsity-promoting) sobre el vector de carga mediante el establecimiento de su hiperparámetro $\alpha_\lambda$ en un valor pequeño (por ejemplo, $10^{-6}$). Esto fomenta que la distribución a posteriori concentre la masa en unos pocos componentes, identificando y podando eficazmente los términos de rango uno irrelevantes.

2. Solución de Inferencia Variacional (VI):

   • Dado que la inferencia bayesiana exacta es computacionalmente intratable debido a la integración de alta dimensión, los autores emplean Inferencia Variacional.
   • Se utiliza una aproximación de campo medio (mean-field), asumiendo que la distribución a posteriori se factoriza en distribuciones independientes para las variables latentes ($Z$), el vector de carga ($\lambda$) y las matrices de factores ($A_n$).
   • El algoritmo actualiza iterativamente los parámetros variacionales para maximizar el Límite Inferior de la Evidencia (ELBO). Esto produce ecuaciones de actualización en forma cerrada para todas las distribuciones a posteriori, asegurando la convergencia determinista sin necesidad de muestreo (a diferencia de los métodos MCMC).

3. Detección Automática del Rango:

   • El rango se infiere automáticamente tras la convergencia. Los componentes con pesos estimados ($\hat{\lambda}_r$) por debajo de un umbral de poda derivado ($\alpha_\lambda / T$, donde $T$ es el tamaño del conjunto de datos) se consideran irrelevantes y se eliminan.
   • El algoritmo se inicializa con un rango $R$ que es mayor o igual al rango real (por ejemplo, que satisfaga las condiciones de unicidad de Kruskal). La priori de dispersión asegura que los componentes extraños converjan a valores insignificantes y sean podados, dejando solo los componentes latentes significativos.

Contribuciones Clave

• Marco Bayesiano Unificado: El artículo introduce un método para estimar tanto los parámetros como el rango de un tensor de PMF conjunta en una sola ejecución de entrenamiento, evitando el coste computacional de la validación cruzada o la búsqueda de cuadrícula.
• Inferencia de Rango Basada en la Dispersión: Al aprovechar las propiedades de la distribución de Dirichlet, el método identifica automáticamente el orden del modelo correcto mediante la poda de la a posteriori, eliminando la necesidad de umbrales heurísticos o selección manual de modelos.
• Algoritmo Determinista Eficiente: La derivación de una solución de Inferencia Variacional proporciona actualizaciones en forma cerrada y convergencia determinista, ofreciendo una alternativa computacionalmente eficiente a los métodos de muestreo basados en la posterior (MCMC) y a los métodos iterativos de selección de rango que requieren múltiples ensayos de rango.
• Robustez ante Datos Faltantes: El marco maneja naturalmente las observaciones faltantes (probabilidades de interrupción) mediante la marginalización sobre las variables no observadas dentro de la función de verosimilitud.

Resultados Experimentales
Los autores validan el método utilizando datos sintéticos y conjuntos de datos del mundo real (tareas de clasificación UCI y datos de recomendación MovieLens 10M).

• Datos Sintéticos:

  • Consistencia de Rango: A medida que aumenta el número de observaciones, VB-PMF converge consistentemente al rango real del tensor, demostando consistencia estadística.
  • Precisión: VB-PMF logra una Divergencia de Kullback-Leibler Media (KLD) y un Error Relativo Cuadrático Medio (MSRE) comparables o mejores que los métodos de vanguardia (SQ-AIC, SQ-BIC, SQ-DNML, CTF y Redes Tensoriales), particularmente en escenarios con datos faltantes.
  • Eficiencia: El tiempo de ejecución de VB-PMF es significativamente menor que el de los métodos que requieren validación cruzada (por ejemplo, CTF-ValErr, SQ-AIC) porque requiere una sola ejecución de entrenamiento independientemente de la configuración del rango inicial.
  • Sensibilidad de Hiperparámetros: El método es robusto a la elección del rango inicial (siempre que sea suficientemente grande) y al hiperparámetro $\alpha_\lambda$, siempre que $\alpha_\lambda$ se establezca lo suficientemente pequeño para promover la dispersión.

• Aplicaciones del Mundo Real:

  • Clasificación: En cinco conjuntos de datos UCI, VB-PMF logró una precisión de clasificación y puntuaciones F1 comparables a las de Random Forests (un referente discriminativo fuerte) y superó a otros enfoques basados en PMF. El modelo proporcionó información interpretable sobre los bloques de votación latentes en el conjunto de datos de Votación del Congreso, que los modelos discriminativos no pueden revelar.
  • Recomendación: En el conjunto de datos MovieLens 10M (predicción de calificaciones de películas), VB-PMF logró RMSE y MAE comparables a la Factorización de Tensores Acoplados (CTF3D) y significativamente mejores que la Factorización de Matrices Sesgada (BMF), con un tiempo de ejecución aproximadamente 10 veces más rápido que CTF3D.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto VB-PMF ofrece un avance significativo sobre las técnicas de estimación de PMF existentes al unificar la estimación de parámetros y la selección del orden del modelo. Su principal significancia radica en:

1. Eliminación de la Validación Cruzada: Elimina el cuello de botella computacional de seleccionar un rango mediante CV o criterios de información, haciendo que sea factible para conjuntos de datos a gran escala.
2. Interpretabilidad: Al estimar la PMF conjunta completa mediante componentes de bajo rango, el modelo ofrece una representación interpretable de la estructura de los datos (por ejemplo, clases latentes en clasificación) que los modelos puramente discriminativos carecen.
3. Eficiencia Computacional: El enfoque variacional proporciona una solución determinista en forma cerrada que es más rápida que tanto la inferencia bayesiana basada en muestreo como las estrategias iterativas de selección de rango.

Los autores concluyen que VB-PMF proporciona una solución robusta, eficiente y precisa para la estimación de la PMF conjunta, particularmente en escenarios que involucran datos discretos de alta dimensión y observaciones faltantes, sin la necesidad de un ajuste manual del modelo.