Large-Scale Bayesian Tensor Reconstruction: An Approximate Message Passing Solution

Resumen Técnico: Reconstrucción Tensorial Bayesiana a Gran Escala mediante CP-GAMP

Planteamiento del Problema
La reconstrucción tensorial, particularmente a través de la descomposición CANDECOMP/PARAFAC (CPD), es esencial para el análisis de datos a gran escala con estructuras complejas en campos que van desde el procesamiento de señales hasta la neurociencia. Si bien los marcos bayesianos ofrecen una cuantificación de la incertidumbre y un aprendizaje de hiperparámetros fundamentados, los métodos existentes enfrentan desafíos significativos de escalabilidad. Los enfoques tradicionales de Inferencia Variacional (VI), aunque más rápidos que los métodos de muestreo, requieren inversiones de matrices de alta dimensión en cada iteración, lo que los vuelve computacionalmente prohibitivos para tensores grandes. Además, las soluciones previas de Message Passing Aproximado (AMP) para problemas de tensores o bien ignoran la dispersión consistente entre los factores latentes (degradando el rendimiento) o no logran manejar observaciones incompletas y el aprendizaje de hiperparámetros (limitando su aplicabilidad en el mundo real).

Metodología
Los autores proponen CP-GAMP (Tensor CPD Generalized Approximate Message Passing), un algoritmo bayesiano escalable diseñado para superar los cuellos de botella computacionales de la inversión de matrices, al tiempo que maneja datos incompletos e hiperparámetros desconocidos.

1. Fundamento Algorítmico: CP-GAMP se deriva de la Propagación de Mensajes en Lazo (LBP) sobre un grafo de factores que representa el modelo de CPD del tensor. Para hacer que las integrales de alta dimensión sean tratables, los autores emplean el Teorema del Límite Central (CLC) y aproximaciones de la serie de Taylor bajo el límite de sistemas grandes. Esto transforma el algoritmo sum-product en un marco de trabajo de AMP generalizado, evitando las inversiones de matrices explícitas.
2. Manejo de Datos Incompletos: El algoritmo acomoda tensores incompletos (donde faltan elementos) modelando el proceso de observación con un tensor de indicador binario y ruido blanco gaussiano aditivo (AWGN). La función de verosimilitud se adapta para considerar las entradas observadas y no observadas.
3. Aprendizaje Automático de Hiperparámetros:
   • Estimación del Rango de CP: Para determinar automáticamente el rango del tensor, los autores introducen un prior de Bernoulli-Gaussiano (BG). Este prior, que induce dispersión, permite al algoritmo eliminar componentes innecesarios. El parámetro de Bernoulli ($\lambda_r$), que dicta la necesidad del componente de rango $r$, se actualiza mediante una rutina de Expectación-Maximización (EM).
   • Estimación de la Potencia del Ruido: También se deriva una actualización de EM para aprender la potencia del ruido ($v_w$) cuando esta es desconocida, un escenario común en aplicaciones del mundo real.
4. Proceso Iterativo: El núcleo del algoritmo actualiza iterativamente los mensajes entre los nodos de variables (elementos de las matrices de factores) y los nodos de factores (verosimilitudes y priors). Utiliza una función de eliminación de ruido derivada del prior BG para calcular las medias y varianzas posteriores, realizando efectivamente la inferencia conjunta de los factores latentes y los hiperparámetros.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Algoritmo CP-GAMP: Un nuevo algoritmo basado en GAMP capaz de manejar funciones de verosimilitud por componente, específicamente para tensores incompletos con AWGN. Se deriva utilizando aproximaciones gaussianas y expansiones de la serie de Taylor.
2. Aprendizaje Automático de Rango: La integración de un prior BG con una rutina EM permite la estimación automática del rango de CP sin conocimiento previo, abordando una limitación crítica en los métodos de AMP existentes.
3. Aprendizaje de la Potencia del Ruido: La derivación de una regla de actualización EM permite al algoritmo aprender la potencia del ruido dinámicamente, mejorando la robustez en escenarios prácticos.
4. Escalabilidad y Eficiencia: Se valida que el método reduce significativamente la complejidad computacional en comparación con los métodos de VI de última generación, manteniendo la precisión de la reconstrucción.

Resultos Experimentales
La efectividad de CP-GAMP fue validada mediante experimentos en datos sintéticos y tareas de inpainting de imágenes, comparándola con el método de Varianza Bayesiana de CPD (FBCP) y el Tensor Completion AMP (TC-AMP).

• Datos Sintéticos: En experimentos que involucraron tensores de rango-20 de $100 \times 100 \times 100$ con solo el 20% de los elementos observados, CP-GAMP logró una reducción del 82.7% en el tiempo de ejecución en comparación con FBCP. Mantuvo un rendimiento de Error Cuadrático Medio Normalizado (NMSE) comparable al de FBCP y superó significativamente a TC-AMP, que sufrió un mayor NMSE debido a su incapacidad para contabilizar la dispersión consistente.
• Inpainting de Imágenes: En tensores de imagen de $256 \times 256 \times 3$ con relaciones de observación del 30%, CP-GAMP redujo el tiempo de ejecución en un 56.3% en comparación con FBC_P. Logró el NMSE más bajo entre los métodos comparados, mientras que TC-AMP fue más rápido pero sacrificó la calidad de la reconstrucción.
• Escalabilidad: Los resultados demostraron que, a medida que aumentaban las dimensiones del tensor y los rangos de CP, CP-GAMP mantenía un perfil de tiempo de ejecución más bajo en comparación con FBCP, confirmando su escalabilidad.

Significancia
El artículo afirma que CP-GAMP proporciona una solución escalable para la reconstrucción tensorial bayesiana a gran escala. Al eliminar la necesidad de inversiones de matrices de alta dimensión e integrar el aprendizaje automático de hiperparámetros (rango y potencia del ruido), el algoritmo cierra la brecha entre los beneficios teóricos de la inferencia bayesiana y los requisitos prácticos del procesamiento de conjuntos de datos grandes, incompletos y ruidosos. Los autores enfatizan que este enfoque hace que la cuantificación de la incertididad fundamentada y la selección automática de modelos sean factibles para aplicaciones del mundo real donde los recursos computacionales y la completitud de los datos están limitados.