Laplace Approximation for Bayesian Tensor Network Kernel Machines

A continuación se presenta un resumen técnico detallado del artículo "Aproximación de Laplace para Máquinas de Núcleo de Redes Tensoriales Bayesianas" de Albert Saiapin y Kim Batselier.

1. Planteamiento del Problema

Los sistemas de aprendizaje automático requieren una estimación de incertidumbre (UE) robusta para manejar entradas ambiguas, datos fuera de distribución y características ruidosas. Si bien los Procesos Gaussianos (GP) proporcionan marcos probabilísticos fundamentados para la UE, su complejidad computacional escala cúbicamente ($O(N^3)$) con el número de puntos de datos, limitándolos a conjuntos de datos pequeños y medianos.

Por el contrario, las Máquinas de Núcleo de Redes Tensoriales (TNKM) ofrecen una alternativa escalable al parametrizar los pesos del modelo como redes tensoriales (específicamente, Descomposición Polinómica Canónica, o CPD). Esto reduce el número de parámetros de exponencial a lineal en relación con la dimensión de entrada. Sin embargo, las TNKM estándar suelen depender de la estimación de Máxima A Posteriori (MAP). La estructura no lineal y multilineal de las redes tensoriales rompe el supuesto de gaussianidad requerido para la inferencia bayesiana de forma cerrada, lo que dificulta derivar estimaciones de incertidumbre fundamentadas sin recurrir a métodos de muestreo costosos (como MCMC) o inferencia variacional compleja.

La Pregunta Central: ¿Cómo pueden las Máquinas de Núcleo de Redes Tensoriales proporcionar estimaciones de incertidumbre fundamentadas y escalables comparables a los GP o a las Redes Neuronales Bayesianas (BNN)?

2. Metodología: LA-TNKM

Los autores proponen LA-TNKM (Máquina de Núcleo de Red Tensorial con Aproximación de Laplace), un marco que unifica la inferencia variacional con una aproximación de Laplace (linealizada) para realizar inferencia bayesiana tratable sobre redes tensoriales.

Componentes Clave:

1. Formulación del Modelo:

   • El modelo se define como $f(x) = \phi(x)^T w$, donde las características $\phi(x)$ tienen una estructura de producto tensorial y los pesos $w$ se representan como una red tensorial CPD.
   • Se asume una verosimilitud gaussiana y una priori gaussiana sobre los parámetros.

2. Aproximación de Laplace:

   • En lugar de integrar sobre la posterior de alta dimensión (intratable), los autores aproximan la distribución posterior $p(v|D)$ con una distribución gaussiana centrada en la estimación MAP $v^*$:
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • Aquí, $H_{v^*}$ es la matriz Hessiana de la función de pérdida evaluada en el óptimo.

3. Aproximaciones de la Hessiana:
   Calcular la Hessiana completa para redes tensoriales es intensivo en memoria. El artículo evalúa sistemáticamente cinco estrategias de aproximación para equilibrar memoria y precisión:

   • Hessiana Completa: Exacta pero computacionalmente costosa ($O((DIR)^2)$).
   • Gauss-Newton Generalizado (GGN): Aproximación semidefinida positiva, a menudo utilizada en BNN.
   • Bloque-Diagonal: Asume independencia entre los núcleos CPD (análogo a las capas en BNN).
   • Diagonal: Asume que todos los pesos son independientes (campo medio).
   • Último Núcleo: Aplica inferencia bayesiana solo al último núcleo CPD, tratando los núcleos anteriores como fijos. Esto se muestra altamente eficiente ($O(I^2R^2)$) y efectivo.

4. Aproximación de Laplace Linealizada (LLA):

   • Los autores abordan la discrepancia entre el modelo no lineal y la posterior gaussiana linealizando la función del modelo $f(x, v)$ alrededor de $v^*$.
   • Esto permite calcular la distribución predictiva analíticamente utilizando el modelo linealizado, mejorando significativamente el rendimiento predictivo (Verosimilitud Negativa Logarítmica) en comparación con la aproximación de Laplace no linealizada.

5. Truncamiento de Valores Propios:

   • Para manejar Hessianas mal condicionadas (donde los valores propios están cerca de cero o son negativos), los autores aplican una descomposición de valores propios truncada. Un hiperparámetro $\hat{t}$ se ajusta mediante validación cruzada para filtrar valores propios pequeños, evitando que la varianza predictiva explote.

3. Contribuciones Clave

• Nuevo Marco (LA-TNKM): Introducción de la primera Máquina de Núcleo de Red Tensorial Bayesiana que permite predicciones conscientes de la incertidumbre mientras mantiene costos computacionales comparables a las TNKM estándar basadas en MAP.
• Análisis Sistemático de la Hessiana: Una comparación exhaustiva de técnicas de aproximación de la Hessiana (Completa, GGN, Bloque, Diagonal, Último Núcleo) en el contexto de redes tensoriales, proporcionando directrices sobre el uso de memoria y el rendimiento predictivo.
• Estrategia de Linealización: Demostración de que linealizar la función de predicción (LLA) es crucial para lograr estimaciones de incertidumbre de alta calidad en redes tensoriales, alineándose con hallazgos recientes en BNN.
• Validación Empírica: Experimentos extensos que muestran que LA-TNKM iguala o supera a los GP y BNN en diversas tareas de regresión.

4. Resultados Experimentales

El método se evaluó en nueve conjuntos de datos de regresión UCI y una tarea de regresión cúbica sintética ($y = x^3 + \epsilon$).

• Rendimiento frente a Líneas Base:

  • LA-TNKM (específicamente utilizando la aproximación de Último Núcleo) logró consistentemente la Verosimilitud Negativa Logarítmica (NLL) más baja en 4 de 9 conjuntos de datos y se desempeñó competitivamente en el resto.
  • Superó a las BNN estándar (Bayes-by-Backprop, Dropout Variacional) y a otros métodos basados en tensores (MF-BTN, SP-BTN).
  • En términos de Calibración de Incertidumbre (medida por ECP-95 y Error de Calibración Relativa), LA-TNKM produjo intervalos más agudos (menor WCPI-95) y mejor calibrados que las BNN, coincidiendo estrechamente con el comportamiento de los Procesos Gaussianos.

• Hallazgos con Datos Sintéticos:

  • En la tarea sintética $x^3$, LA-TNKM capturó con éxito la incertidumbre en regiones con datos dispersos, mientras que SP-BTN tendió a sobreestimar la varianza (intervalos excesivamente amplios) y LA-BNN mostró signos de discrepancia del modelo durante la extrapolación.

• Estudios de Ablación:

  • Linealización: La Aproximación de Laplace Linealizada (LLA) superó consistentemente a la aproximación de Laplace estándar en términos de NLL.
  • Elección de la Hessiana: Si bien la aproximación de "Último Núcleo" fue la más eficiente en memoria y generalmente funcionó mejor, se encontró que la elección óptima dependía de los datos. Sin embargo, "Último Núcleo" y "Bloque-Diagonal" ofrecieron el mejor equilibrio entre eficiencia y precisión.

5. Significado y Conclusión

Este trabajo cierra la brecha entre la escalabilidad de las Redes Tensoriales y la robustez de la Inferencia Bayesiana.

• Escalabilidad: Al utilizar descomposiciones tensoriales y aproximaciones de Hessiana eficientes, LA-TNKM evita el cuello de botella $O(N^3)$ de los GP, haciendo viable la estimación de incertidumbre fundamentada para conjuntos de datos más grandes y entradas de mayor dimensión.
• Practicidad: El método proporciona una capa probabilística "plug-and-play" para arquitecturas de redes tensoriales existentes sin requerir muestreo complejo o familias variacionales.
• Impacto Futuro: Los resultados sugieren que para muchas tareas de regresión, un tratamiento bayesiano localizado (por ejemplo, Último Núcleo) combinado con linealización es suficiente para lograr una cuantificación de incertidumbre de vanguardia, ofreciendo una alternativa computacionalmente eficiente tanto a los GP como a las BNN completas.

En resumen, LA-TNKM demuestra que las máquinas de núcleo de redes tensoriales pueden ser efectivamente bayesianas, ofreciendo un enfoque escalable, robusto y fundamentado para la estimación de incertidumbre en el aprendizaje automático moderno.