Laplace Approximation for Bayesian Tensor Network Kernel Machines

1. Énoncé du problème

Les systèmes d'apprentissage automatique nécessitent une estimation d'incertitude (EI) robuste pour gérer les entrées ambiguës, les données hors distribution et les caractéristiques bruyantes. Bien que les Processus Gaussiens (PG) offrent des cadres probabilistes fondés pour l'EI, leur complexité computationnelle croît de manière cubique ($O(N^3)$) avec le nombre de points de données, ce qui les limite à des jeux de données de petite à moyenne taille.

En revanche, les Machines à Noyaux de Réseaux de Tenseurs (TNKM) offrent une alternative évolutive en paramétrant les poids du modèle sous forme de réseaux de tenseurs (spécifiquement la Décomposition Polyadique Canonique, ou CPD). Cela réduit le nombre de paramètres d'une échelle exponentielle à une échelle linéaire par rapport à la dimension d'entrée. Cependant, les TNKM standards reposent généralement sur l'estimation du Maximum A Posteriori (MAP). La structure non linéaire et multilinéaire des réseaux de tenseurs brise l'hypothèse de gaussianité requise pour l'inférence bayésienne sous forme fermée, rendant difficile la dérivation d'estimations d'incertitude fondées sans recourir à des méthodes d'échantillonnage coûteuses (comme MCMC) ou à des inférences variationnelles complexes.

La question centrale : Comment les Machines à Noyaux de Réseaux de Tenseurs peuvent-elles fournir des estimations d'incertitude fondées et évolutives, comparables aux Processus Gaussiens ou aux Réseaux de Neurones Bayésiens (RNB) ?

2. Méthodologie : LA-TNKM

Les auteurs proposent LA-TNKM (Machine à Noyaux de Réseaux de Tenseurs par Approximation de Laplace), un cadre qui unifie l'inférence variationnelle avec une approximation de Laplace (linéarisée) pour effectuer une inférence bayésienne traitable sur les réseaux de tenseurs.

Composants clés :

1. Formulation du modèle :

   • Le modèle est défini comme $f(x) = \phi(x)^T w$, où les caractéristiques $\phi(x)$ possèdent une structure de produit tensoriel et les poids $w$ sont représentés par un réseau de tenseurs CPD.
   • Une vraisemblance gaussienne et une loi a priori gaussienne sont supposées sur les paramètres.

2. Approximation de Laplace :

   • Au lieu d'intégrer sur l'arrière-plan de haute dimension (intraitable), les auteurs approximent la distribution a posteriori $p(v|D)$ par une distribution gaussienne centrée sur l'estimation MAP $v^*$ :
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • Ici, $H_{v^*}$ est la matrice hessienne de la fonction de perte évaluée à l'optimum.

3. Approximations de la Hessienne :
   Le calcul de la Hessienne complète pour les réseaux de tenseurs est gourmand en mémoire. L'article évalue systématiquement cinq stratégies d'approximation pour équilibrer mémoire et précision :

   • Hessienne complète : Exacte mais coûteuse en calcul ($O((DIR)^2)$).
   • Gauss-Newton généralisé (GGN) : Approximation semi-définie positive, souvent utilisée dans les RNB.
   • Bloc-diagonale : Suppose l'indépendance entre les cœurs CPD (analogue aux couches dans les RNB).
   • Diagonale : Suppose que tous les poids sont indépendants (champ moyen).
   • Dernier cœur : Applique l'inférence bayésienne uniquement au dernier cœur CPD, traitant les cœurs précédents comme fixes. Cela s'avère très efficace ($O(I^2R^2)$) et performant.

4. Approximation de Laplace linéarisée (LLA) :

   • Les auteurs résolvent le décalage entre le modèle non linéaire et l'arrière-plan gaussien en linéarisant la fonction de modèle $f(x, v)$ autour de $v^*$.
   • Cela permet de calculer analytiquement la distribution prédictive en utilisant le modèle linéarisé, améliorant significativement les performances prédictives (Vraisemblance Négative Logarithmique) par rapport à l'approximation de Laplace non linéarisée.

5. Troncature des valeurs propres :

   • Pour gérer les Hessiens mal conditionnés (où les valeurs propres sont proches de zéro ou négatives), les auteurs appliquent une décomposition en valeurs propres tronquée. Un hyperparamètre $\hat{t}$ est ajusté par validation croisée pour filtrer les petites valeurs propres, empêchant l'explosion de la variance prédictive.

3. Contributions principales

• Nouveau cadre (LA-TNKM) : Introduction de la première Machine à Noyaux de Réseaux de Tenseurs Bayésienne permettant des prédictions conscientes de l'incertitude tout en maintenant des coûts computationnels comparables aux TNKM standards basées sur MAP.
• Analyse systématique de la Hessienne : Une comparaison complète des techniques d'approximation de la Hessienne (Complète, GGN, Bloc, Diagonale, Dernier Cœur) dans le contexte des réseaux de tenseurs, fournissant des directives sur l'utilisation de la mémoire et les performances prédictives.
• Stratégie de linéarisation : Démonstration que la linéarisation de la fonction de prédiction (LLA) est cruciale pour obtenir des estimations d'incertitude de haute qualité dans les réseaux de tenseurs, s'alignant sur des découvertes récentes dans les RNB.
• Validation empirique : Expériences extensives montrant que LA-TNKM égale ou dépasse les PG et les RNB sur diverses tâches de régression.

4. Résultats expérimentaux

La méthode a été évaluée sur neuf jeux de données de régression de l'UCI et une tâche de régression cubique synthétique ($y = x^3 + \epsilon$).

• Performance par rapport aux références :

  • LA-TNKM (spécifiquement utilisant l'approximation Dernier Cœur) a constamment obtenu la Vraisemblance Négative Logarithmique (NLL) la plus faible sur 4 jeux de données sur 9 et s'est montrée compétitive sur les autres.
  • Elle a surpassé les RNB standards (Bayes-by-Backprop, Variational Dropout) et d'autres méthodes basées sur les tenseurs (MF-BTN, SP-BTN).
  • En termes de Calibration de l'incertitude (mesurée par ECP-95 et l'Erreur de Calibration Relative), LA-TNKM a produit des intervalles plus nets (WCPI-95 plus faible) et mieux calibrés que les RNB, correspondant étroitement au comportement des Processus Gaussiens.

• Résultats sur données synthétiques :

  • Sur la tâche synthétique $x^3$, LA-TNKM a réussi à capturer l'incertitude dans les régions à données clairsemées, tandis que SP-BTN tendait à surestimer la variance (intervalles trop larges) et que LA-BNN montrait des signes de décalage de modèle lors de l'extrapolation.

• Études d'ablation :

  • Linéarisation : L'Approximation de Laplace Linéarisée (LLA) a constamment surpassé l'approximation de Laplace standard en termes de NLL.
  • Choix de la Hessienne : Bien que l'approximation "Dernier Cœur" ait été la plus économe en mémoire et généralement la plus performante, le choix optimal s'est avéré dépendre des données. Cependant, "Dernier Cœur" et "Bloc-diagonale" ont offert le meilleur compromis entre efficacité et précision.

5. Importance et conclusion

Ce travail comble le fossé entre l'évolutivité des Réseaux de Tenseurs et la robustesse de l'Inférence Bayésienne.

• Évolutivité : En utilisant des décompositions tensorielles et des approximations de Hessienne efficaces, LA-TNKM évite le goulot d'étranglement $O(N^3)$ des PG, rendant l'estimation d'incertitude fondée réalisable pour des jeux de données plus volumineux et des entrées de dimensions supérieures.
• Praticité : La méthode fournit une couche probabiliste "plug-and-play" pour les architectures de réseaux de tenseurs existantes, sans nécessiter d'échantillonnage complexe ni de familles variationnelles.
• Impact futur : Les résultats suggèrent que pour de nombreuses tâches de régression, un traitement bayésien localisé (par exemple, Dernier Cœur) combiné à une linéarisation suffit à obtenir une quantification de l'incertitude à la pointe de l'état de l'art, offrant une alternative computationnellement efficace tant aux PG qu'aux RNB complets.

En résumé, LA-TNKM démontre que les machines à noyaux de réseaux de tenseurs peuvent être efficacement bayésiennes, offrant une approche évolutive, robuste et fondée pour l'estimation d'incertitude dans l'apprentissage automatique moderne.