Résumé Technique : Une Analyse de l'Effondrement de la Postériorité, de la Paramétrisation et de l'Initialisation dans les Processus Gaussiens Profonds Variationnels

1. Énoncé du Problème

Les Processus Gaussiens Profonds (DGP) sont des modèles probabilistes hiérarchiques qui concat actuallynent des Processus Gaussiens (GP) à travers plusieurs couches pour capturer des motifs de données complexes et non linéaires. Cependant, l'inférence bayésienne exacte dans les DGP est intraitable, ce qui nécessite l'utilisation de l'Inférence Variationnelle (VI), plus précisément l'algorithme de l'Inférence Variationnelle Doublement Stochastique (DSVI).

Un défi critique lors de l'entraînement des DGP via la DSVI est l'effondrement de la postériorité (posterior collapse), un phénomène où la postériorité variationnelle s'effondre vers la distribution a priori. Dans le contexte des DGP, cela implique que le modèle apprend à expliquer les données observées entièrement comme du bruit, échouant ainsi à capturer le signal sous-jacent.

L'article identifie que la prévalence de l'effondrement de la postériorité est fortement liée à deux choix de conception courants dans le cadre de la DSVI :

1. L'utilisation d'une fonction de moyenne a priori ZÉRO dans les couches internes, initialisée avec des moyennes variationnelles égales à zéro ($m=0$).
2. L'initialisation des paramètres variationnels, particulièrement la covariance variationnelle ($S$) et le paramètre de bruit ($\sigma^2$).

Bien que la communauté ait largement adopté une fonction de moyenne a priori linéaire (PCA) dans les couches internes pour atténuer ces problèmes, la croyance prédominante était que ce choix était nécessaire pour éviter les « pathologies non injectives » dans les DGP très profonds (où la mise en correspondance de l'entrée vers la sortie devient non injective). Cet article remet en question cette hypothèse, soutenant que le succès de la moyenne a priori PCA ne provient pas d'une nécessité architecturale, mais plutôt de la manière dont elle conditionne le paysage d'optimisation lors de l'initialisation.

2. Méthodologie et Analyse

2.1 Analyse Théorique de l'Effondrement de la Postériorité

Les auteurs analysent la dynamique d'entraînement des DGP à l'initialisation en utilisant un problème de régression de type "toy problem" et des simulations de mises à jour de coordonnées. Ils démontrent que :

• Effet de l'Ensemble Virtuel : Lorsqu'un DGP avec une moyenne a priori ZÉRO est initialisé avec $m=0$, la sortie des couches internes (qui sert d'entrée à la couche suivante) tend à être proche de zéro pour toutes les entrées d'entraînement. Par conséquent, la couche finale voit effectivement un « ensemble de données virtuel » de paires $\{(0, y_n)\}$. Comme l'entrée de la couche finale est constante (zéro) quel que soit l'indice d'entrée d'origine $x_n$, le modèle ne peut pas apprendre une mise en correspondance entre $x$ et $y$.
• Pathologie d'Optimisation : Pour maximiser le terme de Log-Vraisemblance Attendue (ELL) dans l'Équation de l'Évidence Inférieure (ELBO) sous ces conditions, l'optimiseur est poussé à augmenter la variance du bruit $\sigma^2$ pour expliquer les cibles $y_n$ comme du pur bruit. Simultanément, la Divergence de Kullback-Leibler (KLD) est minimisée en réglant les paramètres variationnels pour qu'ils correspondent à l'a priori ($m=0, S=K_{ZZ}$), ce qui entraîne l'effondrement de la postériorité.
• Rôle de la Moyenne A Priori PCA : Un DGP avec une moyenne a priori PCA (où la moyenne a priori est la fonction identité ou une projection PCA) initialise les sorties des couches internes pour qu'elles soient proches de l'entrée $x_n$. Cela empêche l'« ensemble de données virtuel » de s'effondrer vers un vecteur nul constant, permettant au terme ELL de fournir des gradients significatifs pour mettre à jour les paramètres variationnels loin de l'a priori.

2.2 Analyse de la Paramétrisation

L'article évalue trois paramétrisations communes de DGP :

1. Standard Non-Blanchie : Utilisée dans des bibliothèques comme GPYTORCH et GPJAX.
2. Blanchie (Whitened) : Une reparamétrisation où les valeurs des points d'induction sont transformées pour avoir une moyenne nulle et une variance unitaire ($p(v) = \mathcal{N}(0, I)$).
3. Non-Blanchie avec Moyenne Reparamétrée : Utilisée dans GPFLOW, où la moyenne variationnelle est définie comme la différence entre la moyenne variationnelle et la moyenne a priori ($m_r = m - \mu_Z$).

Principaux Résultats sur la Paramétrisation :

• Effondrement de la Postériorité : L'effondrement peut se produire dans toutes les paramétrisations si l'initialisation conduit à un signal d'entrée nul à la couche finale. La paramétrisation elle-même n'est pas la cause profonde.
• Stabilité de l'Optimisation : La paramétrisation blanchie offre systématiquement une convergence plus stable. Les auteurs attribuent cela à l'élimination des corrélations induites par l'a priori, ce qui produit des gradients mieux conditionnés et une Hessienne moins dépendante de l'emplacement des points d'induction ($Z$).
• Moyenne Reparamétrée : La paramétrisation de GPFLOW n'améliore pas intrinsèquement la stabilité par rapport à la forme non blanchie standard, mais interagit avec la moyenne a priori PCA pour atténuer l'effondrement plus efficacement que la forme standard.

2.3 Stratégie d'Initialisation Proposée

Pour traiter la cause profonde (contraintes dictées par l'optimisation) sans imposer une fonction de moyenne a priori spécifique (qui devrait être dictée par les hypothèses de modélisation), les auteurs proposent un schéma d'initialisation fondé sur des principes pour les DGP à moyenne a priori ZÉRO.

L'idée centrale est d'initialiser les paramètres variationnels d'un DGP à moyenne a priori ZÉRO de telle sorte que sa distribution prédictive à l'initialisation imite celle d'un DGP à moyenne a priori PCA.

• Mécanisme : Les auteurs dérivent un système d'équations linéaires pour résoudre les moyennes variationnelles initiales ($m, m_v, m_r$) de sorte que la moyenne prédictive aux points d'induction corresponde à la fonction identité (ou projection PCA).
• Initialisation de la Couche de Sortie : La stratégie est étendue à la couche de sortie, en initialisant la moyenne variationnelle pour prédire directement les cibles observées $y$ aux points d'induction, plutôt que de partir de zéro.
• Longueur de Corrélation (Kernel Length-scale) : Une heuristique est proposée pour sélectionner la longueur de corrélation initiale ($\ell$) en minimisant l'erreur quadratique moyenne (RMSE) du modèle initialisé sur un échantillon de validation, garantissant que la distribution prédictive initiale est représentative des données.

3. Contributions Clés

1. Réinterprétation de la Moyenne A Priori PCA : L'article démontre que l'efficacité de la fonction de moyenne a priori linéaire dans les DGP provient de sa capacité à conditionner le paysage d'optimisation à l'initialisation, empêchant le modèle de voir un signal d'entrée nul dégénéré, plutôt que de l'évitement des pathologies non injectives.
2. Diagnostic de l'Effondrement de la Postériorité : Les auteurs fournissent une analyse rigoureuse montrant que l'effondrement de la postériorité dans les DGP provient de l'interaction entre l'initialisation standard des paramètres variationnels ($m=0$) et la fonction de moyenne des couches internes, menant à un optimum local où les données sont expliquées comme du bruit.
3. Analyse de la Paramétrisation : L'étude clarifie les comportements d'optimisation distincts des DGP non blanchis standards, blanchis et non blanchis avec moyenne reparamétrée, offrant la première explication détaillée de pourquoi le blanchiment produit une convergence plus stable (gradients mieux conditionnés).
4. Schéma d'Initialisation Novateur : Une stratégie d'initialisation efficace sur le plan computationnel est proposée pour les DGP à moyenne a priori ZÉRO. Cela permet d'utiliser avec succès des DGP sous des a priori de moyenne ZÉRO (qui sont théoriquement plus simples et plus flexibles pour certaines tâches de modélisation) sans sacrifier la stabilité de l'entraînement ou la performance prédictive.

4. Résultats Expérimentaux

Les méthodes proposées ont été validées sur un jeu de données synthétique de type "toy dataset" et huit benchmarks de régression réels de l'UCI.

• Jeu de Données Synthétique : Les visualisations ont confirmé que les DGP à moyenne a priori ZÉRO avec une initialisation standard souffrent d'effondrement de la postériorité, en particulier avec moins de points d'induction et des architectures plus profondes. L'initialisation proposée a réussi à prévenir l'effondrement et a produit des distributions prédictives comparables aux modèles à moyenne a priori PCA.
• Benchmarks UCI :
  • Les DGP avec moyenne a priori ZÉRO et initialisation standard ont fréquemment subi un effondrement ou ont mal performé.
  • L'initialisation proposée (ZERO-Points-MY) a systématiquement stabilisé l'optimisation, évité l'effondrement et atteint une performance prédictive (RMSE) comparable, voire parfois supérieure, aux DGP utilisant la fonction de moyenne a priori PCA.
  • La paramétrisation blanchie a démontré une stabilité supérieure dans toutes les configurations.
  • Il a été montré que l'augmentation du nombre de points d'induction atténue l'effondrement, mais l'initialisation proposée est efficace même avec un nombre modéré de points d'induction.

5. Signification et Revendications

L'article soutient que le choix de la fonction de moyenne a priori dans les DGP devrait être dicté par les hypothèses de modélisation plutôt que par la commodité d'optimisation. En identifiant que la « moyenne a priori PCA » est essentiellement une heuristique pour corriger une mauvaise initialisation, les auteurs proposent une solution qui découple la structure statistique du modèle de sa trajectoire d'optimisation.

La signification réside dans :

• Clarté Théorique : Correction de la mécompréhension selon laquelle les priors linéaires sont nécessaires pour éviter la non-injectivité dans les GP profonds, en attribuant plutôt leur succès à la dynamique d'initialisation.
• Utilité Pratique : Fournir une stratégie d'initialisation prête à l'emploi qui permet d'utiliser des DGP à moyenne a priori ZÉRO (qui sont théoriquement plus simples et plus flexibles pour certaines tâches de modélisation) sans sacrifier la stabilité de l'entraînement ou la performance prédictive.
• Aperçu de l'Optimisation : Mise en évidence du rôle critique de la paramétrisation blanchie et de l'initialisation spécifique des covariances variationnelles ($S \ll K_{ZZ}$) pour assurer une descente de gradient stable, offrant des directives pour un entraînement robuste des DGP.

Les auteurs restent modestes, notant que leur analyse se concentre sur l'algorithme DSVI et que bien que l'initialisation proposée résolve le problème de l'effondrement pour les priors de moyenne ZÉRO, l'espace du modèle statistique reste inchangé ; l'amélioration concerne strictement la capacité à atteindre une bonne solution à partir d'un meilleur point de départ.