Résumé technique : Régression par facteurs latents de processus gaussiens pour les problèmes à faible volume de données et sorties de haute dimension

Énoncé du problème

Dans les domaines scientifiques, les tâches de régression nécessitent fréquemment la prédiction de sorties structurées de haute dimension ($D_y$) à partir d'un nombre limité d'exemples d'entraînement ($N$). Bien que les processus gaussiens multi-sorties (MOGP) excellent dans les régimes à faibles données en modélisant les corrélations de sortie, ils peinent souvent lorsque $D_y$ est très grand (par exemple, $10^3$–$10^4$). À l'inverse, les pipelines classiques de type « compression puis prédiction », tels que l'Analyse en Composantes Principales suivie d'une régression par processus gaussien (PCA-GP), gèrent la haute dimensionnalité en apprenant une base de reconstruction des sorties. Cependant, ces méthodes souffrent d'un décalage fondamental : la base apprise est optimisée pour minimiser l'erreur de reconstruction (capturant toute la variance) plutôt que pour maximiser la prédictibilité à partir de l'espace d'entrée. Lorsque les sorties contiennent une variation de « nuisance » structurée, corrélée entre les dimensions mais indépendante de l'entrée, la méthode PCA-GP peut allouer une capacité de modélisation à ces directions imprévisibles, dégradant ainsi les performances.

Méthodologie : Régression par facteurs latents de processus gaussiens (GPLFR)

Les auteurs proposent la Régression par Facteurs Latents de Processus Gaussiens (GPLFR), un modèle probabiliste qui couple l'apprentissage de représentation et la régression en un objectif unique.

Structure centrale du modèle

GPLFR suppose que chaque sortie de haute dimension $y$ est un décodage linéaire-gaussien d'un état latent de basse dimension $z$ issu d'un processus gaussien (GP) sur l'espace d'entrée $x$.

1. Prior latent : Pour chaque exemple $i$, un vecteur latent $z_i \in \mathbb{R}^{D_z}$ (où $D_z \ll D_y$) est généré. Les fonctions latentes $z^{(q)}(\cdot)$ pour chaque dimension $q$ suivent des priors de processus gaussiens indépendants sur les entrées $X$ avec des noyaux spécifiques $k_q$.
2. Décodeur linéaire : La sortie est modélisée comme $Y = ZW^\top + E$, où $W \in \mathbb{R}^{D_y \times D_z}$ représente les poids du décodeur et $E$ est le bruit d'observation.
3. Marginalisation analytique : Contra-rément aux modèles à variables latentes standards qui nécessitent l'échantillonnage ou l'inférence variationnelle pour les poids, GPLFR marginalise analytiquement les poids du décodeur $W$ (en supposant un prior matrice-normale). Cela produit une vraisemblance condensée qui dépend uniquement des variables latentes $Z$ et des hyperparamètres du noyau.

Relation avec les modèles existants

L'article présente GPLFR et le Modèle Linéaire de Corégionalisation (LMC) comme deux marginalisations différentes d'un même modèle factoriel linéaire-gaussien sous-jacent :

• LMC : Obtenu en marginalisant les facteurs latents $Z$. Cela produit une structure de covariance de sortie explicite mais traite la mise en correspondance entrée-sortie comme une boîte noire concernant la géométrie latente.
• GPLFR : Obtenu en marginalisant les poids du décodeur $W$. Cela produit une vraisemblance où les variables latentes sont contraintes simultanément par le prior GP sur les entrées et la reconstruction des sorties.

Cette distinction permet à GPLFR de concentrer la capacité de modélisation sur l'apprentissage d'une structure de similitude sur l'espace d'entrée ($x$) plutôt que sur l'enrichissement de la structure de couplage des sorties, ce qui est crucial lorsque $N$ est petit et $D_y$ est grand.

Régularisation et optimisation

Pour remédier à l'imprévisibilité statistique de l'estimation d'une matrice de corégionalisation $B$ riche dans les régimes de faibles données, GPLFR fixe généralement $B = I$ (identité), s'appuyant sur la géométrie latente pour capturer les corrélations. Pour éviter que la vraisemblance ne surestime le contenu d'information des dimensions de sortie lorsque les résidus sont corrélés (mauvaise spécification du modèle), les auteurs introduisent un tempérage de la vraisemblance avec un paramètre d'inverse-température $\beta \in (0, 1]$. De plus, un petit terme de bruit latent $\lambda$ est ajouté aux covariances des GP pour assouplir l'exigence selon laquelle les scores latents doivent être expliqués exactement par des fonctions GP lisses, stabilisant ainsi le paysage d'optimisation.

Principales contributions

1. Apprentissage conjoint de représentation : L'article introduit un modèle qui apprend une représentation latente de basse dimension conjointement avec la tâche de régression, biaisant la représentation vers des structures prévisibles plutôt que vers des structures à haute variance.
2. Marginalisation analytique : En dérivant une vraisemblance condensée qui marginalise les poids du décodeur, la méthode évite le besoin d'estimer un point spécifique pour une base (comme dans la PCA) ou de recourir à une inférence variationnelle complexe, ce qui permet de passer à l'échelle efficacement pour des sorties de haute dimension.
3. Connexion théorique : Ce travail clarifie la relation mathématique entre GPLFR et le LMC, démontrant comment différentes marginalisations mènent à des biais inductifs différents adaptés à différents régimes de données.
4. Application scientifique : Les auteurs appliquent GPLFR pour construire le premier émulateur spatialement résolu des Modèles de Circulation Globale (GCM) pour les exoplanètes rocheuses, une tâche caractérisée par des sorties de haute dimension ($D_y \approx 3 \times 10^4$) et des données d'entraînement très limitées.

Résultats expérimentaux

Les auteurs évaluent GPLFR par rapport à PCA-GP et d'autres bases de référence sur trois tâches :

1. Benchmark synthétique :

   • Configuration : Données générées par une composante de signal prévisible et une composante de « nuisance » structurée et indépendante de l'entrée.
   • Résultats : GPLFR surpasse significativement PCA-GP en présence de variation de nuisance structurée. Il atteint les mêmes taux d'erreur que PCA-GP avec environ 4 fois moins de données d'entraînement. La représentation latente de GPLFR capture plus d'énergie de signal (77 % contre 54 % pour PCA-GP au rang réel) et moins d'énergie de nuisance.
   • Limite : Dans la limite sans bruit où toute la variance est pertinente pour la prédiction, PCA-GP surpasse légèrement le GPLFR standard, bien qu'un GPLFR initialisé par PCA puisse combler cet écart.

2. Optique biomédicale (Émulation PyXoOpto) :

   • Configuration : Prédiction de profils de réflectance radiale de 500 dimensions à partir de propriétés optiques tissulaires. Le bruit ici est largement non corrélé, ce qui constitue un régime « favorable à la PCA ».
   • Résultats : Même lorsque les hypothèses de la PCA sont respectées, GPLFR démontre une efficacité d'échantillonnage et de représentation supérieure, maintenant un plancher d'erreur plus bas avec moins de dimensions latentes.

3. Émulation climatique d'exoplanètes :

   • Configuration : Prédiction d'états atmosphériques 3D (température, humidité, vents, etc.) pour des exoplanètes rocheuses à partir de 8 propriétés planétaires continues et d'une étiquette de GCM discrète. Le jeu de données ne contient que 307 exemples de haute fidélité (plus 1 419 exemples auxiliaires).
   • Résultats : GPLFR obtient l'erreur quadratique moyenne (RMSE) et le score d'énergie les plus bas pour toutes les variables par rapport à PPCA-ICM, PPCA-MLP, kNN et les moyennes d'entraînement. Les améliorations par rapport à la meilleure base de référence probabiliste (PPCA-ICM) vont de 8 % à 34 %. Les résultats suggèrent que la variation structurée et indépendante de l'entrée provenant des différences de configuration de simulation (nuisance) confond les méthodes basées sur la PCA, tandis que GPLFR parvient à la filtrer avec succès.

Signification et affirmations

L'article affirme que GPLFR fournit une alternative principled et de bout en bout aux pipelines de type « compression puis prédiction » pour les problèmes de régression à haute dimension et à faible volume de données. Sa principale importance réside dans sa capacité à prioriser la structure prévisible plutôt que la structure à haute variance, ce qui le rend particulièrement efficace lorsque les sorties contiennent du bruit structuré ou de la variation de nuisance qui n'est pas corrélée avec les entrées.

Les auteurs notent que le coût pratique de GPLFR est un paysage d'optimisation plus difficile dû au couplage entre les variables latentes et les hyperparamètres des noyaux. Cependant, ils démontrent que cela peut être atténué par la régularisation (tempérage de la vraisemblance et bruit latent). L'application réussie à la modélisation climatique des exoplanètes souligne l'utilité de la méthode dans les domaines scientifiques où la génération de données est coûteuse et où les sorties sont des champs complexes et spatialement résolus.