Résumé Technique : Apprentissage Actif pour la Régression par Processus Gaussien sur Variété

Énoncé du Problème

La Régression par Processus Gaussien (GPR) standard est un cadre non paramétrique puissant pour la régression et la quantification de l'incertitude. Cependant, elle fait face au « fléau de la dimensionnalité » à mesure que les dimensions d'entrée augmentent. Dans les espaces de haute dimension, les données deviennent clairsemées, l'évolutivité computationnelle se dégrade et la capacité des fonctions de covariance standards (par exemple, exponentielle carrée) à capturer les structures sous-jacentes des données diminue. Ceci est particulièrement problématique pour la modélisation de fonctions complexes, discontinues ou de données possédant des structures géométriques intrinsèquement de basse dimension.

Bien que les Processus Gaussiens sur Variété (mGPs) aient émergé comme une solution en projetant des données de haute dimension sur un espace latent de plus basse dimension pour préserver la géométrie intrinsèque, la performance de ces modèles dépend fortement de la qualité et de la représentativité des données d'entraînement. Dans de nombreuses applications scientifiques et ingénieriales, l'acquisition de données étiquetées est coûteuse ou chronophage. Les stratégies d'apprentissage actif existantes pour la GPR sont souvent mal adaptées aux défis spécifiques des mGPs, où la géométrie de l'espace latent et les entrées de haute dimension interagissent dynamiquement. Il existe un besoin d'un cadre permettant de sélectionner efficacement des points de données pour affiner les modèles mGP tout en minimisant l'erreur de prédiction globale.

Méthodologie

L'article propose un cadre unifié, nommé Apprentissage Actif pour Processus Gaussien sur Variété (ALmGP), qui intègre l'apprentissage de variété avec la conception expérimentale séquentielle. La méthodologie se compose de trois composants principaux :

1. Modèle de Processus Gaussien sur Variété (mGP)

Le cadre mGP décompose la tâche de régression $F = G \circ M$, où :

• $M$ (Cartographie) : Une cartographie déterministe de l'espace d'entrée $\mathcal{X}$ vers un espace de caractéristiques latent $\mathcal{H} \subset \mathbb{R}^Q$. Ceci est mis en œuvre à l'aide d'un réseau de neurones multicouche avec des paramètres $\theta_M$.
• $G$ (Régresseur) : Un modèle GPR standard opérant au sein de l'espace latent $\mathcal{H}$ avec des paramètres $\theta_G$.

Le modèle optimise conjointement $\theta_{mGP} = [\theta_M, \theta_G]$ en minimisant la Vraisemblance Marginale Négative (NLML). Cette approche supervisée permet au modèle d'apprendre des représentations de caractéristiques conscientes de la tâche, capables de gérer les discontinuités et les motifs multi-échelles plus efficacement que les transformations non supervisées (comme l'ACP) ou les noyaux standards.

2. Critère d'Apprentissage Actif (ALC)

Pour sélectionner les points de données les plus informatifs, le cadre emploie le critère Active Learning Cohn (ALC), qui vise à minimiser l'Erreur Quadratique Moyenne Intégrée (IMSE) sur l'espace d'entrée.

• Objectif : Sélectionner un nouveau point $x_{n+1}$ qui maximise la réduction attendue de la variance a posteriori.
• Fonction d'Acquisition : Le score ALC est proportionnel à l'intégrale de la réduction de la variance prédictive.
• Approximation : Pour assurer la faisabilité computationnelle, l'intégrale est approximée à l'aide d'un ensemble de référence fixe $X_{ref}$ échantillonné via un Design Hypercube Latin (LHD).
• Stratégie de Sélection : L'algorithme utilise un processus de filtrage en deux étapes :
  1. Pré-filtrage : Identifier les $K$ meilleurs candidats présentant la variance prédictive la plus élevée dans le pool de candidats.
  2. Optimisation : Calculer le score ALC uniquement pour ces $K$ points et sélectionner les $B$ meilleurs points (taille du lot) à ajouter à l'ensemble d'entraînement.

3. Optimisation et Entraînement

Le cadre utilise l'algorithme L-BFGS pour optimiser les hyperparamètres. Pour assurer la stabilité et la positivité, les hyperparamètres (tels que les échelles de longueur et la variance de sortie) sont mis au carré avant l'optimisation. Le processus itère : ajustement du mGP, sélection de nouveaux points via ALC, et ré-entraînement jusqu'à ce qu'un seuil de convergence ou un budget maximal soit atteint.

Contributions Clés

L'article expose trois contributions principales :

1. Cadre Unifié : L'intégration de l'apprentissage de variété avec l'apprentissage actif basé sur l'IMSE spécifiquement pour les mGPs, comblant le fossé entre l'acquisition efficace de données et la réduction de dimensionnalité.
2. Efficacité Stratégique : Une efficacité accrue grâce à une sélection stratégique de points dans l'espace latent, tirant parti de la capacité du mGP à capturer des structures géométriques complexes.
3. Évolutivité : Une approche évolutive pour les données de haute dimension en opérant sur des variétés intrinsèques de basse dimension, répondant aux limitations des GPs standards en haute dimension.

Résultats Expérimentaux

Les auteurs ont validé le cadre ALmGP en utilisant quatre expériences de référence, le comparant à un apprentissage séquentiel aléatoire (Random LHS). Chaque expérience a été répétée 10 fois pour assurer une robustesse statistique.

• Fonction Trigonométrique par Morceaux (1D) : Une fonction présentant des discontinuités. La méthode ALmGP a atteint une RMSE moyenne de 0,156 avec 15 nouveaux échantillons, surpassant significativement l'échantillonnage aléatoire. L'espace latent 2D appris a réussi à déplier la structure discontinue.
• Fonction Déterministe Bidimensionnelle : Une fonction rotative avec des composantes gaussiennes. La méthode a atteint une RMSE moyenne de 0,0152 après 50 itérations (100 échantillons au total), démontrant une convergence supérieure par rapport à la ligne de base.
• Fonction Tridimensionnelle sur la Sphère Unité : Une fonction définie sur une variété sphérique. Le cadre a atteint une faible RMSE moyenne de $6 \times 10^{-3}$ avec 100 échantillons, modélisant efficacement la géométrie sphérique.
• Fonction de Forage (8D) : Une référence standard de régression non linéaire avec huit paramètres physiques. La méthode ALmGP a atteint une RMSE moyenne de 0,6 avec 150 échantillons, montrant une robustesse dans les simulations physiques de dimensions supérieures.

Dans tous les cas, la méthode ALmGP (lignes vertes pleines dans les figures) a démontré de manière constante une erreur quadratique moyenne (RMSE) plus faible et une convergence plus rapide que l'acquisition aléatoire (lignes rouges pointillées).

Signification et Revendications

L'article affirme que le cadre proposé offre une solution pratique pour les applications scientifiques et ingénieriales où l'acquisition de données est coûteuse et où les fonctions sont complexes ou discontinues. En optimisant conjointement la réduction de dimensionnalité et le régresseur sous un critère d'apprentissage actif, la méthode :

• Améliore la Précision : Elle atteint des performances prédictives supérieures par rapport à l'échantillonnage passif et aux méthodes d'apprentissage actif standards dans les espaces de haute dimension.
• Gère la Complexité : Elle gère efficacement les fonctions discontinues et les structures géométriques complexes avec lesquelles les GPs standards peinent.
• Maintient la Faisabilité : Malgré la complexité de l'optimisation conjointe, la méthode reste computationnellement réalisable grâce à des stratégies de filtrage efficaces et à l'optimisation des hyperparamètres.

Les auteurs notent que, bien que le cadre actuel suppose une cartographie de variété déterministe, les travaux futurs se concentreront sur l'évolutivité, l'apprentissage de variété conscient de l'incertitude (par exemple, via des réseaux de neurones bayésiens) et l'amélioration de l'interprétabilité des variétés apprises grâce à des contraintes spécifiques au domaine.