Surrogate modeling for Bayesian optimization beyond a single Gaussian process

Résumé technique : Modélisation de substitution pour l'optimisation bayésienne au-delà d'un seul processus gaussien

Énoncé du problème
L'optimisation bayésienne (OB) est un cadre rationnel pour optimiser des fonctions boîte noire « coûteuses à évaluer », telles que celles rencontrées dans le réglage des hyperparamètres, la découverte de médicaments et la robotique. L'OB standard repose sur un modèle de substitution statistique pour sélectionner séquentiellement des points de requête, en équilibrant exploration et exploitation. Cependant, les approches existantes dépendent généralement d'un seul processus gaussien (GP) avec une fonction de noyau pré-sélectionnée. Cette conception nécessite une expertise domaine significative pour choisir le type de noyau et les hyperparamètres appropriés. De plus, des garanties de convergence rigoureuses pour les algorithmes d'OB font souvent défaut, et la parallélisation des évaluations pour réduire le temps de convergence nécessite fréquemment des hyperparamètres supplémentaires ou des règles de sélection complexes pour assurer la diversité des requêtes. L'article répond au besoin d'une méthode d'OB qui minimise les efforts de réglage, prend en charge le fonctionnement parallèle et fournit des garanties de convergence théoriques.

Méthodologie : EGP-TS
La méthode proposée, EGP-TS (Ensemble Gaussian Process with Thompson Sampling), introduit un cadre novateur qui va au-delà d'un seul modèle de substitution GP.

1. Ensemble de GPs (EGP) : Au lieu d'un seul noyau, la méthode exploite un ensemble de $M$ GPs, où chaque GP $m$ utilise une fonction de noyau $\kappa_m$ sélectionnée dans un dictionnaire prédéfini $\mathcal{K}$. Le priori sur la fonction objectif $f(x)$ est modélisé comme un mélange pondéré de ces GPs :
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   Les poids $w_m^t$ sont mis à jour de manière adaptative en temps réel en fonction des données observées $D_t$ en utilisant la règle de Bayes, sélectionnant efficacement le modèle de substitution le plus adapté à l'étape actuelle de l'optimisation.

2. Acquisition par Échantillonnage de Thompson (TS) : Pour sélectionner le prochain point de requête, la méthode emploie l'échantillonnage de Thompson. Plutôt que d'optimiser une fonction d'acquisition complexe, le TS échantillonne une réalisation de fonction $\tilde{f}_t(x)$ à partir de la distribution de mélange a posteriori et sélectionne le maximiseur de cette fonction échantillonnée. Cette approche ne nécessite aucun paramètre de conception supplémentaire.

3. Passage à l'échelle via des caractéristiques aléatoires (RF) : Pour assurer l'évolutivité, en particulier pour l'étape d'échantillonnage requise par le TS, la méthode emploie une approximation de noyau basée sur des caractéristiques aléatoires pour chaque GP de l'ensemble. Cela convertit l'apprentissage non paramétrique du GP en un apprentissage paramétrique, permettant un échantillonnage de fonction efficace et des mises à jour bayésiennes récursives des paramètres du modèle (poids et moyennes/covariances a posteriori).

4. Parallélisation : Le cadre EGP-TS prend naturellement en charge les évaluations de fonctions parallèles synchrones et asynchrones. Dans un environnement parallèle avec $K$ travailleurs, plusieurs points de requête sont générés par échantillonnage à partir du mélange a posteriori courant sans nécessiter d'hyperparamètres supplémentaires pour imposer la diversité, une exigence courante dans l'OB parallèle utilisant la borne de confiance supérieure (UCB) ou l'amélioration attendue (EI).

Contributions clés
L'article expose quatre contributions principales :

• Sélection de modèle adaptative : Il remplace le GP unique avec un noyau pré-sélectionné par un ensemble de GPs qui ajuste de manière adaptative les poids par GP en temps réel, éliminant le besoin de sélection manuelle du noyau.
• Parallélisme sans paramètre : L'approche EGP-TS résultante prend en charge les évaluations parallèles synchrones et asynchrones sans nécessiter de paramètres de conception supplémentaires.
• Garanties de convergence : Les auteurs établissent la convergence de EGP-TS vers l'optimum global en dérivant des bornes de regret bayésien sous-linéaires pour les contextes séquentiel et parallèle. L'analyse adapte des techniques issues des bandits linéaires avec priors de mélange au contexte de l'OB, répondant aux défis introduits par le priori EGP.
• Validation empirique : Des tests extensifs sur des fonctions synthétiques, des tâches robotiques (poussée de robot) et des tâches de réglage d'hyperparamètres réels (pour les réseaux de neurones feed-forward, les SVM et le Gradient Boosting) démontrent la supériorité de la méthode par rapport aux TS basés sur un seul GP, aux GP-TS bayésiens complets et aux approches d'ensemble alternatives.

Résultats
Des expériences numériques ont été menées sur des benchmarks synthétiques standards (Ackley-5d, Zakharov, DropWave, Eggholder) et des applications réelles.

• Fonctions synthétiques : EGP-TS a constamment obtenu un regret simple inférieur par rapport aux GP-TS avec noyaux pré-sélectionnés (RBF, Matérn) et à d'autres méthodes d'ensemble comme BanditBO et EXP3BO. Il a également surpassé le GP-TS bayésien complet.
• Robotique : Dans des tâches de poussée de robot en 3D et 4D, EGP-TS a démontré une performance supérieure dans la minimisation de la distance à l'emplacement de l'objectif par rapport à toutes les lignes de base, tout en s'exécutant significativement plus vite que le GP-TS bayésien complet.
• Réglage d'hyperparamètres : Pour le réglage des modèles FNN, SVM et Gradient Boosting sur des jeux de données tels que Breast Cancer, Iris et Wine, EGP-TS a atteint une précision de validation plus élevée avec moins d'évaluations de fonction par rapport aux concurrents.
• Ablation : Des résultats préliminaires couplant le substitut EGP avec l'amélioration attendue (EGP-EI) ont également montré une performance améliorée par rapport au GP-EI standard, suggérant que les avantages du modèle d'ensemble s'étendent au-delà de l'échantillonnage de Thompson.

Portée et affirmations
L'article affirme que EGP-TS offre une solution robuste au goulot d'étranglement de l'« effort de conception » dans l'optimisation bayésienne. En automatisant la sélection du noyau grâce à une approche d'ensemble et en utilisant l'échantillonnage de Thompson, la méthode réduit la dépendance à l'égard des connaissances expertes du domaine. La contribution théorique réside dans l'établissement de bornes de regret bayésien rigoureuses pour un algorithme d'OB basé sur un ensemble, prouvant que la méthode converge vers l'optimum global avec un regret moyen décroissant. Les auteurs soulignent que si le concept d'ensemble a été utilisé en apprentissage supervisé, son adaptation à l'OB pour la sélection de noyau, couplée à l'évolutivité parallèle et à l'analyse de convergence, constitue une contribution novatrice. Le travail positionne EGP-TS comme une méthode qui équilibre l'expressivité de l'apprentissage d'ensemble avec l'efficacité et les garanties théoriques requises pour des tâches d'optimisation pratiques et à haut coût.