Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts

Résumé Technique : Accélération de l'Optimisation Bayésienne Multi-Objectif via des Catalyseurs de Gradient Prédictif

Énoncé du Problème
L'optimisation bayésienne multi-objectif (MOBO) est un cadre utilisé pour optimiser des fonctions d'objectifs coûteuses, bruitées ou « boîtes noires » en équilibrant l'exploration et l'exploitation grâce à des modèles de substitution probabilistes, typiquement des processus gaussiens (GP). Bien qu'efficace, la MOBO est souvent confrontée à des défis lorsque les budgets d'évaluation sont limités, particulièrement pour naviguer dans les compromis nécessaires afin d'approximer l'ensemble de Pareto. Les concepts de stationnarité basés sur le gradient, bien qu'établis dans l'optimisation multi-objectif déterministe, restent largement inexplorés dans leur intégration à la MOBO. Les méthodes existentes d'accélération basées sur le gradient sont souvent restreintes aux contextes mono-objectif ou étroitement liées à des fonctions d'acquisition spécifiques, ce qui limite leur applicabilité générale.

Méthodologie
Les auteurs proposent un mécanisme d'accélération général qui exploite les gradients prédictifs de processus gaussiens comme signaux auxiliaires de « catalyse ». Plutôt que de remplacer les fonctions d'acquisition respectant le Pareto existantes, ce cadre les augmente avec une information de stationnarité locale dérivée des gradients des substituts.

La méthodologie centrale comprend :

1. Modélisation par Substitution : L'approche suppose une indépendance conditionnelle entre les objectifs, modélisant chacun avec un GP individuel. La moyenne prédictive ($\mu_i$) et la variance ($\sigma^2_i$) sont calculées, et le gradient attendu de la moyenne prédictive est dérivé analytiquement.
2. Cadre Catalytique : La méthode formule un problème de décision bi-objectif pour sélectionner le prochain point d'évaluation :
   • Critère Global ($g_1$) : Maximiser une fonction d'acquisition standard respectant le Pareto $\alpha(x)$ (ex: EHVI, AugTch).
   • Critère Local ($g_2$) : Minimiser la magnitude du gradient prédictif pondéré, $\|\gamma \cdot \nabla \hat{f}(x)\|$, où $\gamma$ représente des coefficients de combinaison convexe satisfaisant les conditions de Fritz–John (FJ) pour la stationnarité de Pareto.
   • Scalarisation : Ces deux critères sont combinés à l'aide d'une scalarisation de Tchebycheff augmentée pour créer une fonction d'acquisition unifiée $\alpha_{CAT}(x)$. Cela pénalise les candidats qui sont inférieurs soit en performance globale, soit en stationnarité locale.

Deux instanciations spécifiques du catalyseur sont étudiées :

• Catalyseur basé sur MGDA : Utilise l'algorithme de descente de gradient multiple (MGDA) pour déterminer de manière adaptative le vecteur de poids $\gamma$ à chaque point $x$. Cela trouve la combinaison convexe des gradients avec la norme euclidienne minimale, satisfaisant localement les conditions FJ.
• Catalyseur à Poids Pré-défini (W) : Utilise un ensemble fixé de vecteurs de poids pré-définis (après normalisation min-max) pour discrétiser les directions de recherche. Cette approche sacrifie la satisfaction stricte des conditions FJ au profit de la robustesse et d'une exploration ciblée, ce qui est bénéfique sous des budgets d'évaluation serrés.

Contributions Clés

• Cadre Catalytique : Un nouveau cadre qui exploite les gradients prédictifs des GP pour accélérer la convergence de la MOBO sans modifier la structure sous-jacente des fonctions d'acquisition standards.
• Dualité des Instanciations : L'introduction de deux stratégies de catalyseur : une approche adaptative basée sur MGDA, ancrée dans la théorie de la stationnarité de Pareto, et une approche à poids pré-défini pour une exploration ciblée des compromis.
• Intégration Fondée sur des Principes : Une méthode formelle pour intégrer les signaux catalytiques aux fonctions d'acquisition standards via la scalarisation de Tchebycheff augmentée.
• Évaluation Empirique : Expériences approfondies sur la suite de benchmarks DTLZ (2 objectifs, 10 variables de décision) comparant les méthodes proposées aux lignes de base (EHVI, AugTch, tMPoI, SAF).

Résultats et Analyse
Les expériences ont été menées sur les problèmes de benchmark DTLZ1–DTLZ7 avec un budget de $30n$ évaluations. Les principales conclusions sont :

• Dépendance à la Précision du Substitut : L'efficacité de l'accélération dépend fortement de la précision des modèles de substitution. Lorsque les substituts sont précis (indiqué par un faible Standardised Log Loss, SLL), l'approche catalytique produit des améliorations significatives.
• Corrélation de Stationnarité : Le cadre performe le mieux sur les problèmes présentant un comportement stationnaire (où les perturbations locales induisent des variations similaires dans l'espace des objectifs).
  • DTLZ2 et DTLZ5 : Ces problèmes présentent une forte stationnarité et une haute précision de substitution. Les méthodes catalytiques surpassent systématiquement les lignes de base (cellules vertes dans les cartes de significativité).
  • DTLZ1 et DTLZ3 : Ces problèmes présentent une non-stationnarité et une qualité de substitution incohérente. L'approche catalytique montre peu ou pas d'amélioration par rapport aux lignes de base (cellules grises).
  • DTLZ4 et DTLZ6 : Une qualité de substitution mixte ou médiocre a entraîné une dégradation des performances dans plusieurs cas (cellules rouges), soulignant le risque d'utiliser les gradients lorsque les substituts ne sont pas fiables.
• MGDA vs Poids Pré-définis : À travers les comparaisons par paires, la variante à Poids Pré-défini (W) surpasse généralement la variante adaptative MGDA. Les auteurs suggèrent que pour une optimisation coûteuse avec des budgets limités, concentrer la recherche sur un ensemble grossier et fini de directions prometteuses est plus efficace que de tenter d'approximer finement l'ensemble de Pareto global via des directions locales adaptatives.

Signification et Revendications
L'article affirme que la catalyse par gradient prédictif offre un mécanisme pratique pour améliorer l'efficacité de l'optimisation multi-objectif coûteuse, à condition que les modèles de substitution sous-jacents soient précis et que le problème présente une stationnarité approximative. Les auteurs soulignent que cette approche ne remplace pas les fonctions d'acquisition existantes mais les améliore avec une information locale, permettant une convergence plus rapide vers l'ensemble de Pareto global.

La signification réside dans le fait de combler le fossé entre la théorie de la stationnarité basée sur le gradient et la MOBO, démontrant que même avec des budgets limités, l'exploitation de la lissité des gradients prédictifs des GP peut guider la recherche plus efficacement que les fonctions d'acquisition standards seules. Les auteurs notent modestement que si l'évaluation actuelle est limitée à la suite DTLZ avec 2 objectifs et 10 dimensions, le cadre est conçu pour passer à des dimensions plus élevées grâce à la dérivation analytique des gradients et l'efficacité computationnelle du solveur MGDA. Des travaux futurs sont suggérés pour les environnements contraints, bruités et à haute dimension.