Résumé Technique : Priors Dynamiques dans l'Optimisation Bayésienne pour l'Optimisation des Hyperparamètres

Énoncé du Problème

L'optimisation bayésienne (BO) est une approche standard pour l'optimisation des hyperparamètres (HPO), pourtant les méthodes existantes restreignent généralement l'influence de l'utilisateur à la phase d'initialisation. Bien que des travaux récents aient introduit des interfaces pour spécifier des priors initiaux (par exemple, $\pi$BO) ou rejeter des évaluations candidates, ces approches manquent de la capacité de pilotage utilisateur continu et dynamique pendant le processus d'optimisation. Dans les flux de travail d'apprentissage automatique itératifs, les praticiens acquièrent souvent de nouvelles connaissances ou changent de priorités à mesure que les modèles évoluent, mais les cadres de BO actuels ne peuvent pas incorporer ces croyances évolutives sans redémarrer ou modifier considérablement le processus. De plus, les méthodes existantes pour incorporer les priors de l'utilisateur manquent de robustesse face aux entrées utilisateur trompeuses ou « déceptives », ce qui peut dégrader les performances.

Méthodologie : DynaBO

Les auteurs proposent DynaBO, un cadre conçu pour permettre un contrôle utilisateur continu sur le processus de BO en intégrant des priors dynamiques au moment de l'exécution. La méthodologie se compose de trois composantes fondamentales :

1. Fonction d'Acquisition Pondérée par des Priors Dynamiques

Contrairement aux priors statiques appliqués uniquement à l'initialisation, DynaBO généralise la fonction d'acquisition pour accepter une séquence de priors spécifiés par l'utilisateur $\{\pi^{(m)}\}_{m=1}^M$ fournis à différents instants $\{t^{(m)}\}$.

• Mécanisme : La fonction d'acquisition standard $\alpha_{\hat{f}}(\lambda)$ est augmentée par une somme de poids de déclin des priors :
  $$\alpha_{\hat{f}}^{dyna}(\lambda) := \alpha_{\hat{f}}(\lambda) \cdot \sum_{m=1}^{M} \pi^{(m)}(\lambda)^{\beta/(t - t^{(m)})}$$
• Déclin : L'influence de chaque prior décroît avec le temps ($t \to \infty$), garantissant que le poids du prior converge vers 1. Cela préserve les garanties de convergence asymptotique de la BO classique tout en permettant un biais temporaire vers les régions spécifiées par l'utilisateur.
• Agrégation : Le cadre utilise la sommation plutôt que la multiplication pour combiner plusieurs priors. Les auteurs soutiennent que la multiplication agit comme une intersection de croyances (pouvant annuler des régions valides si les priors divergent), tandis que la sommation agit comme une union, préservant les structures multimodales induites par des entrées utilisateur diverses.
• Sélection de Candidats : Pour optimiser la fonction d'acquisition modifiée, DynaBO adapte la stratégie d'échantillonnage des candidats. Il tire des points de départ pour la recherche locale (hill climbing) non seulement du voisinage de l'incumbent, mais aussi de distributions centrées sur les priors fournis, garantissant que les régions suggérées par l'utilisateur sont explicitement explorées.

2. Sécurité de Rejet de Prior (Prior Rejection Safeguard)

Pour remédier au risque que des priors trompeurs ralentissent l'optimisation, DynaBO introduit un mécanisme de détection basé sur les données.

• Évaluation : Lors de la réception d'un nouveau prior $\pi^{(m)}$, le système échantillonne des configurations à partir de la distribution du prior ($F_{\pi^{(m)}}$) et d'une distribution normale autour de l'incumbent actuel ($N_{\hat{\lambda}}$).
• Comparaison : Il compare la qualité attendue de ces régions en utilisant une fonction d'acquisition secondaire $\xi$ (par exemple, la Borne Inférieure de Confiance ou LCB).
• Décision : Le prior n'est accepté que si la qualité attendue de la région du prior dépasse celle de la région de l'incumbent par un seuil $\tau$ :
  $$\mathbb{E}_{\lambda \sim F_{\pi^{(m)}}}[\xi_{\hat{f}}(\lambda)] - \mathbb{E}_{\lambda \sim N_{\hat{\lambda}}}[\xi_{\hat{f}}(\lambda)] \geq \tau$$
• Flexibilité : Si un prior est rejeté, le système peut avertir l'utilisateur, permettant ainsi un contrôle « humain dans la boucle » (human-in-the-loop), favorisant une optimisation collaborative.

3. Garanties Théoriques

Les auteurs fournissent des preuves formelles pour les propriétés suivantes :

• Convergence Presque Sûre : Même avec des priors dynamiques et potentiellement trompeurs, DynaBO converge vers l'optimum global avec une probabilité de un lorsque $T \to \infty$, car l'influence des priors s'estompe asymptotiquement.
• Robustesse : Le regret simple asymptotique de DynaBO correspond à celui de la BO classique, même lorsque les priors sont déceptifs.
• Accélération : Si des priors informatifs sont fournis et concentrent l'échantillonnage dans une région $U_\epsilon$ contenant l'optimum, DynaBO permet une convergence accélérée en temps fini en réduisant l'espace de recherche effectif et les besoins en gain d'information.

Résultats Expérimentaux

Les auteurs ont évalué DynaBO à travers divers benchmarks de HPO (incluant des scénarios PD1, LCBench et XGBoost) en utilisant divers modèles de substitution (Forêts Aléatoires et Processus Gaussiens) et fonctions d'acquisition (EI et LCB).

• Baselines de Comparaison : DynaBO a été comparé à la BO Classique, $\pi$BO (priors statiques) et aux Circuits Probabilistes (PCs) pour l'HPO interactif.
• Performance :
  • Priors Informatifs : DynaBO a systématiquement surpassé tous ses concurrents à travers les types de priors Expert, Advanced et Local, démontrant des accélérations significatives dans la découverte de configurations optimales.
  • Priors Déceptifs : Alors que les priors déceptifs ont dégradé les performances de $\pi$BO et des PCs, le mécanisme de rejet de DynaBO a réussi à filtrer la plupart des entrées trompeuses. Dans les scénarios où le rejet a eu lieu, DynaBO a retrouvé des niveaux de performance comparables ou supérieurs à la BO Classique.
  • Robustesse : Le cadre a maintenu les qualités d'optimisation de la BO Classique même lorsque des priors déceptifs ont été injectés à plusieurs reprises.
• Surcharge (Overhead) : La surcharge de calcul pour le mécanisme de rejet était minimale (environ 12 secondes par exécution dans un contexte de 26 heures), ce qui le rend pratique pour les flux de travail réels.

Signification et Revendications

L'article affirme faire progresser le paradigme de l'HPO collaboratif et centré sur l'humain. Ses principales contributions sont :

1. Contrôle Continu : C'est le premier cadre de BO qui permet l'injection de priors à n'importe quel moment de l'optimisation, comblant le fossé entre le développement de modèles entièrement automatisé et contrôlé manuellement.
2. Sécurité et Synergie : En combinant une protection contre les entrées trompeuses avec un mécanisme qui fait la synergie entre les croyances de l'utilisateur et celles du modèle de substitution, DynaBO offre un moyen fiable d'incorporer l'intuition de l'expert sans compromettre les garanties théoriques de la BO.
3. Rigueur Théorique : Ce travail fournit la première preuve d'accélération en temps fini pour les priors dynamiques tout en maintenant la convergence asymptotique et la robustesse face à la tromperie.

Les auteurs concluent que DynaBO permet une BO collaborative fiable et efficace, permettant aux praticiens de piloter dynamiquement les processus d'optimisation à mesure que de nouvelles connaissances émergent, démocratisant ainsi l'accès aux outils avancés de HPO tout en atténuant les risques d'erreur humaine.