Résumé Technique : Ordonnancement Sensible à l'Importance pour l'Optimisation des Hyperparamètres à Haute Dimensionnalité

Énoncé du Problème

L'optimisation des hyperparamètres (HPO) est cruciale pour la robustesse et la généralisation des modèles modernes d'apprentissage automatique et d'apprentissage profond. Cependant, à mesure que la dimensionnalité de l'espace de recherche augmente, les optimiseurs conventionnels (par exemple, les méthodes de l'Optimisation Bayésienne comme TPE, BOHB) font face à une dégradation significative de l'efficacité. Le défi principal n'est pas seulement le volume de dimensions, mais l'influence fortement inégale des hyperparamètres : un petit sous-ensemble pilote souvent la variation de performance, tandis que beaucoup d'autres ont un impact marginal.

Les optimiseurs standards avancent généralement toutes les coordonnées de concert, imposant une stratégie d'ordonnancement uniforme. Dans les espaces de haute dimension, cette approche dilue le budget d'évaluation sur les variables à faible impact, entraînant :

1. Une estimation de densité bruitée : Les tailles d'échantillons effectives par coordonnée diminuent, provoquant des modèles de substitution instables.
2. Des interactions ignorées : Les hypothèses d'indépendance dans des méthodes comme TPE échouent à capturer les effets conjoints dans les hautes dimensions.
3. Un signal dilué : La présence de nombreuses dimensions à faible impact réduit le rapport signal sur bruit par évaluation, ralentissant la convergence.

Bien qu'il existe des méthodes d'Évaluation de l'Importance des Hyperparamètres (HIA) (par exemple, fANOVA, N-RReliefF) pour estimer l'importance des variables, elles sont rarement opérationnalisées en décisions d'ordonnancement concrètes, laissant un fossé entre l'importance théorique et les stratégies de recherche pratiques.

Méthodologie : Greedy Importance First (GIF)

Les auteurs proposent Greedy Importance First (GIF), une stratégie d'ordonnancement sensible à l'importance qui convertit les estimations HIA en un plan de recherche budgétisé concret. Le pipeline (illustré par la Fig. 1 de l'article) se compose de quatre étapes principales :

1. Warm Start (Démarrage à chaud) : Une initialisation à petit échantillon est effectuée pour collecter un historique initial $(H, Y)$. Cet historique est utilisé pour entraîner l'estimateur d'importance et fournit un a priori meilleur qu'une initialisation aléatoire.
2. Évaluation de l'Importance des Hyperparamètres (HIA) : En utilisant l'historique du démarrage à chaud, un évaluateur d'importance (par défaut N-RReliefF) estime la contribution marginale de chaque hyperparamètre. Ces estimations sont normalisées pour produire des poids d'importance $\{I_i\}$.
3. Groupement par Importance et Allocation Proportionnelle :
   • Les hyperparamètres sont triés par importance estimée et partitionnés en groupes $G = \{G_j\}$ avec une taille de groupe maximale $k$.
   • Le budget d'évaluation pour le tour actuel ($B_{cur}$) est alloué proportionnellement au poids d'importance total de chaque groupe.
   • Optimisation par groupe : Pour chaque groupe, l'optimiseur (par défaut TPE) exécute une recherche restreinte où les variables hors-groupe sont fixées à l'actuel meilleur candidat ($h_{best}$). Cela concentre le signal de recherche sur les sous-espaces les plus influents.
4. Repli sur l'Espace Complet (Full-Space Fallback) : Si un tour d'optimisation par groupe ne produit aucune amélioration, l'algorithme déclenche un repli vers une optimisation conjointe sur l'espace complet $\Theta$. Cette étape est réservée avec un quota de budget spécifique ($\rho B_{total}$) pour éviter que la recherche ne stagne dans des plateaux locaux causés par un groupement incorrect ou une estimation erronée de l'importance.

L'algorithme itère ces étapes jusqu'à ce que le budget total d'évaluation $B_{total}$ soit épuisé, en restituant le meilleur candidat trouvé.

Contributions Clés

L'article présente les contributions spécifiques suivantes :

• Algorithme GIF : Une stratégie compatible et interchangeable qui opérationnalise l'HIA en ordonnant les hyperparamètres, en les partitionnant en groupes, en allouant les essais proportionnellement et en introduisant un repli sur l'espace complet par tour.
• Validation des Priors HIA : Vérification que les estimateurs HIA standards (spécifiquement N-RReliefF) peuvent récupérer de manière fiable l'anisotropie réelle sur des fonctions contrôlées, même avec des évaluations limitées, soutenant leur utilisation comme priors pour l'ordonnancement.
• Supériorité Empirique en Haute Dimension : Sous des budgets d'évaluation fixes, GIF surpasse systématiquement les bases établies (TPE, BOHB, Recherche Aléatoire, Groupement Séquentiel) sur des benchmarks de haute dimension (fonctions analytiques anisotropes jusqu'à $d=50$ et NAS-Bench-301 à $d=33$).
• Analyse d'Ablation : Démonstration que les trois composantes centrales — classement piloté par l'importance, allocation de budget proportionnelle et repli sur l'espace complet — sont nécessaires aux gains de performance ; supprimer l'une d'elles entraîne une baisse claire de l'efficacité.

Résultats Expérimentaux

Les auteurs ont évalué GIF sur trois types de benchmarks :

1. Fonctions Analytiques Anisotropes :

   • Configuration : Cinq fonctions (Sphere, Rosenbrock, Ackley, Griewank, Rastrigin) mises à l'échelle pour des dimensions $d \in \{5, 10, 30, 50\}$ avec des poids anisotropes connus.
   • Vérification HIA : N-RReliefF a récupéré avec succès l'anisotropie réelle, les corrélations de Pearson entre les poids estimés et réels restant élevées (ex: $0,99$à$d=5$, tombant à $\approx 0,76$ à $d=50$ mais capturant toujours le motif de décroissance).
   • Performance : À basse dimension ($d=5$), GIF était compétitif mais non dominant. À mesure que la dimension augmentait ($d \ge 10$), GIF surpassait significativement toutes les bases en termes d'AUC de regret normalisé et de meilleures valeurs finales. Le taux de victoire contre les bases augmentait avec la dimensionnalité, atteignant 100 % à $d=30$ et $d=50$.

2. Bayesmark (Dimension Moyenne) :

   • Configuration : Quatre jeux de données (breast, digits, iris, wine) et quatre modèles (DT, RF, MLP-adam, MLP-sgd) avec des dimensions allant de 6 à 9.
   • Performance : GIF a obtenu le rang moyen le plus élevé, le meilleur score final normalisé et le taux de victoire le plus élevé (0,75) à travers les tâches. Bien que la Recherche Aléatoire ait été plus rapide, elle produisait des performances finales nettement moins bonnes. GIF a démontré que le coût de coordination est justifié par une meilleure efficacité d'échantillonnage, particulièrement sur les MLP où la dimensionnalité effective est plus élevée.

3. NAS-Bench-301 (Haute Dimension) :

   • Configuration : Recherche d'Architecture Neuronale (NAS) avec un espace de recherche de 33 dimensions utilisant un substitut DARTS-XGB.
   • Performance : GIF a montré une convergence plus rapide et a atteint de meilleurs candidats que TPE, BOHB et la Recherche Aléatoire. Il a dépassé toutes les bases autour de 340 évaluations. Dans l'analyse de Pareto de score contre temps simulé, GIF occupe la frontière, offrant une précision plus élevée pour des coûts de temps similaires par rapport aux autres méthodes.

Signification et Revendications

L'article affirme que GIF offre une voie simple et compatible pour améliorer l'efficacité d'échantillonnage dans l'HPO de haute dimension. Sa signification réside dans le fait qu'il ne traite pas le "goulot d'étranglement de la dimensionnalité" en changeant le modèle de substitution sous-jacent (par exemple, en passant de TPE à un GP complexe), mais en repondérant l'effort de recherche basé sur des estimations d'importance précoces.

Les auteurs soulignent que GIF est plus efficace lorsque :

• L'espace de recherche est de haute dimension.
• Le paysage présente une forte anisotropie (influence inégale des variables).
• Les budgets d'évaluation sont serrés, rendant coûteuse la dilution des ressources sur les variables à faible impact.

L'étude conclut qu'en concentrant le budget sur les sous-espaces importants tout en conservant un repli fondé sur des principes vers l'exploration globale, GIF offre une utilité pratique pour le réglage des modèles de deep learning et pose les bases de futurs systèmes d'AutoML sensibles à l'importance. Les auteurs restent modestes concernant les scénarios de basse dimension, notant que les gains sont marginaux lorsque l'espace de recherche est petit et que les optimiseurs standards performent déjà bien.