Résumé technique : Évaluation conditionnée par le régime en optimisation bayésienne multi-contextes

Énoncé du problème

Les évaluations actuelles de l'optimisation bayésienne (BO) de transfert et des fonctions d'acquisition souffrent d'un défaut fondamental de mesure : elles rapportent des effets moyens de traitement (ATE) sur des variables de régime cachées plutôt que des effets moyens de traitement conditionnels (CATE) spécifiques au contexte du praticien. L'article soutient que le classement des performances des fonctions d'acquisition (par exemple, Greedy vs UCB) n'est pas une propriété intrinsèque de l'algorithme, mais une fonction du régime d'évaluation, défini spécifiquement par le ratio de budget ($B/|A|$), la qualité de l'a priori ($\rho$), le nombre de contextes ($K$) et le type de métrique.

Un audit de 40 articles récents (2022–2025) révèle que 98 % ne font pas varier le ratio de budget $B/|A|$ comme axe contrôlé, et que 80 % ne rapportent qu'une seule famille de métriques. Par conséquent, les classements existants sont « non contrôlés par le régime ». Les auteurs démontrent que des benchmarks identiques peuvent produire des conclusions opposées uniquement en fonction du budget : sur le benchmark de réponse aux médicaments GDSC2, Greedy surpasse UCB de 0,050 Hit@1 à $B=50$, tandis que UCB surpasse Greedy de 0,035 Hit@1 à $B=100$. Il ne s'agit pas de contradictions, mais de CATE différents. L'article postule que sans contrôle de ces variables de régime, tout classement rapporté est une propriété de la configuration de mesure, et non de l'algorithme.

Méthodologie

1. Le Score de Régime Portable (PRS)

Pour rendre le régime observable, les auteurs définissent le Score de Régime Portable (PRS) :
$$PRS = \frac{B}{|A|} (1 - \rho)$$
Où :

• $B$ : Budget par contexte.
• $|A|$ : Taille de l'espace d'action.
• $\rho$ : Corrélation de rang de Spearman entre les moyennes a priori et les vraies valeurs d'action (mesurable lors d'une exécution pilote).

Le PRS sert de paramètre d'ordre unidimensionnel. Un PRS élevé indique un budget important par rapport à l'espace d'action et/ou un a priori faible, suggérant que l'exploration est susceptible d'être rentable. Un PRS faible indique un a priori fort ou un budget limité, favorisant l'exploitation (Greedy).

2. Cadre théorique

L'article introduit la Proposition du Sans-Leaderboard-Gratuit (Proposition A.11). Elle prouve que si le CATE d'un choix de fonction d'acquisition change de signe à travers une variable de régime (comme observé avec le PRS), alors l'ATE rapporté sur n'importe quel benchmark est un paramètre libre déterminé par le mélange du benchmark. En choisissant appropriément les conditions d'évaluation, n'importe quel classement (y compris des égalités ou des inversions) peut être obtenu sans falsification. Cela formalise pourquoi les classements agnostiques au régime sont des outils de décision peu fiables.

3. REGIMEPLANNER

Pour démontrer que la vision par le régime est exploitable, les auteurs proposent REGIMEPLANNER, un algorithme adaptatif qui :

1. Estime $\hat{\rho}$ en ligne dans chaque contexte en utilisant les moyennes a priori mises en cache et les résultats observés.
2. Calcule le PRS dynamique ($\hat{PRS}_t$).
3. Bascule entre Greedy et UCB en fonction d'un seuil $\theta = 0,10$.
   • Si $\hat{PRS}_t < \theta$ : Bascule vers Greedy (exploitation).
   • Si $\hat{PRS}_t \ge \theta$ : Bascule vers UCB (exploration).

Cela permet au planificateur de s'adapter aux changements de régime au sein d'un seul contexte, une capacité dont manquent les politiques fixes.

4. Audit empirique et validation

• Audit : Une revue systématique de 40 articles sur la BO de transfert (NeurIPS, ICML, ICLR, etc.) a quantifié le manque de contrôle du régime (98 % ne balayent pas $B/|A|$).
• Benchmarks : Des expériences ont été menées sur trois benchmarks principaux :
  • Buchwald-Hartwig : Une tâche d'optimisation de réactions chimiques avec des a priori mélangés pour isoler les effets de la qualité de l'a priori.
  • GDSC2 : Un benchmark de biologie de réponse aux médicaments avec des observations bruitées.
  • HPO-B : Un benchmark communautaire d'optimisation d'hyperparamètres couvrant 16 espaces de recherche.
• Analyse : Les auteurs ont analysé 79 conditions couvrant ces benchmarks, mesurant Hit@1 et Discovery AUC.

Résultats clés

1. Prédictibilité du régime

Le PRS prédit fortement l'« avantage de l'exploration » (l'écart de performance entre les stratégies d'exploration et d'exploitation).

• Sur 79 conditions, le PRS corrèle avec l'avantage de l'exploration avec un coefficient de modèle hiérarchique $\beta = 0,50$ ($p = 1,1 \times 10^{-9}$).
• Les corrélations intra-benchmark sont fortes : GDSC2 ($r=0,96$), HPO-B ($r=0,83$) et Buchwald ($r=0,75$).
• Le PRS surpasse ses composants individuels ($B/|A|$ seul ou $1-\rho$ seul) en tant que prédicteur.

2. Inversion des classements

L'étude confirme que les classements des fonctions d'acquisition s'inversent entièrement en fonction du régime :

• Inversion par le budget : Sur GDSC2, Greedy gagne à faible budget ($B=50$), tandis que UCB/REIGN gagnent à haut budget ($B=100$).
• Inversion par la qualité de l'a priori : Sur Buchwald, avec un a priori faible, l'exploration gagne ; avec un a priori structuré fort, Greedy domine largement (0,481 contre 0,389 Hit@1), compressant la valeur du choix de la fonction d'acquisition.
• Inversion par la métrique : Sur GDSC2, Greedy domine le Discovery AUC à tous les budgets, tandis que UCB/REIGN dominent Hit@1 uniquement au-dessus du seuil de régime.

3. Performance de REGIMEPLANNER

• GDSC2 : À $B=50$, REGIMEPLANNER atteint 0,676 Hit@1, surpassant tous les planificateurs fixes et dépassant l'oracle {Greedy, UCB} apparié par contexte de 18 %.
• HPO-B : À $B=100$, REGIMEPLANNER gagne sur les 16 espaces de recherche contre Greedy (moyenne +0,103 Hit@1) et se classe #1 au total, tandis que Greedy se classe dernier.
• Adaptabilité : REGIMEPLANNER réussit en suivant l'évolution de $\hat{\rho}$ au sein d'un contexte. Sur GDSC2, $\hat{\rho}$ passe d'environ 0,12 à environ 0,66 au cours d'une épisode, permettant au planificateur de passer de l'exploration à l'exploitation en cours de route, une prouesse impossible pour les politiques fixes.

4. Modes de défaillance et zones d'équivalence

• Précision : Le PRS prédit le gagnant empirique dans 74,7 % des 79 conditions.
• Zone d'équivalence : 19 % des conditions tombent dans une zone d'équivalence ($|avantage| < 0,01$ Hit@1) où les différences sont pratiquement indiscernables, pourtant ces « non-différences » génèrent souvent des classements publiable.
• Défaillances aux limites : Les prédictions se dégradent près du seuil ($PRS \in [0,05, 0,15)$) et dans les cas avec très peu de contextes ($K < K_{min}$) où l'a priori n'a pas encore différencié les planificateurs.
• Validation pré-enregistrée : Sur 40 conditions retenues, la méthode a atteint une précision de 67,5 %, en dessous de l'objectif de 90 %, soulignant que le seuil n'est pas universellement agnostique au domaine sans estimation du bruit.

Importance et revendications

L'article revendique trois contributions principales :

1. Prédictibilité : Le régime est prévisible avant toute exécution de comparaison en utilisant le PRS, qui ordonne l'avantage de l'exploration à travers divers domaines (chimie, biologie, HPO).
2. Exploitabilité : Le CATE est exploitable en ligne. REGIMEPLANNER démontre qu'une règle adaptative basée sur des quantités observables ($B/|A|$ et $\hat{\rho}$) peut surpasser les politiques fixes et même les oracles par contexte dans des régimes spécifiques.
3. Transparence diagnostique : La proposition du « Sans-Leaderboard-Gratuit » formalise pourquoi les classements agnostiques au régime sont peu fiables. L'article soutient que l'omission de $B/|A|$, $\rho$, $K$ et du type de métrique produit des « revendications de mesure, et non algorithmiques ».

Les auteurs concluent que le domaine s'est disputé sur des non-différences (zones d'équivalence) et que la « meilleure » fonction d'acquisition est une propriété du régime dans lequel elle a été évaluée. Ils proposent un nouveau protocole de rapport : les comparaisons de fonctions d'acquisition doivent rapporter la condition a priori, le ratio de budget, le type de métrique et le nombre de contextes pour être interprétables. Ce travail sert d'outil diagnostique (PRS) et de preuve d'existence (REGIMEPLANNER) que l'évaluation conditionnée par le régime est nécessaire pour une évaluation algorithmique fiable.