Résumé Technique : Apprentissage Actif pour la Régression par Processus Gaussien sous des Poids de Boltzmann Auto-induits

1. Définition du Problème

Ce papier aborde une variante spécifique du problème d'Apprentissage Actif (AA) où l'objectif est d'apprendre une fonction inconnue $f$ avec une faible erreur de prédiction sous une distribution cible $P_f$ qui est auto-induite par la fonction elle-même. Contrairement à l'AA standard (qui suppose une distribution cible uniforme ou connue) ou à l'AA Robuste aux Distributions (qui suppose un ensemble d'ambiguïté de distributions possibles), ce cadre postule que la distribution cible suit une forme de Boltzmann :
$$P_f(x) = Z_f^{-1} \exp(\lambda f(x) + b(x))$$
où $\lambda \neq 0$ est un paramètre connu, $b(x)$ est une fonction de biais connue, et $Z_f$ est la fonction de partition.

Défis Clés :

1. Dépendance Circulaire : La distribution cible $P_f$ dépend de la fonction inconnue $f$, créant une dépendance circulaire où la stratégie d'échantillonnage dépend de la fonction même qu'elle cherche à apprendre.
2. Fonction de Partition Introuvable : La constante de normalisation $Z_f = \int \exp(\lambda f(x) + b(x)) dx$ est généralement introuvable à calculer, surtout car $f$ est inconnue et évolutive.
3. Cible Inconnue : La distribution n'est pas entièrement spécifiée à l'avance ; elle émerge du processus d'apprentissage.

Ce cadre surgit naturellement dans des domaines scientifiques tels que la modélisation des Surfaces d'Énergie Potentielle (SEP) en chimie computationnelle (où la dynamique moléculaire échantillonne une distribution de Boltzmann pondérée par l'énergie) et la découverte de médicaments moléculaires (où l'intérêt se concentre sur les composés à haut score).

2. Méthodologie

Les auteurs proposent SIDAL (Apprentissage Actif sous Distribution Auto-induite) et introduisent deux fonctions d'acquisition basées sur les Processus Gaussiens (PG) : AB-SID-iVAR et TS-SID-iVAR.

2.1. Fondement Théorique

L'approche repose sur la borne de l'erreur quadratique moyenne (MSE) attendue sous la $P_f$ inconnue en la reliant à une distribution substitut calculable $P_{\mu_t}$ (basée sur la moyenne a posteriori du PG $\mu_t$).

• Borne à Haute Probabilité : En décomposant le rapport de densité logarithmique entre $P_f$ et $P_{\mu_t}$, les auteurs dérivent une borne supérieure impliquant le rapport des fonctions de partition. Cela conduit à une borne avec un facteur préexponentiel dépendant de l'erreur de prédiction maximale.
• Borne Moyenne : En prenant l'espérance sur le PG a posteriori $f|D_t$, les auteurs utilisent l'inégalité de Jensen et les identités de la Fonction Génératrice des Moments (MGF) pour les variables gaussiennes. Cela permet d'absorber le rapport des fonctions de partition, produisant une borne plus serrée sans nécessiter l'estimation explicite de $Z_f$.
  $$\mathbb{E}_{f|D_t}[\mathbb{E}_{P_f}[(f - \mu_T)^2]] \leq C \cdot \mathbb{E}_{P_{\mu_t}}[\sigma_T^2(x)]$$
  où $\sigma_T^2(x)$ est la variance prédictive.

2.2. Fonctions d'Acquisition

Les deux méthodes proposées visent à minimiser la variance a posteriori intégrée sur un substitut traitable de la distribution auto-induite.

1. AB-SID-iVAR (SID Bayésien Approximatif) :

   • Approxime l'espérance introuvable $\mathbb{E}_{f|D_{t-1}}[P_f]$ sous forme fermée en utilisant un développement de Taylor d'ordre zéro.
   • La densité non normalisée substitut est : $\tilde{p}^u_{t-1}(x) = \exp(\lambda \mu_{t-1}(x) + \frac{\lambda^2}{2}\sigma_{t-1}^2(x) + b(x))$.
   • Cette formulation intègre naturellement l'incertitude a posteriori ($\sigma^2$) dans le pondération, empêchant un engagement prématuré vers un seul mode.

2. TS-SID-iVAR (SID par Échantillonnage de Thompson) :

   • Approxime l'espérance via un seul échantillon de Monte Carlo (Échantillonnage de Thompson) : $\tilde{p}^u_{t-1}(x) = \exp(\lambda \tilde{f}_{t-1}(x) + b(x))$, où $\tilde{f}_{t-1} \sim f|D_{t-1}$.
   • Cela offre un compromis biais-variance par rapport à l'approximation sous forme fermée.

2.3. Implémentation Algorithmique

Les algorithmes sélectionnent le prochain point de requête $x_t$ en minimisant la variance a posteriori attendue sur un ensemble potentiel $\bar{X}_t$ :
$$x_t = \arg \min_{x \in \bar{X}_t} \int_{x^* \in \mathcal{X}} \tilde{p}^u_{t-1}(x^*) \sigma_t^2(x^* | x_t = x) dx^*$$

• Ensemble de Contrainte $\bar{X}_t$ : Pour assurer l'exploration, la recherche est restreinte aux régions où la variance actuelle dépasse un seuil (estimé via le substitut).
• Domaines Continus : Pour les entrées continues, l'intégrale et le seuil de contrainte sont approximés en utilisant l'échantillonnage Monte Carlo Séquentiel (SMC) à partir de la distribution substitut.

3. Contributions Clés

1. Formalisation du Problème : Le papier définit formellement le problème SIDAL, le distinguant de l'AA standard et de l'AA Robuste aux Distributions par la dépendance de la distribution cible à la fonction inconnue.
2. Fonctions d'Acquisition Nouvelles : Introduction de AB-SID-iVAR et TS-SID-iVAR, qui approximent la distribution cible bayésienne sous forme fermée (ou via un échantillon MC unique) sans nécessiter d'estimation de la fonction de partition. Ces méthodes sont applicables aux domaines discrets et continus.
3. Garanties Théoriques :
   • Convergence : Les auteurs établissent que l'erreur de prédiction finale s'annule avec une haute probabilité lorsque le nombre de requêtes $T \to \infty$.
   • Vitesses : Ils fournissent des taux de convergence sous-linéaires : $O(T^{-1/2+\epsilon})$ avec un nombre constant d'échantillons de Monte Carlo, et $O(T^{-1+\epsilon})$ lorsque le nombre d'échantillons évolue linéairement avec $T$.
   • Analyse Moyenne : Une borne moyenne plus serrée est fournie, montrant des facteurs logarithmiques améliorés par rapport à la borne à haute probabilité.
   • Analyse Heuristique : Le papier fournit la première analyse de convergence pour les méthodes heuristiques existantes (Apprentissage Actif Heuristique Générique, GHAL) dans ce cadre.
4. Validation Empirique : Démonstration d'améliorations constantes par rapport aux bases (Échantillonnage Aléatoire, Échantillonnage par Incertitude, IMSE, EPIG et GHAL) sur des benchmarks synthétiques et des tâches réelles.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur :

• Benchmarks Synthétiques : Fonctions dans des dimensions $d=1$ à $d=6$ (par exemple, Gramacy, Branin, Hartmann, Ishigami).
  • Résultats : AB-SID-iVAR a constamment atteint une MSE pondérée inférieure aux bases. L'écart de performance s'est élargi dans les dimensions supérieures et pour des cibles multimodales (par exemple, Branin), où l'échantillonnage par incertitude standard a échoué en se concentrant sur des régions à haute incertitude mais à faible probabilité.
• Modélisation de Surfaces d'Énergie Potentielle (SEP) : Tâches impliquant H2 sur Cu, H sur des amas de Cu, cristaux de Si, et H2O sur Pt.
  • Résultats : AB-SID-iVAR a atteint la MSE pondérée la plus faible sur tous les systèmes, démontrant une robustesse dans les applications de chimie physique où une prédiction précise n'est requise que dans des configurations spécifiques à basse énergie.
• Découverte de Médicaments Moléculaires : Une tâche discrète basée sur un pool utilisant les fonctions de score GuacaMol.
  • Résultats : La méthode a considérablement surpassé les bases dans la prédiction des propriétés pour les molécules à haut score (poids de Boltzmann élevé). Alors que les bases se dégradaient vers un $R^2$ négatif sur le top-k% des composés, AB-SID-iVAR a maintenu une précision proche de zéro, indiquant qu'elle a réussi à concentrer l'échantillonnage sur l'espace chimique pertinent.

Études d'Ablation :

• Le remplacement du substitut bayésien par un plug-in naïf ($\exp(\lambda \mu_t)$) a provoqué un échec sur les cibles multimodales, confirmant la nécessité d'intégrer la variance a posteriori ($\sigma^2$) dans le substitut.
• La suppression de l'ensemble de contrainte $\bar{X}_t$ a conduit à une variance plus élevée et à une convergence moins robuste.

5. Signification et Revendications

Le papier revendique combler une lacune dans la littérature sur l'apprentissage actif en abordant des scénarios où la distribution cible est auto-induite et suit une forme de Boltzmann, un cadre courant mais précédemment non étudié dans des domaines tels que la chimie computationnelle et la découverte de médicaments.

• Signification Théorique : Il fournit les premières garanties de convergence rigoureuses pour l'apprentissage sous des distributions auto-induites, montrant que l'erreur finale s'annule malgré la dépendance circulaire et la fonction de partition introuvable.
• Signification Pratique : Les méthodes proposées (spécifiquement AB-SID-iVAR) offrent une alternative fondée sur des principes et sans paramètres (en ce qui concerne le réglage des hyperparamètres de la fonction d'acquisition) aux heuristiques existantes qui nécessitent souvent un réglage minutieux. Les méthodes équilibrent avec succès l'exploration et la concentration, garantissant des prédictions précises dans les régions à haute probabilité de la distribution auto-induite sans avoir besoin de connaître le support de la distribution a priori.
• Limites : Les auteurs notent que leurs bornes théoriques présentent une dépendance exponentielle à $|\lambda|$ due à l'argument du rapport de densité. Sur le plan computationnel, la dépendance à l'échantillonnage MCMC pour les domaines continus introduit une surcharge, bien que l'analyse de sensibilité suggère que cela peut être atténué avec moins de particules.

En résumé, le papier présente un cadre théoriquement fondé et empiriquement efficace pour l'apprentissage actif lorsque l'« importance » des points de données est déterminée par la fonction inconnue en cours d'apprentissage, spécifiquement dans le contexte des distributions pondérées par Boltzmann.