Résumé technique : Une estimation de l'ensemble de niveau $(\epsilon, \delta)$-précise avec un critère d'arrêt

Énoncé du problème

L'estimation d'ensemble de niveau (Level Set Estimation - LSE) vise à identifier les régions au sein d'un ensemble candidat où une fonction inconnue $f(x)$, coûteuse à évaluer, dépasse (ou descend en dessous d'un) seuil spécifié $\theta$. Bien que des stratégies d'apprentissage actif aient été proposées pour minimiser le nombre d'évaluations de fonctions requises, un fossé important subsiste dans la formulation théorique des critères d'arrêt.

Les méthodes existantes reposent souvent sur l'optimisation séquentielle pour trouver des solutions $\epsilon$-précises (autorisant une marge autour du seuil), mais manquent de règles d'arrêt rigoureuses. Les approches courantes incluent :

• L'arrêt basé sur le budget : Interrompre après un nombre fixe d'expériences, ce qui peut entraîner un gaspillage de ressources ou une précision insuffisante.
• L'échantillonnage du F-score (FS) : Arrêter lorsqu'un percentile échantillonné de F-scores dépasse une cible. Cependant, cela nécessite de connaître a priori le F-score maximum atteignable, ce qui est souvent incertain. De plus, le F-score réel au point d'arrêt peut ne pas atteindre la cible souhaitée, et la méthode repose sur un échantillonnage coûteux en termes de calcul.
• Les critères de Classification Complète (FC) : Ne s'arrêter que lorsque tous les points sont classés. Cela échoue souvent à terminer en présence de bruit, car les points proches du seuil restent « indéterminés » indéfiniment.

Le papier traite de la nécessité d'une stratégie d'acquisition qui intègre un critère d'arrêt théoriquement fondé pour garantir que l'algorithme s'arrête lorsque une exploration supplémentaire est peu susceptible d'apporter des améliorations, réduisant ainsi les évaluations inutiles tout en fournissant des garanties probabilistes sur la précision.

Méthodologie

1. Cadre de processus gaussien

La méthode modélise la fonction inconnue à l'aide de la régression par processus gaussien (GPR). Étant donné un ensemble de données $S_N$, la distribution postérieure de la valeur de la fonction en un nouveau point $x^*$ est gaussienne, $N(\mu_N(x^*), \sigma_N^2(x^*))$.

2. Fonction d'acquisition proposée

Les fonctions d'acquisition traditionnelles basées sur la probabilité de mauvaise classification ($p_{min}(x)$) sélectionnent des points où la variance postérieure est élevée ou où la moyenne est proche du seuil. Les auteurs soutiennent que cela peut mener à une exploration redondante de points où la valeur réelle de la fonction est intrinsèquement proche du seuil (la « région de marge »), offrant des rendements décroissants.

Pour remédier à cela, le papier introduit une marge $\epsilon > 0$. Un point $x$ est considéré comme « difficile à classifier » non pas seulement si $f(x) \approx \theta$, mais si $f(x) \in (\theta - \epsilon/2, \theta + \epsilon/2]$. L'objectif est d'atteindre une $\epsilon$-précision, où les ensembles estimés $\tilde{H}_\theta$ (supérieur), $\tilde{L}_\theta$ (inférieur) et $\tilde{U}_\theta$ (indéterminé/marge) satisfont des propriétés d'inclusion spécifiques par rapport aux ensembles réels.

La fonction d'acquisition proposée, $r_{min}(x)$, est définie par :
$$r_{min}(x) = \min \{ \Pr(x \in H_\theta), \Pr(x \in L_\theta), \Pr(x \notin U_\theta) \}$$
où :

• $\Pr(x \in H_\theta)$ et $\Pr(x \in L_\theta)$ sont les probabilités d'appartenir aux ensembles de niveau supérieur et inférieur.
• $\Pr(x \notin U_\theta)$ est la probabilité que la valeur de la fonction se situe en dehors de la région de marge $U_\theta = \{x \mid |f(x) - \theta| \le \epsilon/2\}$.

L'algorithme sélectionne le point suivant $x_{new} = \arg \max_{x \in X} r_{min}(x)$. Cette fonction donne la priorité aux points qui sont soit difficiles à classifier (faible probabilité d'être dans $H_\theta$ ou $L_\theta$), SOIT des points où l'incertitude concernant la présence dans la région de marge est élevée. Crucialement, si un point est exploré de manière approfondie et que la variance postérieure diminue, la probabilité qu'il tombe dans la marge ($\Pr(x \in U_\theta)$) augmente, ce qui fait diminuer $\Pr(x \notin U_\theta)$. Cela réduit naturellement la valeur d'acquisition pour les points qui sont déjà « résolus » dans la tolérance $\epsilon$, empêchant les boucles infinies.

3. Critère d'arrêt

L'algorithme s'arrête lorsque l'inégalité suivante est satisfaite pour un paramètre de confiance $\delta \in (0, 1)$ :
$$1 - \sum_{x \in X} r_{min}(x) \ge \delta$$
Cette condition garantit que la somme de l'« incertitude » (valeurs d'acquisition) à travers tous les points candidats est suffisamment basse.

4. Garanties théoriques

Le papier prouve le Théorème 3.1 : Si la règle de classification assigne les points à $\tilde{H}_\theta$, $\tilde{L}_\theta$, ou $\tilde{U}_\theta$ en maximisant les probabilités respectives, alors lors de la satisfaction du critère d'arrêt, le triplet $(\tilde{H}_\theta, \tilde{L}_\theta, \tilde{U}_\theta)$ est $\epsilon$-précis avec une probabilité d'au moins $\delta$.

De plus, la Proposition 3.2 établit que cette garantie théorique s'étend aux métriques de performance. Spécifiquement, le F-score, l'exactitude (accuracy), le rappel (recall), la précision et la spécificité sont garantis d'être au-dessus de certaines bornes inférieures avec une probabilité de $1 - \sum r_{min}(x)$. Contra\à certaines méthodes antérieures (ex. Qing et al., 2022b) qui estiment les bornes du F-score par échantillonnage, cette méthode fournit des bornes inférieures analytiques.

5. Sélection des paramètres

• $\delta$ (Confiance) : Fixé proche de 1 (ex. 0,99). Le temps d'arrêt est montré comme étant peu sensible aux petites variations de $\delta$ proche de 1.
• $\epsilon$ (Marge) : Au lieu de fixer $\epsilon$ directement (ce qui dépend de la plage de la fonction et du bruit), le papier propose une méthode adaptative basée sur un paramètre $L$ (représentant un nombre minimum d'observations effectives). $\epsilon$ est dérivé de la variance postérieure $\sigma_N(x)$ et de $L$, ce qui le rend robuste à la variance du bruit et à l'échelle de la fonction.

Contributions clés

1. Nouvelle fonction d'acquisition : Une fonction d'acquisition basée sur la distribution de la difficulté de classification qui prend explicitement en compte la région de marge, empêchant l'exploration redondante de points où la valeur réelle est proche du seuil.
2. Critère d'arrêt théorique : Une règle d'arrêt qui garantit une précision $(\epsilon, \delta)$. L'algorithme s'arrête lorsque la probabilité que la solution soit $\epsilon$-précise dépasse $1-\delta$.
3. Garanties de métriques de performance : Preuves théoriques fournissant des bornes inférieures pour le F-score, l'exactitude, le rappel, la précision et la spécificité, qui sont analytiquement calculables sans échantillonnage.
4. Efficacité computationnelle : Le critère d'arrêt repose sur la fonction de répartition (CDF) de la loi normale standard, ce qui se traduit par une complexité de calcul linéaire par rapport au nombre de points candidats. Cela contraste avec les méthodes d'échantillonnage de F-score qui nécessitent une complexité quadratique due à l'échantillonnage de Monte Carlo.

Résultats expérimentaux

La méthode a été évaluée sur des fonctions de test synthétiques (Rosenbrock, Branin, Cross in tray) et une application réelle impliquant l'estimation des « zones rouges » (régions d'impuretés) dans des lingots de silicium pour les cellules solaires.

• Performance : La méthode proposée a obtenu des F-scores comparables aux fonctions d'acquisition de pointe existantes (Straddle, MILE, RMILE, MELK, Uncertainty Sampling).
• Efficacité de l'arrêt :
  • Classification Complète (FC) : A échoué à s'arrêter dans des environnements bruités pour la plupart des méthodes, car les points proches du seuil restaient indéterminés.
  • Échantillonnage du F-score (FS) : S'est souvent arrêté prématurément avant la convergence des F-scores, ou a nécessité un ajustement fin du F-score cible, ce qui est difficile à déterminer en pratique. Dans certains cas, le F-score réel au point d'arrêt était inférieur au seuil souhaité.
  • Méthode proposée : A réussi à arrêter l'algorithme une fois qu'une précision d'estimation suffisante avait été atteinte, quel que soit la valeur finale du F-score convergé. Elle a démontré une robustesse à travers différents niveaux de bruit et formes de fonctions sans nécessiter d'ajustement spécifique au problème du seuil d'arrêt.
• Application réelle : Dans l'expérience sur le lingot de silicium, la méthode proposée a efficacement terminé le processus de LSE de manière précoce tout en maintenant des F-scores élevés, tandis que le critère FC continuait jusqu'à épuisement du budget complet.

Signification et affirmations

Le papier affirme traiter une lacune critique dans l'estimation de l'ensemble de niveau : l'absence de critères d'arrêt efficaces et théoriquement fondés. En intégrant la condition d'arrêt directement dans la stratégie d'acquisition via le concept de $\epsilon$-précision, la méthode garantit que l'algorithme se termine lorsque une exploration supplémentaire est peu susceptible d'améliorer la classification dans la tolérance spécifiée.

Les auteurs soulignent que leur approche fournit des garanties probabilistes tant sur la précision de l'estimation de l'ensemble de niveau que sur les bornes inférieures des métriques de performance standard. Cela contraste avec les règles d'arrêt heuristiques ou basées sur l'échantillonnage qui manquent d'un tel fondement théorique. La méthode est présentée comme une solution pratique pour la conception expérimentale adaptative où les coûts et le temps sont contraints, permettant aux chercheurs d'arrêter les expériences avec la certitude que les résultats répondent à un standard de précision prédéfini. Le papier note modestement que bien que la méthode soit conservatrice (ce qui peut être bénéfique pour les applications critiques de sécurité), équilibrer ces garanties théoriques avec des arrêts plus agressifs reste un domaine ouvert pour des travaux futurs.