Conformal Candidate Certification for Offline Model-Based Optimization

Résumé technique : Certification de candidats conforme pour l'optimisation basée sur modèle hors ligne

Énoncé du problème
L'optimisation basée sur modèle (MBO) hors ligne cherche à identifier des conceptions $x$ performantes (par exemple, en ingénierie des protéines ou en science des matériaux) en utilisant uniquement un ensemble de données historiques fixe $D$, sans accès supplémentaire à un oracle. Le pipeline standard entraîne un modèle de substitution $\hat{f}_\theta$ sur $D$ et l'optimise pour proposer des candidats. Cependant, ce processus pousse intrinsèquement les candidats vers des régions hors distribution (OOD) où le modèle de substitution est peu fiable, entraînant une surestimation systématique.

Les méthodes existantes tentent d'atténuer cela en modifiant le mécanisme de proposition (par exemple, des substituts conservateurs, des représentations invariantes ou des modèles génératifs conditionnels). Une lacune critique subsiste : ces méthodes ne fournissent pas de certificat statistique par candidat garantissant qu'une conception proposée $x^*$ satisfait un seuil cible $\tau$ (c'est-à-dire que $f(x^*) \ge \tau$) avec un niveau de confiance donné. La confusion entre la tâche de proposition (génération) et la tâche de certification (validation) entraîne soit une pénalité de conservatisme, soit un manque de garanties de couverture rigoureuses pour les candidats individuels.

Méthodologie : Certification de Candidat Conforme (CCC)
Les auteurs proposent la Certification de Candidat Conforme (CCC), un enveloppe (wrapper) post-hoc qui attache une borne inférieure unilatérale calibrée à tout candidat généré par un algorithme de MBO hors ligne. La CCC sépare la tâche de proposition de la tâche de certification, traitant cette dernière comme un problème de prédiction conforme de décalage de covariables (covariate-shift conformal prediction).

Les composantes clés de la méthodologie sont :

1. Modélisation du décalage de covariables via le biais de Gibbs :
   Le papier modélise la distribution de proposition $Q_X$ (à partir de laquelle les candidats sont tirés) comme une version biaisée de Gibbs de la distribution des données historiques $P_X$. Cela découle naturellement de la maximisation du substitut régularisée par l'entropie :
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   Crucialement, le même substitut $\hat{f}_\theta$ utilisé pour générer le décalage fournit également les poids d'importance $w(x) = dQ_X/dP_X(x)$, éliminant ainsi le besoin d'une étape distincte d'estimation du rapport de densité.

2. Estimation de la température :
   Le paramètre de température $T$ est estimé via l'appariement de moments (moment-matching). Pour éviter des poids dégénérés lorsque les candidats sont hors distribution par rapport à l'ensemble de validation, les auteurs regroupent l'ensemble de validation $D_{val}$ avec les scores du substitut des candidats pour ancrer la queue supérieure de la distribution de référence.

3. Prédiction conforme pondérée (IW-CP) :
   La CCC utilise la prédiction conforme pondérée par importance pour restaurer la validité marginale sous le décalage de covariables.

   • Fonction de score : Un score de non-conformité unilatéral est défini comme $s(x, y) = (\mu(x) - y)/\sigma(x)$, où $\mu$ et $\sigma$ sont la moyenne et l'incertitude du substitut. Cela concentre la probabilité de calibration sur la queue inférieure (surestimation).
   • Quantile pondéré : Pour un candidat $x^*$, la méthode calcule un quantile pondéré des scores de calibration en utilisant les poids dérivés de Gibbs. Si le poids du point de test est trop élevé par rapport à l'ensemble de calibration, la borne devient vacue (indiquant correctement un support insuffisant).
   • Certification : La borne inférieure est calculée comme $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$. Un candidat est certifié uniquement si $y(x^*) \ge \tau$.

Principales contributions

1. Formulation : Le papier formule la certification de candidat post-hoc pour la MBO hors ligne comme un problème de prédiction conforme de décalage de covariables, en séparant explicitement la certification de la proposition.
2. Proposition biaisée de Gibbs : Il démontre que la maximisation du substitut régularisée par l'entropie induit une distribution de proposition biaisée de Gibbs, permettant au substitut lui-même de fournir les poids d'importance nécessaires pour la prédiction conforme pondérée sans estimation de densité externe.
3. Validité théorique : Les auteurs prouvent la validité de la borne inférieure marginale en échantplon fini ($P\{Y^* \ge y(X^*)\} \ge 1-\alpha$) pour un nouveau candidat issu de la distribution de proposition, en supposant des poids d'oracle.
4. Démonstration empirique : Une étude synthétique valide que la CCC certifie avec succès un sous-ensemble non trivial de propositions agressives avec un taux de fausses certifications proche de zéro, alors que la prédiction conforme standard (non pondérée) s'effondre sous le décalage de covariables.

Résultats expérimentaux
Dans une étude synthétique contrôlée impliquant un pool de propositions de Boltzmann agressif :

• Substitut Naïf : A accepté tous les candidats mais n'a atteint que 41 % de précision réelle (beaucoup de faux positifs).
• Prédiction Conforme Non Pondérée : Ignorer le décalage de covariables a entraîné une couverture empirique de 0,416 contre une cible nominale de 0,90, avec un taux de fausse acceptation de 22,7 %.
• CCC : A certifié 16,7 % du pool de candidats. Crucialement, elle a maintenu une couverture empirique de 0,990 au niveau nominal de 0,90, avec un taux de fausse acceptation inférieur à 0,5 %. La méthode est restée conservatrice mais non vacue à travers divers niveaux nominaux ($\alpha \in \{0,05, \dots, 0,20\}$).

Signification et Revendications
Le papier affirme que la CCC fournit une solution fondée sur des principes à la question que la MBO hors ligne a laissée sans réponse : "Quels candidats proposés sont assez fiables pour être testés ?"

• Séparation des préoccupations : En enveloppant n'importe quel algorithme de MBO existant, la CCC permet au mécanisme de proposition de rester agressif tout en garantissant que seuls les candidats possédant un support empirique suffisant (via une borne inférieure calibrée) sont avancés vers l'évaluation expérimentale coûteuse.
• Robustesse au décalage : La méthode traite explicitement le mode de défaillance de la prédiction conforme standard sous le décalage de covariables, qui est la caractéristique dominante de la MBO hors ligne.
• Limitations modestes : Les auteurs reconnaissent que la garantie en échantplon fini ne tient strictement qu'avec les poids d'oracle. En pratique, l'utilisation de poids de Gibbs estimés signifie que la garantie n'est pas exacte, bien que les résultats empiriques suggèrent que la méthode reste conservatrice (maintenant la couverture au-dessus du niveau nominal) plutôt qu'anti-conservative. Le papier note que pour les mesures bruitées, des hypothèses supplémentaires sont nécessaires pour certifier directement l'objectif latent $f(x^*)$, car la garantie actuelle s'applique à la réponse mesurée $Y^*$.

En résumé, la CCC offre une couche de certification post-hoc qui transforme les propositions de MBO potentiellement peu fiables et agressives en un ensemble de candidats dotés de garanties statistiques rigoureuses, comblant ainsi le fossé entre l'optimisation hors ligne et la prise de décision en ligne fiable.