Résumé Technique : Inférence Postérieure dans l'Espace Latent pour l'Optimisation Boîte-Noire Contrainte et Évolutif

Définition du Problème

L'article traite de l'optimisation boîte-noire contrainte (CBBO), une tâche fondamentale dans les domaines scientifiques et ingénieriaux tels que l'apprentissage automatique, la découverte de médicaments et la conception industrielle. L'objectif est de trouver une entrée $x^*$ qui maximise une fonction objectif $f(x)$ sous réserve de $M$ contraintes boîte-noire $g^{(m)}(x) \leq 0$.

Les auteurs soulignent que la CBBO est nettement plus difficile que l'optimisation sans contraintes en raison de deux facteurs principaux :

1. Régions Faisables Intraitables : Les régions faisables sont analytiquement indéfinies et occupent souvent une fraction infime de l'espace de recherche.
2. Haute Dimensionnalité : Les méthodes existantes, en particulier l'optimisation bayésienne (BO), peinent à s'adapter aux espaces de haute dimension (par exemple, $D=200$). Bien que la BO gère les contraintes via de nouvelles fonctions d'acquisition ou une relaxation lagrangienne, elle souffre d'une mauvaise évolutivité et de difficultés à estimer précisément les modèles de substitution dans des paysages complexes et contraints.

Les modèles génératifs ont émergé comme une alternative, mais l'échantillonnage à partir de la distribution cible des candidats faisables et à haut score est souvent intraitable en haute dimension en raison du multi-modalisme et des grandes régions plates. Les approches standard comme les chaînes de Markov Monte Carlo (MCMC) s'adaptent mal, et le fine-tuning des modèles génératifs conduit souvent à un effondrement de mode.

Méthodologie : CiBO

Les auteurs proposent CiBO (Optimisation Boîte-Noire par Inférence Contrainte), un cadre qui reformule la sélection de candidats comme une inférence postérieure effectuée dans l'espace latent des modèles génératifs. La méthode fonctionne dans une boucle itérative composée de deux phases :

Phase 1 : Entraînement des Modèles

Étant donné un ensemble de données $\mathcal{D}_r$ d'entrées observées, d'objectifs et de violations de contraintes :

1. Entraînement du Prior : Un modèle basé sur des flux $p_\theta(x)$ est entraîné pour capturer la distribution de l'ensemble de données actuel. Cela est réalisé par Flow Matching avec un entraînement repondéré, où les points de données sont pondérés en fonction d'un score augmenté par Lagrange $l(y, c) = y - \lambda \sum \max(0, c_m)$. Cela concentre le prior sur des régions prometteuses et faisables.
2. Entraînement des Surrogats : Un ensemble de $K$ réseaux de neurones est entraîné pour prédire les valeurs d'objectif ($\mu_\phi, \sigma_\phi$) afin de quantifier l'incertitude. Des proxies séparés sont entraînés pour chaque contrainte $g^{(m)}$. Ceux-ci sont également entraînés en utilisant la fonction de perte repondérée.

Phase 2 : Échantillonnage des Candidats

Au lieu d'affiner le prior basé sur des flux (ce qui risque un effondrement de mode), CiBO présente la sélection de candidats comme un échantillonnage à partir d'une distribution postérieure :
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
où $r_\phi(x)$ est une fonction de récompense combinant la moyenne du surrogat, une prime d'incertitude et une pénalité de contrainte.

Innovation Clé : Inférence Amortie dans l'Espace Latent
Les auteurs observent que, bien que $p_{post}(x)$ dans l'espace des données soit hautement multi-modal et complexe, la postérieure correspondante dans l'espace latent ($z$) est significativement plus lisse.

1. Échantillonneur de Diffusion Externalisé : Ils entraînent un modèle de diffusion séparé $p_\psi(z)$ pour approximer la postérieure latente $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$.
2. Équilibre de Trajectoire (TB) : L'échantillonneur de diffusion est entraîné en utilisant l'objectif d'équilibre de trajectoire, ce qui permet un entraînement hors politique. Ceci est crucial pour couvrir plusieurs modes et éviter l'effondrement de mode dans l'espace latent.
3. Projection et Filtrage : Des échantillons sont tirés de $p_\psi(z)$, projetés dans l'espace des données via l'application déterministe $x = f_\theta(z)$, et filtrés pour sélectionner les $B$ meilleurs candidats basés sur la fonction de récompense $r_\phi(x)$.

Contributions Clés

1. Reformulation comme Inférence Postérieure : L'article formalise la sélection de candidats contraints comme un échantillonnage à partir d'une distribution postérieure, exploitant la régularité de l'espace latent pour contourner les difficultés de l'échantillonnage direct dans l'espace des données de haute dimension.
2. Amortissement de l'Espace Latent : En découplant le processus d'échantillonnage en une étape de génération de bruit dans l'espace latent et une projection déterministe, la méthode évite les problèmes d'effondrement de mode associés au fine-tuning direct de modèles basés sur des flux sur des distributions cibles complexes et multi-modales.
3. Évolutivité : L'utilisation de surrogats légers basés sur des MLP et de modèles de flux/diffusion permet à la méthode de s'adapter aux hautes dimensions (jusqu'à 180 dimensions dans des tâches réelles) où les méthodes BO traditionnelles échouent.
4. Contraintes Indicateur : Le cadre est démontré capable de gérer les "contraintes indicateur" (retour de faisabilité binaire uniquement), un contexte difficile où les informations de contrainte basées sur le gradient ou continues sont indisponibles.

Résultats Expérimentaux

Les auteurs évaluent CiBO sur trois benchmarks synthétiques (Rastrigin, Ackley, Rosenbrock à $D=200$) et quatre tâches réelles (Planification de Rover, HalfCheetah, Mopta, Lasso DNA) avec des dimensions allant de 60 à 180.

• Performance : CiBO surpasse constamment les références de l'état de l'art, y compris les variantes BO (cEI, LogcEI, SCBO, PCAGP-SCBO, FuRBO), les algorithmes évolutionnaires (CMA-ES) et d'autres approches génératives (DiffOPT).
• Faisabilité : Dans les tâches synthétiques, CiBO atteint des ratios de faisabilité quasi parfaits en 5 à 10 lots, nettement plus rapidement que les références BO. Dans les tâches réelles, c'est souvent la seule méthode à trouver des solutions faisables sur des benchmarks difficiles comme Mopta et DNA-180D.
• Efficacité Échantillonnale : La méthode démontre une efficacité échantillonnale supérieure, trouvant des solutions faisables de haute qualité avec moins d'évaluations par rapport aux concurrents.
• Études d'Ablation : Les expériences confirment que l'entraînement repondéré, le filtrage et l'entraînement hors politique de l'échantillonneur de diffusion sont des composants critiques. La méthode est robuste aux variations des hyperparamètres tels que le multiplicateur de Lagrange $\lambda$ et la taille du tampon $L$.
• Temps d'Exécution : Malgré l'entraînement de plusieurs modèles par tour, CiBO maintient un temps d'exécution par tour comparable ou inférieur aux méthodes basées sur la BO car il évite l'ajustement coûteux des Processus Gaussiens (GP) requis par la BO traditionnelle.

Signification et Revendications

L'article revendique que CiBO représente une avancée significative dans l'optimisation boîte-noire contrainte et évolutive. Sa signification principale réside dans :

• Surmonter la "Malédiction de la Dimensionnalité" dans les Contraintes : En effectuant l'inférence dans l'espace latent, la méthode navigue efficacement dans des régions faisables complexes et multi-modales qui sont intraitables pour la BO standard ou le fine-tuning direct de modèles génératifs.
• Robustesse : Le cadre est robuste à travers diverses tâches, y compris celles avec un retour de contrainte binaire et un grand nombre de contraintes.
• Applicabilité Pratique : La méthode est suffisamment efficace sur le plan computationnel pour un déploiement pratique dans des problèmes de conception et de contrôle réels où les budgets d'évaluation sont limités.

Les auteurs notent modestement des limitations, spécifiquement la nécessité de réentraîner les modèles à chaque tour et le potentiel d'améliorations futures en tirant parti des avancées dans l'entraînement basé sur les flux et les échantillonneurs de diffusion. Ils soulignent que leur travail fournit une base pour des cadres d'optimisation plus robustes et conscients des contraintes.