Résumé technique : Méthodes stochastiques de pénalisation-barrière pour l'apprentissage automatique contraint

Énoncé du problème

L'article aborde le défi de l'apprentissage automatique contraint (CML), spécifiquement l'optimisation d'une fonction objectif stochastique, non convexe et non lisse soumise à des contraintes stochastiques, non convexes et non lisses. Le problème est formulé comme suit :

$$\min_{x \in \mathbb{R}^n} \mathbb{E}[f(x, \xi)] \quad \text{s.c.} \quad \mathbb{E}[g(x, \xi)] \le 0$$

où $\xi$ est une variable aléatoire, et $f$ et $g$ sont des fonctions localement lipschitziennes. Ce cadre se pose naturellement dans des applications d'apprentissage profond telles que l'entraînement soucieux de l'équité (imposant la parité démographique ou des chances égales), les réseaux de neurones informés par la physique (PINN) où les lois physiques agissent comme contraintes, et l'intégration de connaissances de domaine symboliques.

Les méthodes existantes échouent souvent dans ce régime spécifique. Les travaux antérieurs supposent généralement des contraintes déterministes, des objectifs convexes ou des contraintes linéaires. Bien que des méthodes comme le sous-gradient stochastique à commutation (SSw) et le lagrangien lissé stochastique (SSL-ALM) gèrent certains cas stochastiques non convexes, elles peinent face à des contraintes générales non lisses et non convexes ou nécessitent des calculs irréalistes (par exemple, le stockage de la Hessienne dans les méthodes SQP). De plus, la régularisation par pénalité simple (par exemple, $F_\rho(x) = f(x) + \rho \| \mathbb{E}[g] \|^2$) est souvent instable pour de grands paramètres de pénalité ou irréalisable pour de petits paramètres.

Méthodologie : Méthode stochastique de pénalisation-barrière (SPBM)

Les auteurs proposent SPBM, un algorithme primal-dual qui étend la méthode classique de pénalisation-barrière (PBM) de Ben-Tal et Zibulevsky [20] au cadre stochastique, non lisse et non convexe. La méthode unifie les contraintes à l'aide de fonctions de pénalisation-barrière et emploie trois modifications clés pour gérer la nature stochastique et non lisse de l'apprentissage profond :

1. Moyenne mobile exponentielle (EMA) pour les mises à jour duales :
   Puisque les espérances sont approximées par mini-lots, les mises à jour des variables duales sont bruyantes. SPBM applique une moyenne mobile exponentielle aux mises à jour duales ($\lambda$) pour réduire la variance et stabiliser la convergence. La règle de mise à jour est :
   $$\lambda^{k+1} = \gamma \lambda^k + (1-\gamma) \lambda^k \odot \phi'(g(x^k) \oslash p^k)$$
   où $\gamma \in [0, 1)$ est un taux de décroissance, $\phi$ est la fonction de pénalisation-barrière, et $p$ représente les paramètres de pénalité.

2. Programme de paramètres de pénalité stabilisé :
   Dans la PBM originale, les paramètres de pénalité $p$ diminuent vers zéro, ce qui peut causer une instabilité dans le cadre stochastique. SPBM introduit des fonctions de mise à jour de pénalité adaptatives ou linéaires qui empêchent $p$ de s'annuler trop rapidement. Les auteurs proposent deux stratégies :

   • Linéaire : $p^{k+1} = \text{Clip}_{[0.1, 1]}[K_1 p^k]$ avec $K_1 < 1$.
   • Adaptative : Ajuste $p$ en fonction de la satisfaction actuelle de la contrainte (en utilisant $\phi'$), augmentant les pénalités pour les contraintes satisfaites et les diminuant pour celles violées, tout en maintenant les bornes.

3. Enveloppe de Moreau pour la non-lissité :
   Pour gérer la non-lissité de l'objectif et des contraintes (courante dans les réseaux de neurones avec des activations ReLU ou des fonctions de perte spécifiques), SPBM optimise sur l'enveloppe de Moreau du lagrangien. Au lieu de résoudre le sous-problème non lisse exact, la méthode effectue une seule étape d'Adam (OneStepAdam) pour trouver un minimiseur approximatif de l'enveloppe de Moreau :
   $$\min_x \left( \bar{L}_{p^{k+1}}(x, \lambda^{k+1}) + \frac{\mu}{2} \|x - s^k\|^2 \right)$$
   où $s^k$ est un centre proximal mis à jour par moyenne exponentielle. Cela lisse efficacement le problème tout en préservant les minimiseurs.

L'algorithme fonctionne dans un cadre de mini-lots, échantillonnant simultanément les distributions de l'objectif et des contraintes. Il est conçu pour être un remplacement « plug-and-play » des optimiseurs standards dans des frameworks comme PyTorch.

Contributions clés

• Proposition algorithmique : Introduction de SPBM, la première méthode générale conçue pour l'optimisation contrainte stochastique, non convexe et non lisse en apprentissage profond.
• Extension théorique : Généralisation de la PBM déterministe [20] au cadre stochastique, montrant que SPBM peut être vue comme une généralisation de SSL-ALM [19] sous des choix de paramètres spécifiques.
• Évaluation empirique : Évaluation complète à travers 8 configurations expérimentales distinctes, incluant :
  • Équité : Classification binaire et multi-classes sur les jeux de données ACSIncome, Dutch Census, CIFAR-10 et CIFAR-100 avec des contraintes de parité démographique et de précision égalisée.
  • Informé par la physique : Résolution des équations de Helmholtz et de Burgers visqueuses utilisant des PINN avec des contraintes de valeurs aux limites et initiales.
• Implémentation open source : Publication d'un code s'intégrant de manière transparente à PyTorch, nécessitant des modifications de code minimales pour spécifier les contraintes.

Résultats expérimentaux

Les auteurs comparent SPBM à Adam (non contraint), SSw [18] et SSL-ALM [19].

• Performance : SPBM égale ou dépasse les références existantes en termes de perte de test et de satisfaction des contraintes.
  • Dans les tâches d'équité (par exemple, CIFAR-100 avec 9 900 contraintes), SPBM a obtenu une perte de test significativement plus faible que SSL-ALM tout en satisfaisant les contraintes.
  • Dans les expériences PINN, SPBM a démontré une qualité de solution supérieure (MSE de test plus faible) et une meilleure satisfaction des conditions aux limites par rapport à Adam avec régularisation et SSL-ALM.
  • SSw a généralement sous-performé, ce qui est attribué à sa limitation de ne gérer qu'une seule contrainte à la fois, le rendant inadapté aux configurations multi-contraintes.
• Efficacité computationnelle : SPBM engendre une surcharge de temps d'exécution linéaire par rapport à Adam non contraint. Pour jusqu'à 10 000 contraintes, le temps d'exécution était au maximum trois fois plus lent que celui d'Adam (par exemple, 5,86 s contre 1,92 s par époque sur CIFAR-100).
• Stabilité : Contrairement aux méthodes de pénalité standards qui nécessitent un réglage minutieux de $\rho$ pour éviter l'instabilité ou l'irréalisabilité, SPBM s'est révélée stable et a convergé vers l'ensemble réalisable à travers divers réglages d'hyperparamètres.

Importance et affirmations

L'article affirme que SPBM fournit une alternative fiable et computationnellement réalisable pour l'entraînement de réseaux de neurones sous des contraintes complexes. Son importance réside dans :

1. Combler le fossé : Elle adresse le cadre « non convexe, non lisse, stochastique » qui prédomine dans l'apprentissage profond moderne mais qui manquait auparavant d'un solveur général et efficace.
2. Praticité : En maintenant une échelle computationnelle linéaire et en offrant une intégration simple dans les flux de travail ML existants, elle permet aux praticiens d'imposer des contraintes d'équité ou physiques sans coûts prohibitifs.
3. Robustesse : La méthode démontre une robustesse dans des espaces de contraintes de haute dimension (jusqu'à ~10 000 contraintes) où d'autres méthodes peinent.

Les auteurs notent modestement des limites : les garanties de convergence dans le cadre entièrement stochastique, non convexe et non lisse restent une question théorique ouverte, et la méthode introduit des hyperparamètres supplémentaires (par exemple, des programmes de pénalité) qui peuvent nécessiter un réglage. L'évaluation est actuellement limitée aux applications d'équité et de PINN.