Empirical risk minimization for risk-neutral composite optimal control with applications to bang-bang control

1. Problématique et Contexte

L'article aborde les problèmes de contrôle optimal composite sous incertitude, spécifiquement dans un cadre à risque neutre. Ces problèmes sont omniprésents dans les applications scientifiques et d'ingénierie, notamment dans l'optimisation contrainte par des équations aux dérivées partielles (EDP) stochastiques.

Le problème général (P) est formulé comme suit :
$$\min_{u \in U} G(u) := F(Bu) + \psi(u)$$
où :

• $F(w) := \mathbb{E}[f(w, \xi)]$ est une fonction d'attente (risque neutre) basée sur une intégrande $f$ potentiellement non convexe.
• $\psi : U \to [0, \infty]$ est une fonction convexe, fermée, mais potentiellement non lisse (nonsmooth).
• $B : U \to W$ est un opérateur linéaire compact entre un espace de Hilbert $U$ et un espace de Banach $W$.
• $\xi$ est un élément aléatoire représentant l'incertitude.

Cas d'application principal : L'article se concentre sur les problèmes de contrôle où $\psi$ inclut une régularisation en norme $L^1$ (ex: $\psi(u) = \beta \|u\|_{L^1} + I_{U_{ad}}(u)$). Cette structure favorise des solutions de type "bang-bang" (où le contrôle prend des valeurs aux bornes de l'intervalle admissible, par exemple $\{-1, 0, 1\}$), ce qui est crucial pour des applications comme le placement de capteurs ou la gestion des ressources énergétiques.

Le défi majeur réside dans le fait que l'espérance mathématique ne peut généralement pas être calculée analytiquement, et que la non-lissité de $\psi$ combinée à la non-convexité potentielle de $F$ rend l'analyse théorique et la résolution numérique complexes.

2. Méthodologie

Pour résoudre ce problème, les auteurs utilisent l'approche de l'Approximation par Moyenne Échantillonnée (Sample Average Approximation - SAA), également connue sous le nom de minimisation du risque empirique.

• Approximation SAA (PN) : L'espérance $F$ est remplacée par une moyenne empirique sur $N$ échantillons indépendants $\xi_1, \dots, \xi_N$ :
  $$\hat{F}_N(w) := \frac{1}{N} \sum_{i=1}^N f(w, \xi_i)$$
  Le problème devient alors : $\min_{u \in U} \hat{G}_N(u) = \hat{F}_N(Bu) + \psi(u)$.

• Outils d'analyse :

  • Fonction de Gap : Pour caractériser les points critiques (solutions stationnaires) dans un cadre non lisse et non convexe, les auteurs utilisent une fonction de gap $\Psi(u)$ (et sa version SAA $\hat{\Psi}_N(u)$). Un point est critique si et seulement si cette fonction est nulle.
  • Théorie de la complexité d'échantillonnage : L'analyse repose sur les nombres de recouvrement (covering numbers) de l'image de l'ensemble de définition par l'opérateur compact $B$. Cela permet de quantifier la complexité de l'espace de recherche.
  • Conditions de régularité : L'analyse suppose des conditions de croissance (growth conditions) sur la linéarisation partielle de la fonction objectif et des hypothèses de type "sub-Gaussian" sur les gradients de l'intégrande.

3. Contributions Clés

Les contributions principales de l'article sont théoriques et quantitatives :

1. Consistance Asymptotique :

   • Les auteurs démontrent que, lorsque la taille de l'échantillon $N \to \infty$, les valeurs optimales, les solutions et les points critiques du problème SAA convergent presque sûrement (w.p. 1) vers ceux du problème déterministe original (P).
   • Cette consistance est établie même pour des problèmes non convexes et avec des régularisateurs non lisses.

2. Estimations Non-Asymptotiques (Bornes d'Erreur) :

   • Cas Général (Non Convexe) : Ils établissent des bornes d'espérance sur la fonction de gap $\mathbb{E}[\Psi(u_N)]$. La taille de l'échantillon requise pour garantir une erreur inférieure à $\epsilon$ dépend du nombre de recouvrement de l'ensemble compact $B(D(\psi))$.
   • Cas Convexe (avec conditions de croissance) : Si l'intégrande est convexe et qu'une condition de croissance (type erreur quadratique) est satisfaite au niveau du minimiseur, les auteurs prouvent des taux de convergence plus forts :
     • Convergence des minimiseurs à la vitesse classique de Monte Carlo : $O(1/\sqrt{N})$.
     • Super-convergence de la fonction de gap et de la sous-optimalité de la valeur objectif à la vitesse $O(1/N)$.

3. Application aux Contrôles Bang-Bang :

   • Le cadre théorique est appliqué spécifiquement aux problèmes de contrôle contraints par des EDP affines-linéaires et bilinéaires.
   • Ils montrent que ces problèmes, souvent non convexes et non lisses, satisfont les hypothèses abstraites, justifiant l'utilisation de la méthode SAA.

4. Méthode Numérique :

   • Pour résoudre les problèmes SAA résultants, les auteurs proposent l'utilisation d'une méthode du gradient conditionnel (Conditional Gradient Method), adaptée aux problèmes avec régularisation non lisse.

4. Résultats et Validation Numérique

Les résultats théoriques sont validés par des expériences numériques sur deux types de problèmes EDP stochastiques :

• Problème Affine-Linéaire : Contrôle d'une EDP elliptique avec un terme source aléatoire.
• Problème Bilinéaire : Contrôle où le coefficient de diffusion dépend linéairement du contrôle (problème plus complexe).

Observations numériques :

• Les simulations montrent que les solutions SAA convergent effectivement vers les solutions de référence (calculées avec un très grand nombre d'échantillons).
• Les taux de convergence empiriques observés pour l'erreur de la fonction objectif et la fonction de gap correspondent étroitement aux prédictions théoriques (taux $O(1/N)$ pour le cas convexe).
• Les solutions obtenues exhibent clairement la structure bang-bang (valeurs aux bornes), confirmant l'efficacité de la régularisation $L^1$ dans ce contexte stochastique.
• Une observation intéressante : dans le cas bilinéaire, la convergence observée est parfois plus rapide que la borne théorique la plus pessimiste, suggérant que les nombres de recouvrement standard pourraient ne pas capturer toute la régularité locale du problème.

5. Signification et Impact

Cet article est significatif pour plusieurs raisons :

• Extension aux régularisateurs non lisses : Contrairement à la littérature précédente qui se concentrait souvent sur des régularisateurs Tikhonov lisses ($L^2$), ce travail étend l'analyse de la SAA aux régularisateurs $L^1$ et aux problèmes de contrôle mixte-entier relaxés.
• Cadre unifié pour les EDP stochastiques : Il fournit un cadre théorique rigoureux reliant la théorie de l'approximation empirique, l'analyse fonctionnelle (opérateurs compacts, espaces de Sobolev) et l'optimisation non lisse.
• Garanties de performance : Les bornes non asymptotiques fournissent des directives pratiques pour choisir la taille de l'échantillon $N$ nécessaire pour atteindre une précision donnée, ce qui est crucial pour les applications coûteuses en calcul (comme les simulations d'EDP).
• Applicabilité : La démonstration sur des problèmes bilinéaires, souvent plus difficiles à analyser que les problèmes linéaires, ouvre la voie à l'optimisation de systèmes physiques complexes sous incertitude avec des contraintes structurelles fortes (bang-bang).

En résumé, ce papier offre une fondation théorique solide et des outils pratiques pour résoudre des problèmes de contrôle optimal stochastique complexes, non convexes et non lisses, en garantissant la convergence et en quantifiant les erreurs d'échantillonnage.