Résumé Technique : Optimisation de Politique Contrainte par Projection dans l'Espace des Poids Basée sur l'Échantillonnage (SCPO)

1. Énoncé du Problème

L'article aborde le défi de l'apprentissage critique pour la sécurité, spécifiquement la nécessité d'améliorer les performances des contrôleurs basés sur l'apprentissage sans violer les contraintes de sécurité ni quitter un régime de fonctionnement sûr connu. Les auteurs se concentrent sur un cadre où :

• Les Contraintes de Sécurité sont Basées sur les Déroulements (Rollouts) : La sécurité est définie par des métriques au niveau de la trajectoire (par exemple, contraintes d'état, marges de stabilité) qui peuvent être évaluées via simulation (déroulements) mais qui ne sont pas analytiquement différentiables par rapport aux paramètres de la politique.
• Contraintes Boîte-Noire : Les fonctions de contrainte $g(\theta)$ manquent de jacobiennes sous forme fermée, rendant les méthodes d'optimisation contrainte standard (comme celles nécessitant des gradients explicites des contraintes) inapplicables.
• Objectif : Réaliser une optimisation de politique contrainte garantissant la faisabilité récursive (rester sûr à chaque étape d'entraînement) et une amélioration monotone de l'objectif de la tâche, en partant d'une initialisation sûre certifiée.

2. Méthodologie : SCPO

Les auteurs proposent SCPO (Optimisation de Politique Contrainte Basée sur l'Échantillonnage), une méthode qui impose la sécurité directement dans l'espace des poids du réseau de politique.

2.1 Architecture et Initialisation

Inspirée par l'Adaptation à Faible Rang (LoRA), la politique $\pi_\theta$ est structurée comme une combinaison d'un contrôleur de base certifié ($\pi_{safe}$) et d'un réseau de neurones résiduel ($\phi_\theta$) :
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$ : Un contrôleur stabilisant non paramétrique (par exemple, LQR avec écrêtage) qui garantit la sécurité et la stabilité dans une région $\Omega$.
• $\phi_\theta$ : Un réseau de neurones initialisé pour produire une sortie nulle ($\phi_{\theta_0} \equiv 0$). Cela assure que la politique initiale est identique à la base sûre.
• Objectif d'Apprentissage : Le processus d'entraînement est considéré comme une "adaptation sûre" dans le voisinage de $\pi_{safe}$, où $\phi_\theta$ apprend à améliorer les performances tandis que le mécanisme de projection garantit que la politique combinée reste stabilisante.

2.2 Construction de la Région Sûre Locale

Puisque $g(\theta)$ n'est pas différentiable, SCPO construit un ensemble sûr local dans l'espace des poids en utilisant :

1. Évaluations Point par Point : Les métriques de sécurité sont évaluées sur un ensemble fini de mises à jour de poids candidates (déroulements).
2. Bornes de Régularité : La méthode suppose une continuité de Lipschitz locale des contraintes de sécurité. Elle utilise une borne supérieure quadratique pour approximer la surface de contrainte :
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   où $L_i$ sont des constantes de courbure estimées à partir des mises à jour échantillonnées.

2.3 Projection Basée sur l'Échantillonnage

Au lieu de résoudre directement un problème d'optimisation contrainte de haute dimension, SCPO restreint la mise à jour à l'espace engendré par les mises à jour candidates échantillonnées ($D$).

• Banque de Candidats : Un tampon $D$ stocke les mises à jour récentes et leurs évaluations de sécurité correspondantes $G$.
• Projection de Basse Dimension : La mise à jour est paramétrée comme $\Delta\theta = Dc$, où $c \in \mathbb{R}^m$ est un vecteur de coefficients.
• Optimisation Convexe : Le problème se réduit à un Programme à Cône de Second Ordre (SOCP) (ou Programme Quadratique à Contraintes Quadratiques) dans l'espace de basse dimension $c$ :
  $$\min_c \|c - e_m\|_S^2 \quad \text{sous} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  Cela projette la mise à jour de gradient brute sur un ensemble sûr local conservateur, garantissant que les nouveaux poids satisfont les contraintes de sécurité.

2.4 Garanties Théoriques

• Sûreté par Induction : En partant d'une initialisation sûre ($g(\theta_0) \leq 0$), la projection garantit $g(\theta_{t+1}) \leq 0$ pour toutes les étapes ultérieures, à condition que la projection soit faisable.
• Stabilité : Pour les systèmes dynamiques linéaires, la méthode préserve la marge de Lyapunov, assurant que le système en boucle fermée reste localement asymptotiquement stable et que la région sûre $\Omega$ est invariante vers l'avant.
• Amélioration Monotone : En utilisant une recherche linéaire de type Armijo avec retour en arrière, l'algorithme garantit une diminution de la perte de tâche $L(\theta)$ sans violer les contraintes.

3. Contributions Clés

1. Projection dans l'Espace des Poids : Une méthode novatrice basée sur l'échantillonnage qui effectue une projection de sécurité directement dans l'espace des paramètres sans nécessiter de gradients des fonctions de contrainte.
2. Mécanisme de Sûreté par Induction : Un cadre d'apprentissage garantissant la faisabilité récursive et l'amélioration monotone de l'objectif, en partant de n'importe quelle initialisation sûre.
3. Analyse Théorique du Contrôle : Une preuve formelle que SCPO maintient la stabilité en boucle fermée pour les systèmes linéaires en préservant les marges de Lyapunov.
4. Validation Empirique : Démonstration de la robustesse face à une supervision nuisible et d'une exploration sûre dans des tâches de régression contrainte et d'apprentissage par imitation.

4. Résultats Expérimentaux

Les auteurs évaluent SCPO sur deux tâches :

4.1 Régression Contrainte

• Configuration : Un problème de régression 1D où la fonction cible viole une contrainte dure ($|y| \leq 1.4$) dans certaines régions.
• Résultat : SCPO ajuste avec succès la fonction cible dans les régions sûres tout en saturant doucement à la frontière de la contrainte. Contrairement à une base de référence à contrainte douce (qui nécessite des contraintes différentiables et un réglage des hyperparamètres), SCPO impose strictement la contrainte dure sans violation.

4.2 Apprentissage par Imitation pour Double Intégrateur

• Configuration : Une tâche de contrôle où un réseau de neurones tente d'imiter un "expert malveillant" (une politique agressive qui déstabilise le système) tout en partant d'une base LQR sûre.
• Résultat :
  • Rejet des Mises à Jour Nuisibles : SCPO rejette les mises à jour qui conduiraient à l'instabilité, empêchant la politique d'imiter le comportement déstabilisant de l'expert.
  • Préservation de la Stabilité : La politique apprise maintient la région de stabilisation du contrôleur sûr original, tandis que l'expert malveillant échoue à stabiliser le système sur une grande partie de l'espace d'état.
  • Performance : La politique réalise une amélioration significative de l'objectif d'imitation tout en restant dans le régime de fonctionnement sûr.

5. Importance et Limites

Importance :
L'article affirme que SCPO fournit une approche pratique et pilotée par les données pour l'apprentissage sûr qui ne repose pas sur des coûts de contrainte explicites ou des filtres de sécurité différentiables. En traitant un contrôleur de sauvegarde certifié comme une base figée et en projetant les mises à jour dans l'espace des poids, elle permet une adaptation sûre au-delà des bases conservatrices. Cela est particulièrement pertinent pour des domaines comme la conduite autonome et la robotique où les garanties formelles sont difficiles à dériver mais où la sécurité est non négociable.

Limites :
Les auteurs reconnaissent que la méthode est conservatrice. L'étape de projection ne génère pas de nouvelles directions d'amélioration ; elle sélectionne uniquement la meilleure direction sûre parmi les candidats échantillonnés existants. Les auteurs notent que les travaux futurs visent à intégrer d'autres techniques pour modifier l'objectif afin d'améliorer l'exploration sûre, en abordant ce conservatisme.

Conclusion :
SCPO offre un cadre rigoureux pour l'optimisation de politique contrainte qui comble le fossé entre l'apprentissage haute performance et les exigences de sécurité strictes, garantissant que les contrôleurs basés sur l'apprentissage restent sûrs et stables tout au long du processus d'entraînement.