Distributionally Robust PAC-Bayesian Control

1. Problématique

L'intégration de l'apprentissage automatique dans la théorie du contrôle offre des outils puissants pour synthétiser des politiques de contrôle à partir de données, mais ces contrôleurs souffrent de deux limitations majeures :

1. L'hypothèse de distribution identique : La plupart des méthodes supposent que la distribution des données d'entraînement correspond exactement à celle du déploiement (réel). En pratique, l'écart "sim-to-real" (écarts de distribution, perturbations non modélisées) dégrade fortement les performances.
2. Les pertes non bornées : La littérature existante sur les bornes PAC-Bayes en contrôle suppose souvent des pertes bornées (ce qui est artificiel pour les systèmes dynamiques) ou utilise des mesures de divergence (f-divergences) qui ne dépendent pas explicitement de la politique de contrôle.

L'objectif de cet article est de fournir des garanties de généralisation à probabilité élevée pour des contrôleurs appris sur un échantillon fini, même en présence de décalages de distribution (distribution shift) et de pertes non bornées (mais lipschitziennes).

2. Méthodologie

Les auteurs proposent un cadre unifié combinant la théorie PAC-Bayésienne et l'Optimisation Robuste Distributionnelle (DR) via la distance de Wasserstein de type 1.

A. Cadre Théorique : PAC-Bayes Robuste

• Approche : Au lieu de borner le risque empirique par rapport à une distribution de test fixe, l'approche maximise le risque sur un ensemble d'ambiguïté (ambiguity set) centré sur la distribution d'entraînement.
• Distance de Wasserstein ($W_1$) : L'ensemble d'ambiguïté est défini comme une boule de rayon $\rho$ autour de la distribution d'entraînement, mesurée par la distance de Wasserstein-1.
• Dualité de Kantorovich-Rubinstein : En utilisant cette dualité, les auteurs montrent que le pire risque attendu sur l'ensemble d'ambiguïté est borné par le risque nominal plus une pénalité proportionnelle à la constante de Lipschitz du contrôleur ($L(K)$) et au rayon de robustesse ($\rho$).
  $$\sup_{D' \in \mathcal{A}_\rho(D)} \mathbb{E}_{Z \sim D'}[\ell(K, Z)] \leq \mathbb{E}_{Z \sim D}[\ell(K, Z)] + \rho L(K)$$
• Pertes Sub-Gaussiennes : Contrairement aux travaux précédents, le cadre accepte des pertes non bornées, à condition qu'elles soient sub-Gaussiennes (avec une variance proxy dépendante du contrôleur).

B. Implémentation pour les Systèmes Linéaires (SLS)

Pour rendre le problème calculable pour les systèmes linéaires invariants dans le temps (LTI) sur un horizon fini, les auteurs utilisent la Synthèse de Niveau Système (System Level Synthesis - SLS) :

• Reparamétrisation : Au lieu d'optimiser directement la matrice de gain du contrôleur, ils optimisent les réponses en boucle fermée (maps de la perturbation vers les états et les entrées), notées $\Phi_x$ et $\Phi_u$.
• Paramétrisation affine : Les contraintes de faisabilité du système LTI deviennent affines dans l'espace des réponses en boucle fermée. Cela permet de paramétrer l'espace des hypothèses (les contrôleurs) par un vecteur $\theta$ dans un sous-espace affine.
• Certificats explicites : Grâce à la structure SLS, les auteurs dérivent des bornes explicites pour :
  1. La constante de Lipschitz de la fonction de perte : $L(\theta) = \|M(\theta)\|_{op}$ (norme opérateur de la carte boucle fermée).
  2. Le proxy de variance sub-Gaussienne ($\sigma(\theta)$) : Dépend également de la norme opérateur de la carte boucle fermée et de la covariance des perturbations.

C. Problème d'Optimisation

Le problème d'apprentissage se réduit à l'optimisation d'une distribution a posteriori $Q$ sur les paramètres $\theta$ pour minimiser une borne supérieure du risque robuste :
$$\min_{Q} \mathbb{E}_{\theta \sim Q} \left[ \hat{R}_S(\theta) + \rho \|M(\theta)\|_{op} \right] + C_n^\delta(Q, P, \sigma)$$
Où le terme de complexité $C_n^\delta$ inclut la divergence de Kullback-Leibler (KL) et dépend de la variance proxy. Ce problème est résolu numériquement en supposant des distributions gaussiennes pour $Q$ et en utilisant des méthodes de différenciation automatique.

3. Contributions Clés

1. Extension Distributionnellement Robuste : Introduction d'une extension PAC-Bayes utilisant la distance de Wasserstein-1, capable de gérer des décalages de distribution entre l'entraînement et le déploiement.
2. Gestion des Pertes Non Bornées : Développement de bornes pour des fonctions de perte non bornées (mais lipschitziennes), évitant ainsi le besoin de saturer artificiellement les coûts de contrôle.
3. Certificats Dépendants du Contrôleur via SLS : Pour les systèmes LTI, la méthode fournit des certificats de concentration et de robustesse qui dépendent explicitement de la norme opérateur de la carte boucle fermée. Cela lie directement la performance théorique à la géométrie du contrôleur.
4. Tractabilité Computationnelle : Transformation du problème théorique en un problème d'optimisation convexe (ou approché par gradient) réalisable pour des systèmes de taille raisonnable, sans nécessiter l'identification de la distribution de perturbation réelle.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur un exemple numérique d'un double intégrateur (système LTI discret) sur un horizon fini de 10 pas.

• Comparaison : Ils comparent leur méthode "Robuste" (DR-PAC-Bayes) avec une méthode "Vanilla" (PAC-Bayes standard sans pénalité Wasserstein).
• Décalage de Distribution : Les tests sont effectués avec un décalage de distribution (changement de la moyenne des perturbations) qui reste à l'intérieur du rayon de robustesse certifié.
• Observations :
  • La borne Vanilla est violée : le risque réel observé dépasse la borne théorique calculée, car elle ne prend pas en compte le décalage.
  • La borne Robuste est valide : elle reste une borne supérieure stricte du risque réel, même en présence de décalage.
  • Performance : Le contrôleur obtenu par la méthode robuste présente non seulement une garantie théorique valide, mais aussi un coût empirique plus faible sur les données de test perturbées que le contrôleur "Vanilla".
  • La décomposition de la borne (Figure 1) montre que le terme de complexité PAC-Bayes diminue avec la taille de l'échantillon, tandis que le terme de pénalité Wasserstein et le risque empirique sont équilibrés par l'optimisation.

5. Signification et Impact

Ce travail est significatif car il comble un fossé important entre la théorie de l'apprentissage statistique et la pratique du contrôle robuste.

• Sécurité : Il offre des garanties de sécurité formelles pour le déploiement de contrôleurs appris dans des environnements incertains, là où les méthodes classiques échouent.
• Rigueur Théorique : Il élimine l'hypothèse restrictive de pertes bornées, rendant le cadre applicable à des coûts quadratiques ou autres normes usuelles en contrôle.
• Lien Contrôleur-Performance : En reliant la pénalité de robustesse à la norme opérateur de la boucle fermée, la méthode encourage implicitement l'apprentissage de contrôleurs qui sont non seulement performants, mais aussi "robustes" par nature (faible sensibilité aux perturbations).

En résumé, l'article propose un cadre mathématiquement rigoureux et computationnellement tractable pour certifier la performance de contrôleurs appris, garantissant qu'ils resteront sûrs et performants même lorsque les conditions réelles diffèrent des données d'entraînement.