A Distributionally Robust Optimal Control Approach for Differentially Private Dynamical Systems

1. Problématique

L'article aborde le défi du contrôle optimal pour des systèmes dynamiques dans un contexte de cloud computing, où un dispositif (la plante) délègue le calcul de contrôle à un serveur distant non fiable. Le problème central réside dans la nécessité de préserver la vie privée des données de l'état du système tout en maintenant des performances de contrôle robustes.

• Contexte de confidentialité : La plante injecte du bruit calibré dans ses mesures de sortie pour garantir la confidentialité différentielle (DP). Cela empêche le serveur (même s'il est « semi-honnête », c'est-à-dire qu'il exécute le protocole correctement mais tente d'inférer des informations sensibles) de reconstruire avec précision la trajectoire d'état réelle.
• Limites des approches existantes : Les travaux antérieurs supposent généralement que le serveur connaît exactement la distribution du bruit (souvent gaussienne) et ses paramètres. Cela présente deux faiblesses majeures :
  1. Le bruit gaussien n'offre qu'une garantie de DP faible ($\epsilon, \delta$-DP), tandis que des bruits non gaussiens (comme le Laplace) sont nécessaires pour une DP forte ($\epsilon$-DP).
  2. Dans un scénario de cloud, la plante peut refuser de divulguer les paramètres exacts du bruit (variance, échelle) au serveur par crainte de fuites d'information.
• Le défi : Le serveur ne dispose que d'un ensemble d'ambiguïté $\Xi$ contenant un éventail de distributions de bruit admissibles (unions de distributions Gaussiennes et Laplaciennes avec des paramètres incertains). Les méthodes de contrôle classiques (comme le contrôle LQG) échouent car elles nécessitent une connaissance exacte de la distribution du bruit. De plus, l'ensemble d'ambiguïté $\Xi$ étant non convexe, le problème d'optimisation robuste est intraitable computationnellement.

2. Méthodologie

Les auteurs proposent une approche de contrôle optimal robuste distribué (Distributionally Robust Optimal Control - DROC) pour surmonter ces limitations.

A. Formulation du problème

Le serveur formule un problème d'optimisation minimax : trouver un contrôleur $K$ qui minimise le coût espéré maximal (pire cas) sur l'ensemble des distributions de bruit admissibles $\Xi$.
$$\inf_{K \in \Lambda} \sup_{P \in \Xi} \mathbb{E}_{v \sim P} [J(K)]$$
où $J(K)$ est une fonction de coût quadratique standard (LQG).

B. Relaxation par Divergence de Kullback-Leibler (KL)

La difficulté principale est la non-convexité de l'ensemble $\Xi$ (union de Gaussiennes et Laplaciennes). Pour rendre le problème traitable, les auteurs :

1. Définissent une distribution nominale $P_{nom}$ (une Gaussienne).
2. Dérivent une borne supérieure de la divergence KL entre n'importe quelle distribution dans $\Xi$ et $P_{nom}$.
3. Relâchent l'ensemble d'ambiguïté $\Xi$ en un ballon de divergence KL convexe $\mathcal{B}_\eta$ centré sur $P_{nom}$ avec un rayon $\eta$. Cela garantit que $\Xi \subset \mathcal{B}_\eta$.

C. Transformation en Contrôle Sensible au Risque

En utilisant la dualité forte et la formule variationnelle de Donsker-Varadhan, le problème minimax relaxé est équivalent à un problème de contrôle optimal sensible au risque (risk-sensitive control).
Le problème devient :
$$\inf_{\tau > 0} \tau (\eta + W_\tau)$$
où $W_\tau$ est la valeur optimale d'un problème de contrôle sensible au risque avec un paramètre de sensibilité au risque $\theta = 1/\tau$.

D. Solution Analytique

Pour un $\tau$ fixé, le problème de contrôle sensible au risque admet une solution sous forme fermée, structurée comme un contrôleur LQG mais avec des équations de Riccati modifiées :

• Estimateur d'état : Une équation de Riccati forward modifiée qui intègre le paramètre de risque $\tau$.
• Politique de rétroaction : Une équation de Riccati backward modifiée.
• Optimisation du paramètre $\tau$ : Comme la solution analytique pour $\tau^*$ optimal n'est pas disponible, elle est déterminée numériquement en évaluant la fonction objectif sur une plage de valeurs de $\tau$ (comme illustré dans la Figure 1 de l'article).

3. Contributions Clés

1. Première approche DROC pour la DP : C'est, à la connaissance des auteurs, le premier résultat synthétisant un contrôleur optimal pour des systèmes dynamiques privés qui prend en compte simultanément le bruit non gaussien (Laplace) et l'ambiguïté de distribution.
2. Gestion de l'incertitude paramétrique : Contrairement aux travaux précédents, la méthode ne suppose pas que le serveur connaît les paramètres exacts du bruit, seulement un ensemble admissible, ce qui est plus réaliste pour les architectures cloud.
3. Traitabilité computationnelle : La relaxation par un ballon KL transforme un problème non convexe et intraitable en un problème convexe admettant une solution analytique fermée (via la reformulation en contrôle sensible au risque).
4. Robustesse garantie : La méthode garantit des performances minimales (pire cas) contre n'importe quelle distribution de bruit dans l'ensemble d'ambiguïté, offrant une protection contre les erreurs de modélisation du bruit.

4. Résultats de Simulation

Les auteurs ont validé leur approche sur un exemple numérique avec un horizon de 20 pas de temps.

• Comparaison avec LQG standard : Le contrôleur proposé a été comparé à un contrôleur LQG conçu sous l'hypothèse que le bruit suit exactement la distribution nominale.
  • Résultat : Le contrôleur proposé réduit significativement le 95ème percentile et la valeur du pire cas du coût $J(K)$ par rapport au LQG standard, lorsque les paramètres réels du bruit s'écartent de la distribution nominale.
  • Compromis : Cette robustesse s'accompagne d'une légère dégradation des performances dans le cas moyen (moyenne du coût), ce qui est un compromis classique dans les approches robustes.
• Impact des paramètres de confidentialité : Les simulations montrent que l'augmentation des exigences de confidentialité (diminution de $\epsilon$ ou $\delta$) dégrade généralement les performances de contrôle, car cela force l'injection de plus de bruit (variance ou échelle plus grandes). La relation n'est pas strictement monotone en raison des effets couplés des paramètres sur la solution optimale.

5. Signification et Conclusion

Cet article propose une avancée significative dans le domaine du contrôle sécurisé et privé. Il démontre qu'il est possible de concevoir des contrôleurs optimaux pour des systèmes dynamiques dans des environnements cloud non fiables, même lorsque les informations sur le mécanisme de confidentialité sont partielles.

La méthode proposée offre un cadre théorique solide pour équilibrer la confidentialité (via la DP) et la performance du contrôle, en fournissant des garanties de robustesse contre les incertitudes de modélisation du bruit. En transformant un problème d'optimisation distribué complexe en un problème de contrôle sensible au risque traitable, les auteurs ouvrent la voie à des applications pratiques où la sécurité des données et l'efficacité opérationnelle doivent coexister sans compromettre l'une pour l'autre.