A Distributionally Robust Optimal Control Approach for Differentially Private Dynamical Systems

Titel: Een Distributioneel Robuste Optimale Besturingsbenadering voor Differentieel Private Dynamische Systemen

Auteurs: Yeongjun Jang, Kaoru Teranishi, en Junsoo Kim.

1. Probleemstelling

Het paper adresseert het probleem van het veilig uitbesteden van berekeningen voor besturing (control computation) van een plant (systeem) aan een onbetrouwbare, externe cloudserver.

• Privacy-uitdaging: Om de gevoelige toestand van het systeem te beschermen, voegt de plant ruis toe aan de meetuitgaven om Differentiële Privacy (DP) te garanderen.
• Beperkingen van bestaande werken: Eerdere studies gaan er vaak van uit dat de server de exacte verdeling van de toegevoegde ruis kent (bijv. exacte variantie voor Gaussische ruis) en dat de ruis Gaussisch is. Dit heeft twee grote nadelen:
  1. Gaussische ruis biedt slechts een zwakker privacy-niveau ($( \epsilon, \delta)$-DP) vergeleken met niet-Gaussische ruis (zoals Laplace-ruis die $\epsilon$-DP biedt).
  2. In cloud-scenario's wil de plant vaak geen exacte ruisparameters onthullen aan de server vanwege privacyzorgen. De server kent dus alleen een ambiguïteitsset (een bereik van mogelijke verdelingen en parameters), niet de exacte verdeling.
• Het doel: Ontwerp een optimale feedbackregelaar die de ergste-case verwachte kosten minimaliseert over alle mogelijke ruisverdelingen binnen de ambiguïteitsset, zonder de exacte verdeling te kennen.

2. Methodologie

De auteurs ontwikkelen een distributioneel robuuste optimale besturings (Distributionally Robust Optimal Control - DROC) aanpak.

• Definitie van de Ambiguïteitsset ($\Xi$):
  De server weet alleen dat de ruis $v$ ofwel uit een Gaussische verdeling $N(0, \sigma^2 I)$ of een Laplace-verdeling $Lap(b, L)$ komt, waarbij de parameters binnen bepaalde intervallen liggen. Deze set is een vereniging van twee disjuncte verdelingen, wat de optimisatieprobleem niet-convex en computationeel onhandelbaar maakt.

• Convexe Relaxatie:
  Om het probleem oplosbaar te maken, wordt de originele ambiguïteitsset $\Xi$ gerelaxeerd naar een convexe Kullback-Leibler (KL) divergentie bol ($\mathcal{B}_\eta$).

  • Er wordt een nominale verdeling $P_{nom}$ gekozen (bijv. een Gaussische verdeling).
  • Er wordt bewezen dat alle toelaatbare verdelingen in $\Xi$ een KL-divergentie kleiner dan een bepaalde radius $\eta$ hebben ten opzichte van $P_{nom}$.
  • Dit vervangt het originele minimax-probleem door een nieuw probleem: minimaliseer de kosten over de convexe bol $\mathcal{B}_\eta$.

• Equivalente Formulering als Risico-gevoelige Besturing:
  Het paper toont aan dat het gerelaxeerde minimax-probleem equivalent is aan een risico-gevoelige optimale besturingsprobleem (risk-sensitive optimal control).

  • De innerlijke maximalisatie over de verdelingen wordt omgezet in een exponentiële kostenfunctie: $\log \mathbb{E}[\exp(J(K)/\tau)]$.
  • De parameter $\tau$ fungeert als een risicosensitiviteitsparameter. Een kleine $\tau$ (hoge risico-aversie) straft zeldzame, maar kostbare gebeurtenissen (tail events) zwaarder af.

• Oplossing:
  De oplossing behoudt een structuur die lijkt op de Lineaire Kwalitatieve Gaussische (LQG) regeling, maar met aangepaste Riccati-vergelijkingen:

  1. State Estimator: Een voorwaartse Riccati-vergelijking die de schatting van de toestand bijwerkt, waarbij de ruisvariatie en de risicoparameter $\tau$ de covariantie beïnvloeden.
  2. Feedback Regelaar: Een achterwaartse Riccati-vergelijking die de optimale feedbackwinst bepaalt.
  3. Optimalisatie van $\tau$: De optimale waarde voor $\tau$ wordt gevonden door een externe optimalisatie over $\tau > 0$ om de totale kosten te minimaliseren.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Dit is, voor zover bekend, het eerste werk dat een optimale regelaar synthetiseert voor differentieel private dynamische systemen waarbij zowel niet-Gaussische ruis (Laplace) als distributionele ambiguïteit (onbekende parameters) worden meegenomen.
2. Tractabiliteit: Het paper lost het computationele probleem van de niet-convexe ambiguïteitsset op door deze te relaxeren naar een KL-divergentie bol, wat leidt tot een gesloten-vorm oplossing (closed-form solution).
3. Robuustheid: De methode garandeert prestaties in het ergste geval, zelfs als de server de exacte ruisverdeling verkeerd inschat of als de plant een andere verdeling kiest dan verwacht.
4. Privacy-Performance Trade-off: Het biedt een wiskundig kader om de impact van de privacy-begroting ($\epsilon, \delta$) op de besturingskosten te analyseren, hoewel de exacte trade-off complex is door de koppeling tussen privacy en de risicoparameter.

4. Resultaten en Simulatie

De auteurs testen hun methode met een numeriek voorbeeld van een lineair tijd-invariant systeem.

• Vergelijking: De voorgestelde methode wordt vergeleken met een standaard LQG-regelaar die ervan uitgaat dat de ruis exact de nominale verdeling volgt.
• Prestaties:
  • De voorgestelde methode presteert aanzienlijk beter in de 95e percentiel en worst-case scenario's wanneer de werkelijke ruisparameters afwijken van de aangenomen waarden.
  • Dit komt doordat de risico-gevoelige formulering inherent zwaarder straft voor "staartgebeurtenissen" (extreme ruis).
  • Er is een lichte degradatie in de gemiddelde prestatie (mean performance) vergeleken met de standaard LQG als de ruis exact overeenkomt met de aanname, maar dit is een aanvaardbare prijs voor de verkregen robuustheid.
• Privacy-impact: De simulaties tonen aan dat strengere privacy-eisen (kleinere $\epsilon$ of $\delta$) leiden tot hogere kosten, wat logisch is omdat meer ruis nodig is voor privacy, maar de methode blijft stabiel.

5. Significance en Conclusie

Dit paper is significant omdat het een brug slaat tussen Differentiële Privacy en Robuuste Besturing in cloud-omgevingen.

• Het lost het praktische probleem op dat servers vaak niet de exacte privacy-parameters van de client mogen weten.
• Het biedt een wiskundig onderbouwde manier om onzekerheid over ruisverdelingen te behandelen zonder te vallen op conservatieve, niet-optimale benaderingen.
• De methode maakt het mogelijk om dynamische systemen veilig uit te besteden aan de cloud, zelfs als de server "semi-ehrlijk" is (goed uitvoert maar probeert informatie te infereren) en de privacy-mechanismen variëren tussen Gaussisch en Laplace.

Kortom, het paper levert een tractabele, robuuste oplossing voor het besturen van privacy-beschermd dynamische systemen in onzekere omgevingen.