A Distributionally Robust Optimal Control Approach for Differentially Private Dynamical Systems

1. Problemstellung

Das Paper adressiert das Problem der sicheren Steuerung von dynamischen Systemen in einer Cloud-Architektur, bei der ein ressourcenbeschränktes Gerät (die „Pflanze") rechenintensive Steuerungsaufgaben an einen nicht vertrauenswürdigen, entfernten Server auslagert.

• Datenschutzanforderung: Um die Privatsphäre der Zustandsbahn des Systems zu schützen, fügt die Pflanze kalibriertes Rauschen zu ihren Ausgangsmessungen hinzu, um Differential Privacy (DP) zu gewährleisten. Dies verhindert, dass ein Angreifer (oder ein semi-ehrlicher Server) sensible Informationen über den Systemzustand aus den privat gemachten Daten ableiten kann.
• Das Dilemma der Unsicherheit: In herkömmlichen Ansätzen (z. B. LQG-Steuerung) muss der Server die exakte Verteilung des hinzugefügten Rauschens (z. B. Varianz bei Gauß-Rauschen oder Skalenparameter bei Laplace-Rauschen) kennen. In diesem Szenario ist die Pflanze jedoch nicht bereit, diese Parameter preiszugeben, um ihre Privatsphäre zu wahren.
• Die Herausforderung: Der Server kennt nur eine Ambiguitätsmenge (eine Menge zulässiger Rauschverteilungen), die sowohl Gauß- als auch Laplace-Verteilungen mit bestimmten Parameterbereichen umfasst. Da die exakte Verteilung unbekannt ist, sind Standard-Optimierungsmethoden wie der Kalman-Filter oder LQG nicht direkt anwendbar. Zudem ist die Menge der zulässigen Verteilungen nicht-konvex (eine Vereinigung von Gauß- und Laplace-Verteilungen), was die direkte Lösung eines minimax-Optimierungsproblems rechnerisch unlösbar (intractable) macht.

2. Methodik

Die Autoren entwickeln einen Ansatz der verteilungsgerechten robusten optimalen Steuerung (Distributionally Robust Optimal Control, DROC), der wie folgt funktioniert:

1. Formulierung als Minimax-Problem:
   Der Server formuliert ein Optimierungsproblem, bei dem ein Regler $K$ gesucht wird, der die worst-case erwartete Kostenfunktion über alle möglichen Verteilungen innerhalb der Ambiguitätsmenge $\Xi$ minimiert.
   $$\inf_{K \in \Lambda} \sup_{P \in \Xi} \mathbb{E}_{v \sim P} [J(K)]$$
   Da $\Xi$ nicht-konvex ist, ist dieses Problem schwer zu lösen.

2. Konvexe Relaxierung mittels KL-Divergenz:
   Um die Berechenbarkeit zu gewährleisten, wird die ursprüngliche Ambiguitätsmenge $\Xi$ durch eine konvexe Kullback-Leibler (KL)-Divergenz-Ball $\mathcal{B}_\eta$ relaxiert.

   • Es wird eine nominale Verteilung $P_{nom}$ (z. B. eine Gauß-Verteilung) gewählt.
   • Es wird gezeigt, dass alle zulässigen Verteilungen in $\Xi$ innerhalb eines bestimmten Radius $\eta$ bezüglich der KL-Divergenz zu $P_{nom}$ liegen.
   • Das Problem wird somit zu einem konvexen Optimierungsproblem über den KL-Ball umformuliert.

3. Äquivalenz zur Risikosensitiven Steuerung:
   Durch Anwendung der starken Dualität und der Donsker-Varadhan-Variationsformel wird gezeigt, dass das relaxierte Minimax-Problem äquivalent zu einem risikosensitiven optimalen Steuerungsproblem ist.

   • Das innere Maximierungsproblem über die Verteilungen wird in ein Problem umgewandelt, das die Minimierung eines exponentiellen Erwartungswerts der Kosten beinhaltet:
     $$\inf_{K} \log \mathbb{E}_{P_{nom}} \left[ \exp\left(\frac{J(K)}{\tau}\right) \right]$$
   • Der Parameter $\tau$ (bzw. $\theta = 1/\tau$) steuert die Risikosensitivität. Ein kleineres $\tau$ bedeutet eine höhere Risikoaversion und stärkere Bestrafung von Extremfällen (Tail-Events).

4. Analytische Lösung:
   Für einen festen Parameter $\tau$ lässt sich das Problem analytisch lösen. Die Lösung besitzt eine Struktur ähnlich dem LQG-Regler, besteht aber aus zwei gekoppelten Komponenten:

   • Einem Zustandsschätzer, der durch eine Vorwärts-Riccati-Gleichung beschrieben wird.
   • Einem Feedback-Gesetz, das durch eine Rückwärts-Riccati-Gleichung bestimmt wird.
   • Beide Gleichungen hängen explizit vom Risikosensitivitätsparameter $\tau$ ab. Der optimale $\tau$ wird durch eine eindimensionale Suche über die Zielkostenfunktion bestimmt.

3. Hauptbeiträge

• Neuer Rahmen für DP-Steuerung: Dies ist einer der ersten Ansätze, der eine optimale Steuerung für differentielle private dynamische Systeme entwickelt, der sowohl nicht-Gaußsche Rauschverteilungen (Laplace) als auch Unsicherheiten in den Rauschstatistiken (Distributional Ambiguity) berücksichtigt.
• Überwindung der Nicht-Konvexität: Die Autoren schlagen eine innovative Methode vor, die nicht-konvexe Ambiguitätsmenge (Vereinigung von Gauß und Laplace) durch einen konvexen KL-Divergenz-Ball zu relaxieren, was eine geschlossene analytische Lösung ermöglicht.
• Verbindung von Robustheit und Privatsphäre: Der Ansatz verbindet Differential Privacy direkt mit risikosensitiver Steuerung. Der Privacy-Budget-Parameter $\epsilon$ beeinflusst die unteren Schranken des Rauschens, was wiederum den KL-Radius $\eta$ und damit den optimalen Risikosensitivitätsparameter $\tau^*$ bestimmt.
• Geschlossene Formel: Im Gegensatz zu numerischen Approximationen in ähnlichen Arbeiten bieten die Autoren eine geschlossene Formel für den optimalen Regler und den Zustandsschätzer.

4. Simulationsergebnisse

Die Autoren validieren ihren Ansatz an einem numerischen Beispiel mit einem diskreten linearen System:

• Robustheit gegenüber Rauschfehlanpassung: Im Vergleich zu einem Standard-LQG-Regler (der von der Kenntnis der exakten Rauschverteilung ausgeht) zeigt der vorgeschlagene DROC-Regler eine signifikant bessere Leistung in den Worst-Case-Szenarien und beim 95. Perzentil der Kosten.
• Trade-off: Die Verbesserung der Robustheit gegen extreme Rauschabweichungen geht mit einer leichten Verschlechterung der durchschnittlichen Leistung (Mean Cost) einher, was typisch für risikosensitive Ansätze ist.
• Einfluss von Privacy-Parametern: Die Simulationen zeigen, dass eine strengere Privatsphäre (kleineres $\epsilon$ oder $\delta$) zu höheren Rauschamplituden führt, was die Steuerleistung verschlechtert. Der Zusammenhang ist jedoch nicht streng monoton, was auf die komplexen Kopplungseffekte zwischen Privacy-Parametern und dem optimalen $\tau$ hinweist.

5. Bedeutung und Fazit

Dieses Paper ist bedeutend, da es eine praktische Lösung für ein kritisches Problem in der vernetzten Steuerung bietet: Wie steuert man ein System effizient, wenn der Server die genauen Datenschutzparameter nicht kennt, aber dennoch robuste Leistung garantieren muss?

• Praktische Relevanz: Der Ansatz ermöglicht es Cloud-Servern, Steuerungsaufgaben für sensible Systeme (z. B. in Smart Grids oder autonomen Fahrzeugen) durchzuführen, ohne dass die Pflanze ihre internen Parameter offenlegen muss.
• Theoretischer Fortschritt: Die Umwandlung eines intractable Minimax-Problems in ein lösbares risikosensitives Problem durch KL-Relaxierung ist ein elegantes mathematisches Werkzeug, das auch in anderen Bereichen der robusten Steuerung Anwendung finden könnte.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für weiterführende Forschungen, insbesondere zur Analyse des exakten Trade-offs zwischen Privatsphäre und Steuerleistung sowie zur Erweiterung auf nichtlineare Systeme.

Zusammenfassend bietet das Paper einen rigorosen und rechnerisch effizienten Rahmen für die Steuerung von Systemen unter strengen Datenschutzanforderungen und Verteilungsunsicherheit.