Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

Titel: Distributioneel Robuste Regret-Optimale Regeling onder Moment-gebaseerde Ambiguïteitssets

Auteurs: Feras Al Taha en Eilyan Bitar (Cornell University)
Publicatie: Proceedings of Machine Learning Research, Vol. 331, 8e Jaarlijkse Conferentie over Leren voor Dynamica en Regeling (2026).

1. Probleemstelling

Het artikel adresseert een centraal probleem in de regeling van dynamische systemen: het nemen van beslissingen op basis van onvolledige informatie over toekomstige verstoringen.

• Context: Er wordt gekeken naar eind-horizon, lineair-kwadratische (LQ) stochastische regelingproblemen.
• Uitdaging: De ware kansverdeling van het ruisproces (verstoring) is onbekend. Standaard stochastische regelingmethoden zijn gevoelig voor afwijkingen van de aangenomen verdeling (modelonzekerheid), wat leidt tot prestatieverlies.
• Aanpak: In plaats van te optimaliseren voor één specifieke verdeling, wordt een distributioneel robuuste aanpak gebruikt. De onbekende verdeling wordt verondersteld te behoren tot een ambiguïteitsset (een verzameling mogelijke verdelingen).
• Specifiek doel: Het ontwerpen van causale, affiene regelpolitieken die de worst-case verwachte regret minimaliseren over alle verdelingen binnen deze set.
  • Regret wordt gedefinieerd als het extra kostenplaatje dat een causale regelaar maakt ten opzichte van een ideale, niet-causale regelaar die de volledige verstoringstraject op voorhand kent.

2. Methodologie

Ambiguïteitsset (Onzekerheidsmodel)

De auteurs definiëren een nieuwe klasse van ambiguïteitssets gebaseerd op momenten (gemiddelde en covariantie):

• Het gemiddelde ($\mu$) ligt binnen een Euclidische norm-bal rond een nominale waarde ($\hat{\mu}$).
• De covariantiematrix ($\Sigma$) ligt binnen een Schatten $p$-norm-bal rond een nominale waarde ($\hat{\Sigma}$).
• De Schatten $p$-norm generaliseert bekende normen: $p=1$ (nucleaire norm), $p=2$ (Frobenius-norm), en $p=\infty$ (spectrale norm).
• Dit model staat toe voor tijdsgecorreleerde en niet-Gaussische verstoringen.

Convexe Herformulering

Het oorspronkelijke minimax-probleem (minimaliseren van de maximale verwachte regret) wordt omgezet in een tractabele convex programma:

• De verwachte regret hangt alleen af van de eerste en tweede momenten van de verstoring.
• Het probleem wordt herschreven als het minimaliseren van een objectief dat bestaat uit drie termen:
  1. De nominale verwachte kosten onder de covariantie $\hat{\Sigma}$.
  2. Een spectrale norm-penalty ($r_1 \|C(K)\|_\infty$) die voortkomt uit onzekerheid in het gemiddelde.
  3. Een Schatten $q$-norm-penalty ($r_2 \|C(K)\|_q$) die voortkomt uit onzekerheid in de covariantie (waarbij $1/p + 1/q = 1$).
• Dit kan worden geïnterpreteerd als een geregulariseerd lineair-kwadratisch stochastisch regelingprobleem. De regularisatie termen straffen de gevoeligheid van de regelaar voor verdelingsverschuivingen af.

Oplossingsalgoritme: Gedeelde Projectie Supergradient

Hoewel het probleem als een Semidefinite Program (SDP) kan worden opgelost, is dit computatief duur voor grote systemen. De auteurs ontwikkelen daarom een projected supergradient methode gebaseerd op het duale probleem:

• Het duale probleem wordt gemaximaliseerd over de ambiguïteitsset.
• De methode gebruikt een projectie op de Schatten-norm ballen.
• Een belangrijk theoretisch resultaat is dat als de nominale covariantie positief-definitief is, de methode reduceert tot een projected gradient ascent methode, wat snellere convergentie mogelijk maakt.
• De complexiteit van de projectiestap wordt gedomineerd door eigendecompositie ($O(n^3)$), wat schaalbaar is voor grotere systemen dan traditionele SDP-oplossers.

3. Belangrijkste Bijdragen

1. Nieuwe Ambiguïteitsset: Introductie van een set gebaseerd op Euclidische norm voor het gemiddelde en Schatten-norm voor de covariantie, wat flexibiliteit biedt in het modelleren van onzekerheid.
2. Tractabele Herformulering: Bewijs dat het distributioneel robuuste regret-optimalisatieprobleem equivalent is aan een convex programma met specifieke regularisatietermen. Dit verbindt regret-optimalisatie met klassieke LQ-regeling.
3. Schaalbaar Algoritme: Ontwikkeling van een projectie supergradient algoritme dat grote SDP's omzeilt en controllers tot elke gewenste nauwkeurigheid efficiënt berekent.
4. Generalisatie: Het kader generaliseert eerdere werk over robuuste regret-optimalisatie (gebaseerd op norm-begrensde verstoringen) naar een stochastische setting.

4. Resultaten en Numerieke Experimenten

De auteurs testen hun methode op een gedempte dubbele integrator met AR(1) verstoringen over een horizon van $T=10$ tot $T=200$.

• Vergelijking: De voorgestelde methoden (NUC-REGRET, FROB-REGRET, SPEC-REGRET) worden vergeleken met:
  • Methoden gebaseerd op Wasserstein-afstand (state-of-the-art).
  • Sample Average Approximation (SAA).
  • De optimale causale regelaar (met ware verdeling).
• Prestaties:
  • De SPEC-REGRET controller (gebaseerd op spectrale norm, $p=\infty$) presteert over het algemeen het beste en benadert de prestaties van de optimale causale regelaar, vooral wanneer de verstoringen ongecorreleerd zijn.
  • De voorgestelde methoden leveren een betere out-of-sample prestatie op dan SAA en vaak beter dan Wasserstein-gebaseerde methoden, vooral bij het minimaliseren van regret.
  • De methoden zijn minder conservatief dan pure worst-case kostenminimalisatie.
• Schaalbaarheid:
  • Het projectie supergradient algoritme convergeert snel en is aanzienlijk sneller dan een state-of-the-art interior-point SDP-oplosser (bijv. MOSEK).
  • Voor grote horizons ($T=80$) is het algoritme meer dan 100 keer sneller dan de SDP-oplosser, terwijl het SDP-probleem voor $T > 80$ vaak te groot wordt voor het geheugen van de solver.

5. Betekenis en Conclusie

Dit artikel biedt een brug tussen distributioneel robuuste optimalisatie en regret-optimalisatie.

• Theoretisch: Het toont aan dat het minimaliseren van worst-case regret onder moment-gebaseerde onzekerheid leidt tot een elegant, geregulariseerd LQ-probleem. De keuze van de Schatten-norm ($p$) bepaalt het type regularisatie en daarmee de trade-off tussen nominale prestatie en robuustheid.
• Praktisch: De voorgestelde algoritmen maken het mogelijk om robuuste controllers te ontwerpen voor grootschalige systemen waar traditionele SDP-methoden falen vanwege rekenkundige beperkingen.
• Toepassing: De methode is bijzonder nuttig in data-gedreven regelingssituaties waar de ware verdeling onbekend is en alleen een eindige steekproef beschikbaar is, en waar men wil voorkomen dat de regelaar te conservatief wordt (wat vaak gebeurt bij pure worst-case kostenminimalisatie).

Kortom, de auteurs presenteren een wiskundig onderbouwde en computatief efficiënte framework voor het ontwerpen van regelaars die zowel robuust zijn tegen verdelingsonzekerheid als optimaal presteren in termen van regret.