🤖 machine learning

Distributionally Robust PAC-Bayesian Control

Deze paper introduceert een distributioneel robuust PAC-Bayesiaans raamwerk dat, door gebruik te maken van System Level Synthesis en de 1-Wasserstein-afstand, prestatiegaranties biedt voor leergerichte controllers in onbekende omgevingen met onbegrensde verliezen en distributieveranderingen.

Oorspronkelijke auteurs: Domagoj Herceg, Duarte Antunes

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Domagoj Herceg, Duarte Antunes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren een taak uit te voeren, zoals een pakketje bezorgen in een drukke stad. Je traint de robot eerst in een virtuele simulatie (een computerwereld) met duizenden voorbeelden van hoe het eruit zou kunnen zien.

Het probleem is dat de echte wereld nooit precies hetzelfde is als de simulatie. In de echte wereld kunnen er onverwachte dingen gebeuren: een plotselinge windvlaag, een kind dat het pad op rent, of een glibberige weg. Dit noemen onderzoekers de "sim-to-real gap" (het gat tussen simulatie en realiteit). Als je robot alleen is getraind op de perfecte simulatie, kan hij in de echte wereld snel falen of zelfs gevaarlijk worden.

Deze paper, geschreven door Domagoj Herceg en Duarte Antunes, biedt een slimme manier om deze robot veilig en betrouwbaar te maken, zelfs als de echte wereld anders is dan de training. Ze noemen hun methode "Distributionally Robust PAC-Bayesian Control". Dat klinkt als een mond vol, maar laten we het opbreken met een paar simpele analogieën.

1. Het Probleem: De "Onzichtbare" Risico's

Stel je voor dat je een speler traint voor een voetbalwedstrijd.

De oude manier: Je kijkt alleen naar hoe goed de speler presteert tijdens de training (de simulatie). Je zegt: "Hij heeft 95% van de trainingen gewonnen, dus hij is goed." Maar wat als de echte wedstrijd in de regen wordt gespeeld, terwijl de training altijd in de zon was? De oude methode ziet dat risico niet.
Het risico van "onbeperkte" fouten: In de echte wereld kan een fout soms heel groot zijn (bijvoorbeeld: de robot valt om en breekt iets). Veel oude methoden gaan er simpelweg van uit dat fouten altijd klein blijven, wat in de praktijk vaak niet waar is.

2. De Oplossing: Een "Veiligheidsnet" voor Onzekerheid

De auteurs gebruiken een combinatie van twee krachtige ideeën:

A. De "PAC-Bayes" Methode (De Slimme Gok)
Stel je voor dat je niet één vaste strategie kiest voor je robot, maar een pakket aan strategieën (een "verdeling").

In plaats van te zeggen: "Deze ene strategie is perfect," zeggen ze: "We hebben een pakket van 1000 strategieën. De meeste zijn goed, een paar zijn matig."
De PAC-Bayes-theorie helpt hen om met wiskundige zekerheid te zeggen: "Met 99% zekerheid zal het gemiddelde resultaat van dit pakket strategieën binnen een bepaalde grens blijven." Het is alsof je een verzekering afsluit voor het gemiddelde van je team, in plaats van voor één speler.

B. De "Wasserstein" Methode (De Veiligheidsmarge)
Hier komt het creatieve deel. Ze erkennen dat de echte wereld (de test) anders kan zijn dan de training.

Stel je voor dat je een veiligheidsmarge tekent rondom je trainingsdata. Alles wat binnen die marge ligt, is "verwacht". Alles daarbuiten is "onverwacht".
De Wasserstein-afstand is een manier om te meten hoe ver de echte wereld kan afwijken van de training. Het is alsof je zegt: "Ik ga ervan uit dat de echte wereld maximaal 10% anders kan zijn dan mijn training."
Vervolgens testen ze hun strategieën niet alleen op de training, maar op het slechtst mogelijke scenario dat nog binnen die 10% marge past. Als je robot dat overleeft, is hij echt robuust.

3. De Magische Formule: De "SLS" Reparameterisatie

Hoe rekenen ze dit allemaal uit zonder uren te wachten? Ze gebruiken een slimme wiskundige truc genaamd System Level Synthesis (SLS).

De Analogie: Stel je voor dat je een auto bouwt. In plaats van elke schroef en bout apart te berekenen (wat heel ingewikkeld is), kijken ze naar de totale beweging van de auto.
Met SLS kunnen ze de hele robotsturing zien als één grote, samenhangende "bewegingslijn". Hierdoor kunnen ze direct zien: "Als de robot een bepaalde beweging maakt, hoe gevoelig is dat voor een windvlaag?"
Dit maakt het mogelijk om de berekeningen snel en efficiënt uit te voeren, zelfs voor complexe robots.

4. Wat is het Resultaat?

In hun proef (met een "dubbele integrator", een simpele robot die beweegt) laten ze zien:

Veiligheid: Hun methode geeft een garantie dat de robot veilig blijft, zelfs als de testomgeving verschilt van de training.
Betrouwbaarheid: De "oude" methoden (zonder deze extra veiligheidsmarge) beloofden veiligheid, maar in de praktijk faalden ze zodra er een klein verschil was. De nieuwe methode houdt zijn belofte waar.
Slimme aanpassing: De robot leert niet alleen om de taak goed te doen, maar ook om niet te veel te reageren op kleine verstoringen. Hij wordt "steviger" en minder nerveus.

Samenvatting in één zin

De auteurs hebben een slimme wiskundige methode bedacht die robots leert om niet alleen goed te presteren in de perfecte trainingswereld, maar ook om veilig en betrouwbaar te blijven in de chaotische, onvoorspelbare echte wereld, door vooraf te rekenen met een "veiligheidsmarge" voor onverwachte veranderingen.

Het is alsof je een piloot traint: niet alleen voor een perfecte dag in de simulator, maar ook voor een dag met storm, gladde banen en onverwachte obstakels, met de zekerheid dat hij het hoofd zal koelen.

Titel: Distributioneel Robuste PAC-Bayesiaanse Regeling

Auteurs: Domagoj Herceg en Duarte Antunes (Eindhoven University of Technology)

1. Probleemstelling

Het integreren van machine learning in regelingstheorie biedt krachtige tools voor het synthetiseren van regelpolitieken op basis van beperkte, ruisbevatte datasets. Een fundamenteel probleem met leer-gebaseerde regelaars is echter hun kwetsbaarheid voor distributieshifts (het zogenaamde "sim-to-real" gat).

Aannames: Bestaande methoden gaan er vaak van uit dat de trainingsdata en de data in de werkelijke omgeving (deployments) uit dezelfde verdeling komen.
Realiteit: In de praktijk treden ongemodelleerde verstoringen op die fungeren als adversariele perturbaties.
Beperkingen van bestaande literatuur:
- Bestaande PAC-Bayes-regelingsliteratuur veronderstelt meestal beperkte verliezen (bounded losses), wat in de praktijk lastig te kalibreren is en gevoeligheid verliest.
- Ze behandelen distributieshifts vaak met informatie-theoretische maatstaven (f-divergenties) die de complexiteitsterm kunstmatig opblazen zonder direct afhankelijk te zijn van het regelpolitiek.
- Ze bieden geen garanties voor onbeperkte verliezen (unbounded losses), wat essentieel is voor dynamische systemen waar verliezen theoretisch onbegrensd kunnen zijn.

Het doel van dit werk is een raamwerk te ontwikkelen dat onbeperkte verliezen en distributieshifts expliciet adresseert, terwijl het hoge-kans garanties voor de prestaties biedt.

2. Methodologie

De auteurs combineren twee moderne onderzoekslijnen: PAC-Bayesiaanse generalisatietheorie en distributioneel robuuste optimalisatie (DRO) via de Type-1 Wasserstein-afstand.

A. Theoretisch Kader: Distributioneel Robuuste PAC-Bayes

Verliesfunctie: In plaats van een harde bovengrens voor het verlies, gebruiken de auteurs een Lipschitz-continue verliesfunctie.
Ambiguïteitsset: Ze definiëren een set van mogelijke verdelingen rondom de trainingsverdeling, gebaseerd op de 1-Wasserstein-afstand ( $W_1$ ). De werkelijke verdeling in de deployment-omgeving wordt verondersteld binnen deze set te liggen.
Kantorovich-Rubinstein Dualiteit: Door gebruik te maken van deze dualiteit, kan de verhoogde risicoschade door een distributieshift worden gekwantificeerd als een strafterm die evenredig is met de Lipschitz-constante van de regelaar en de straal van de ambiguïteitsset ( $\rho$ ).
Sub-Gaussische Loss: De methode maakt gebruik van recente resultaten voor hypothesen-afhankelijke sub-Gaussische verliezen. Dit betekent dat de concentratiegrens niet statisch is, maar afhangt van de prestaties van de specifieke regelaar.

B. Implementatie voor LTI-systemen: System Level Synthesis (SLS)

Om het probleem computationeel hanteerbaar te maken voor lineaire tijd-invariante (LTI) systemen, gebruiken de auteurs de System Level Synthesis (SLS) reparametrisatie.

Reparametrisatie: In plaats van de regelaar $K$ direct te optimaliseren, worden de gesloten-lus responsen (van verstoringen naar toestanden en ingangen) geoptimaliseerd.
Afgeleide Grootheden:
- De sub-Gaussische variantieproxy ( $\sigma(\theta)$ ) en de Lipschitz-constante ( $L(\theta)$ ) worden beide uitgedrukt in termen van de operator-norm van de gewogen gesloten-lus kaart $M(\theta)$ .
- Voor Gaussische verstoringen is $\sigma(\theta) = \|M(\theta)\Sigma_w^{1/2}\|_{op}$ .
- Voor de Lipschitz-constante geldt $L(\theta) = \|M(\theta)\|_{op}$ .
Optimalisatie: Het resultaat is een tractable optimalisatieprobleem voor de posterior-verdeling $Q$ over de regelaar-parameters. De doelstelling is het minimaliseren van de som van de empirische risicos, de Wasserstein-strafterm en de PAC-Bayes complexiteitsterm.

3. Belangrijkste Bijdragen

Wasserstein DR-PAC-Bayes Uitbreiding: De auteurs introduceren een uitbreiding van het PAC-Bayes-raamwerk voor regeling die werkt met onbeperkte Lipschitz-verliesfuncties en expliciet rekening houdt met distributieshifts via de 1-Wasserstein-afstand.
Regelaar-Afhankelijke Certificaten: Door het kader te specialiseren naar eind-horizon LTI-regeling in SLS-vorm, leiden ze expliciete certificaten af die direct afhankelijk zijn van de regelaar. Zowel de concentratiegrens als de robuustheidssraaf worden bepaald door de operator-norm van de gesloten-lus kaart.
Computationeel Hanteerbaar Framework: Ze vertalen de theoretische grenzen naar een praktisch optimalisatieprobleem dat opgelost kan worden met moderne methoden (zoals Monte Carlo schattingen en automatische differentiatie), zonder dat de onderliggende trainingsverdeling exact geïdentificeerd hoeft te worden.

4. Resultaten

De auteurs valideren hun methode met een numeriek voorbeeld van een dubbele integrator met een eind-horizon van $T=10$ .

Vergelijking: Ze vergelijken hun "Distributionally Robust" (DR) methode met een standaard "Vanilla" PAC-Bayes methode (zonder Wasserstein-term).
Observaties:
- De standaard PAC-Bayes methode faalt in het garanderen van de prestaties wanneer er een distributieshift optreedt; de werkelijke testrisico's overschrijden de theoretische bovengrens.
- De DR-methode levert een geldige bovengrens op voor de testrisico's, zelfs onder adversariële verschuivingen binnen de gedefinieerde straal.
- Tweevoudig voordeel: De DR-methode levert niet alleen een correcte theoretische garantie, maar resulteert ook in regelaars met een lagere empirische kost op de geteste data vergeleken met de standaard methode. Dit komt doordat de optimalisatie actief regelaars met een lagere Lipschitz-constante (minder gevoelig voor verstoringen) bevoordeelt.
Decompositie: De analyse toont aan dat de complexiteitsterm van PAC-Bayes afneemt met meer data, maar dat de balans tussen empirisch risico en de Wasserstein-strafterm cruciaal blijft voor robuustheid.

5. Betekenis en Conclusie

Dit werk is significant omdat het een brug slaat tussen statistische leergaranties en praktische regelingstheorie onder onzekerheid.

Veiligheid: Het biedt "high-probability safety certificates" voor het inzetten van leer-gebaseerde regelaars in real-world omgevingen die afwijken van de trainingsomgeving.
Generaliteit: Door het loslaten van de aanname van beperkte verliezen, wordt het raamwerk veel breder toepasbaar op fysieke systemen waar verliezen (zoals energie of afwijkingen) niet van nature begrensd zijn.
Toekomst: De auteurs zien mogelijkheden voor uitbreiding naar modelonzekerheid, sub-exponentiële verliezen (zoals kwadratische kosten) en robuuste modelvoorspellende regeling (MPC) op basis van learning.

Kortom, de paper presenteert een wiskundig onderbouwd en computationeel haalbaar raamwerk om leer-gebaseerde regelaars te certificeren voor gebruik in onzekere, veranderende omgevingen.