On Globally Optimal Stochastic Policy Gradient Methods for Domain Randomized LQR Synthesis

1. Probleemstelling

Het paper adresseert de uitdaging van sim-to-real transfer in de robotica, specifiek binnen het kader van Domain Randomization (DR). DR is een veelgebruikte techniek waarbij controller-training plaatsvindt in gesimuleerde omgevingen met willekeurig gevarieerde parameters (zoals massa's, wrijving of geometrie) om robuustheid tegen modelonzekerheid te garanderen.

Hoewel DR succesvol is in de praktijk, ontbreekt er vaak een theoretisch onderbouwd raamwerk voor het optimaliseren van deze methoden. Bestaande benaderingen, zoals die van Fujinami et al., gebruiken vaak een surrogaat-kostfunctie (sample-average) die op een vastgestelde set van systemen wordt geoptimaliseerd. Dit leidt tot twee problemen:

1. Theoretische beperkingen: Het is moeilijk om globale convergentiegaranties te geven voor deze surrogaatproblemen.
2. Computatorische inefficiëntie: Het vasthouden aan een statische set van systemen benut de beschikbare GPU-kracht niet optimaal, aangezien het opnieuw stalen (resampling) van systemen een goedkope en snelle operatie is.

Het paper richt zich op het Domain Randomized Linear-Quadratic Regulator (DR-LQR) probleem. Het doel is om een feedback-gain $K$ te vinden die de verwachte LQR-kost minimaliseert over een verdeling van systeemparameters $\theta$, terwijl de stabiliteit voor alle mogelijke $\theta$ gewaarborgd blijft.

2. Methodologie

De auteurs introduceren een Stochastische Policy Gradient (SPG) methode die direct de DR-LQR kostfunctie optimaliseert, in plaats van een surrogaat. De kern van de methode is Mini-batch Stochastic Gradient Descent (SGD) met dynamisch opnieuw stalen.

• Algoritme: In elke iteratie van de gradiëntafdaalprocedure worden $M$ nieuwe systeemrealisaties ($\theta_1, ..., \theta_M$) getrokken uit de verdeling $p_\Theta$. De gradiënt wordt geschat op basis van deze nieuwe set, waarna de controller $K$ wordt bijgewerkt.
• Theoretische Analyse:
  • Convexiteit: Het probleem is niet-convex, maar de auteurs bewijzen dat de kostfunctie voldoet aan een gradiënt-dominantie-eigenschap (gradient dominance) in de buurt van het optimum. Dit is cruciaal omdat het garandeert dat lokale optimalisatie leidt tot een globaal optimum.
  • Coerciviteit en Gladheid: Ze tonen aan dat de kostfunctie coercief is en lokaal $L$-glad (Lipschitz-continu) binnen sub-niveauverzamelingen. Dit stelt hen in staat om een geschikte stapgrootte te kiezen die stabiliteit garandeert (de iteraties blijven binnen de verzameling van stabiliserende controllers).
  • Convergentie: Ze bewijzen dat de SGD-iteraties lineair convergeren naar een $\epsilon$-suboptimale oplossing, mits de hyperparameters (batchgrootte $M$, stapgrootte $\eta$, aantal iteraties $N$) correct worden gekozen. Ze gebruiken Matrix Bernstein-ongelijkheden om de benodigde batchgrootte te kwantificeren voor een gegeven betrouwbaarheid.

3. Belangrijkste Bijdragen

1. Eerste bewijs van lineaire convergentie: De auteurs leveren het eerste wiskundige bewijs dat mini-batch SGD lineair convergeert naar een $\epsilon$-suboptimale oplossing voor het DR-LQR probleem.
2. Voldoende voorwaarden voor stalen: Ze karakteriseren de vereiste batchgrootte als een functie van de gewenste suboptimaliteit en de heterogeniteit van het domein.
3. Computationeel voordeel: Ze tonen empirisch aan dat het opnieuw stalen van systemen bij elke stap (in plaats van een vast setje gebruiken) leidt tot betere controllers met minder variabiliteit, zelfs binnen een vast computatiebudget.
4. Directe optimalisatie: In tegenstelling tot eerdere werken die een surrogaat-kostfunctie gebruiken, optimaliseert deze methode direct de verwachte kost over de verdeling, wat leidt tot een meer robuuste oplossing.

4. Resultaten

De auteurs hebben hun methode getest op een cart-pole systeem (een kar met een zwaaiende staaf) met gevarieerde lengtes van de staaf en andere fysieke parameters.

• Vergelijking met Sample-Average (SA): Ze vergelijken hun DR-approach met de SA-methode (waarbij een vaste set van 8 systemen wordt gebruikt als surrogaat).
  • Kosten: De DR-controller bereikte een lagere verwachte kost dan de SA-controller.
  • Variabiliteit: De DR-methode resulteerde in controllers met een aanzienlijk lagere variatie in de $\ell_2$-norm van de gain-matrix $K$. Dit betekent dat de gevonden oplossingen consistenter en betrouwbaarder zijn.
  • Efficiëntie: Hoewel de DR-methode ongeveer 22% meer rekentijd kostte (op een Nvidia A100 GPU) dan de SA-methode, was de verbetering in prestatie en betrouwbaarheid significant. De auteurs concluderen dat de extra rekentijd het waard is voor de verkregen robuustheid.
• Convergentie: De experimenten bevestigden dat het vergroten van de batchgrootte leidt tot snellere convergentie en nauwkeurigere schattingen van het globale optimum, in lijn met de theoretische voorspellingen.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof tussen de praktische succes van Domain Randomization in de robotica en de theoretische garanties van de controletheorie dicht. Het toont aan dat DR niet alleen een heuristiek is, maar een probleem dat met gegarandeerde convergentie naar een globaal optimum kan worden opgelost via stochastische optimalisatie.

Toekomstige richtingen zoals genoemd in het paper omvatten:

• Het versoepelen van de restrictieve voorwaarden voor heterogeniteit die nodig zijn voor gradiënt-dominantie.
• Het uitbreiden van de methoden om globale convergentie te garanderen in plaats van alleen $\epsilon$-suboptimaliteit.
• Het toepassen van deze inzichten op complexere, niet-lineaire systemen en andere optimalisatieproblemen met niet-convexe toelaatbare verzamelingen.

Samenvattend biedt dit paper een theoretisch onderbouwde en empirisch gevalideerde methode om robuuste controllers te synthetiseren via Domain Randomization, waarbij stochastische gradiëntafdaal met dynamisch opnieuw stalen wordt aanbevolen boven statische benaderingen.