Global Convergence of Policy Gradient Methods for ReLU Controllers in Linear Quadratic Regulation

Technische Samenvatting: Mondiale Convergentie van Policy Gradient Methoden voor ReLU-controllers in Linear Quadratic Regulation

1. Probleemstelling

Het onderzoek richt zich op de Linear Quadratic Regulator (LQR), een fundamenteel probleem in de regeltechniek waarbij een systeem (hier een deterministisch, scalair, discreet-tijdsysteem) moet worden gestuurd om een kwadratische kostenfunctie over een oneindige horizon te minimaliseren.

De kernuitdaging in dit paper is de verschuiving van klassieke lineaire controllers naar controllers die geparametriseerd zijn door een overgeparameteriseerd neuraal netwerk (één verborgen laag met ReLU-activatiefuncties en zonder biases). Hoewel de optimale LQR-controller lineair is, introduceert een ReLU-parameterisatie een niet-convexe en redundante parameterruimte. Dit creëert een controller die stuksgewijs lineair is (met verschillende winsten voor positieve en negatieve toestanden), wat de optimalisatie via policy gradient methoden complex maakt vanwege mogelijke lokale minima en stabiliteitsrisico's tijdens het leerproces.

2. Methodologie

De auteurs hanteren een tweeledige analytische aanpak:

• Controller-niveau analyse: Ze karakteriseren de ReLU-controller als een "twee-winst" stuksgewijs lineair beleid. Ze bewijzen dat de kostenfunctie in de stabiele regio een specifieke geometrie heeft (stuksgewijs kwadratisch) en dat de optimale controller (die lineair is, dus $K_1 = K_2 = K^*$) bereikbaar is.
• Gewichts-niveau analyse (Neural Network): Ze onderzoeken hoe de gradiënt-updates van de neurale gewichten ($\theta$) zich vertalen naar de effectieve controller-winsten. Hierbij maken ze gebruik van de Neural Tangent Kernel (NTK) regime-analyse. Ze gebruiken een specifieke Gaussische initialisatie en een "benign width regime" (voldoende brede netwerken) om te garanderen dat de gewichten tijdens het trainen relatief stabiel blijven.

De methodologie omvat het bewijzen van sign-stability: het aantonen dat de meeste neuronen hun teken ($w_j > 0$ of $w_j < 0$) behouden tijdens het trainen, waardoor de effectieve winsten voor de positieve en negatieve helft van de toestandsruimte consistent blijven evolueren.

3. Belangrijkste Bijdragen

• Karakterisering van de landschapsgeometrie: Het bewijzen dat de kostenfunctie een Polyak-Łojasiewicz (PL) inequality voldoet binnen de stabiele set, wat essentieel is voor het garanderen van snelle convergentie.
• Stabiliteitsgarantie: Het aantonen dat, onder geschikte voorwaarden (stapgrootte en netwerkbreedte), de policy gradient-iteraties de controller binnen de stabiele regio houden ($K_\delta$).
• Convergentiebewijs: Het leveren van een formeel bewijs dat de controller met hoge waarschijnlijkheid convergeert naar de unieke optimale lineaire LQR-gain, ondanks de niet-convexe parameterisatie.
• Identificatie van het "Benign Regime": Het definiëren van de specifieke condities (verhouding tussen breedte $m$, initialisatie $\beta$, en stapgrootte $\eta$) waaronder globale convergentie gegarandeerd is.

4. Resultaten

De belangrijkste theoretische resultaten zijn:

• Geometrische convergentie: De kostenfunctie $J_\rho(\mu_{\theta_k})$ nadert de optimale kosten $J_\rho(\mu^*)$ met een geometrische snelheid (exponentiële afname van de fout).
• Hoge waarschijnlijkheid: De convergentie vindt plaats met een waarschijnlijkheid van $1 - e^{-C_0m}$, wat betekent dat bij grotere netwerkbreedten de kans op falen extreem klein wordt.
• Numerieke validatie: Simulaties tonen aan dat de effectieve winsten ($K_1$ en $K_2$) inderdaad naar de optimale waarde $K^*$ convergeren, en dat de beweging van de neuronen in de gewichtsruimte consistent is met de theoretische voorspellingen over sign-stabiliteit.

5. Betekenis

Dit werk is significant omdat het een brug slaat tussen de klassieke regeltechniek (LQR) en de moderne deep learning theorie (overparameterisatie). Het biedt een rigoureus wiskundig fundament voor het gebruik van neurale netwerken als controllers in systemen waar stabiliteit en optimaliteit cruciaal zijn. Het laat zien dat de "black box" van neurale netwerken in de context van LQR-problemen een voorspelbare en gunstige geometrie heeft, mits het netwerk breed genoeg is en de initialisatie correct is uitgevoerd.