Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning

Titel en Context

Titel: Input-side variance suppression under non-normal transient amplification in continuous-control reinforcement learning
Tijdschrift: IEEE Control Systems Letters (2026)
Auteur: Yue Wu (Xi'an Jiaotong University & Xinjiang Cigarette Factory)

1. Het Probleem

Bij continu-control Reinforcement Learning (RL) vertonen geleerde controllers vaak grote gesloten-lusvariatie, hoogfrequente besturingsjitter (trillen) en gevoeligheid voor verstoringen tijdens de uitvoering (deployment).

• Bestaande verklaringen: De huidige literatuur legt de oorzaak voornamelijk bij de bron van de verstoring: actienruis, exploratie-perturbaties, functiebenaderingsfouten of onvoldoende gladde beleidsfuncties (policy nonsmoothness). Oplossingen richten zich daarom vaak op het gladstrijken van het signaal of het reduceren van ruis bij de bron.
• Het gemiste aspect: Zelfs als een gesloten lus nominale stabiliteit heeft (alle eigenwaarden binnen de eenheidscirkel), kan het systeem toch tijdelijk grote verstoringen versterken. Dit fenomeen wordt veroorzaakt door niet-normale (non-normal) dynamiek. In sterk niet-normale systemen kan de geometrie van de overgangsoperator leiden tot tijdelijke versterking (transient amplification) van kleine invoerperturbaties, wat resulteert in disproportioneel grote statenvariatie, zelfs als het systeem op lange termijn stabiel is.

2. Methodologie: De Bron-Versterker Decompositie

De auteur introduceert een nieuw perspectief: de bron-versterker decompositie (source–amplifier decomposition).

• De Bron: Actienruis, exploratie en beleidsjitter.
• De Versterker: De geometrie van de gesloten-lus dynamiek ($A_{cl}$). Als deze matrix sterk niet-normaal is, fungeert hij als een versterker voor verstoringen, ongeacht de spectrale straal (die de asymptotische stabiliteit bepaalt).

De voorgestelde oplossing:
In plaats van de controller opnieuw te trainen of de structuur van de versterker te wijzigen, wordt een input-side variance suppression layer (invoerkant variatie-onderdrukking) toegevoegd tussen het geleerde beleid en de plant.

• Functie: Deze laag modificeert de statistieken van de toegepaste invoer ($u_{app}$) zonder de structurele versterker ($A_{cl}$) aan te raken.
• Implementatie: Een eenvoudige, causale, eerste-orde tijdsvertraging (smoorder) wordt gebruikt:
  $$u_{app}^t = (1 - \beta)u_{app}^{t-1} + \beta(u_{raw}^t + \eta_t)$$
  Waarbij $\beta$ de update-snelheid bepaalt. Een lagere $\beta$ zorgt voor meer gladstrijking.
• Analyse Tooling: Koopman/ALE-surrogates worden uitsluitend gebruikt als diagnose- en certificeringsinstrumenten om de lokale propagatiestructuur te analyseren, niet als directe prestatiepaden.

3. Belangrijkste Bijdragen

1. Conceptueel Kader: Een interpretatie van gesloten-lusvariatie die niet-normaliteit identificeert als een onderbelichte versterker in nominale stabiele systemen.
2. Post-training Interventie: Een eenvoudige suppressor die na het trainen wordt ingevoegd. Deze verandert de invoerstatistieken om de injectie van verstoringen in een niet-normale lus te verminderen, zonder de controller zelf te herontwerpen.
3. Gestructureerd Bewijs: Het gebruik van gecontroleerde interventies om het effect van de versterker en de bron strikt te scheiden, aangevuld met validatie op een niet-lineair quadcopter-benchmarksysteem.

4. Experimentele Resultaten

De auteurs gebruiken drie interventieblokken (CI) om hun theorie te valideren:

• CI-1 (Versterker-isolatie):

  • Opzet: Eigenwaarden, spectrale straal en verstoringen worden constant gehouden; alleen de eigenvector-geometrie (niet-normaliteit, gemeten via $\kappa(V)$) wordt gevarieerd.
  • Resultaat: Er is een sterke correlatie (Pearson $r \approx 0.97$) tussen de mate van niet-normaliteit en de toename van de statenvariatie en de piekversterking ($G_{peak}$). Dit bewijst dat niet-normaliteit op zichzelf de variatie kan verhogen, zelfs bij stabiele systemen.

• CI-2 (Bron-only interventie):

  • Opzet: De sterk niet-normale geometrie ($A_{cl}$) wordt constant gehouden. Er wordt gekeken naar het effect van het filteren van de invoer (witte ruis vs. gefilterde invoer).
  • Resultaat:
    • De variatie van de toegepaste actie daalde met 92,0% (van 0,0399 naar 0,00317).
    • De spoor van de statenvariatie ($\text{tr}(\Sigma_x)$) daalde met 21,8%.
    • De verwachte piek-norm van de staat daalde van 7,42 naar 5,56.
    • Cruciaal: De structurele piekversterking ($G_{peak}$) bleef exact gelijk (5,55). Dit bewijst dat de variatiereductie puur komt door de bron-benadering en niet door een verandering in de systeemdynamiek.

• CI-3 (Validatie op Planar Quadrotor):

  • Opzet: Toepassing op een niet-lineair quadcopter-systeem met verschillende scenario's (normaal zweven, zware lading, wendbaar pitch, modelmismatch).
  • Resultaat: De bron-benadering (filteren van de invoer) bleef effectief in het verminderen van actievariatie en statenvariatie over alle scenario's en storingsniveaus heen. Bij hoge storingsniveaus (0,20) werd een variatiereductie van ongeveer 37,5% in de statenvariatie waargenomen. Dit bevestigt dat het mechanisme ook in complexe, niet-lineaire omgevingen relevant is.

5. Betekenis en Conclusie

Dit artikel biedt een mechanisme-georiënteerd inzicht in RL-problemen:

• Het weerlegt de aanname dat variatie alleen een probleem van de "bron" (ruis) is. Zelfs bij een perfecte bron kan een "slechte versterker" (niet-normale geometrie) leiden tot grote variatie.
• Het toont aan dat variatie kan worden onderdrukt door de invoerstatistieken te beheren, zonder de complexe controller opnieuw te trainen of de structurele stabiliteit te wijzigen.
• De methode is post-training compatibel: de suppressor wordt pas tijdens de uitvoering toegevoegd, wat het een praktische en lage-kostens oplossing maakt voor bestaande RL-systemen.

De conclusie is dat voor een volledig begrip van gesloten-lusvariatie in RL, zowel de bron van de verstoring als de versterkende eigenschappen van de gesloten-lus dynamiek (niet-normaliteit) moeten worden geanalyseerd en gemitigeerd.