Optimization of randomized neural networks for transfer operator approximation

Technische Samenvatting: Optimalisatie van Geraandomiseerde Neuronale Netwerken voor Benadering van Transferoperatoren

Probleemstelling
Data-gedreven benadering van transferoperatoren (zoals de Koopman- en Perron–Frobenius-operatoren) is essentieel voor het analyseren van het globale gedrag van complexe dynamische systemen, inclusief metastabiele toestanden in moleculaire dynamica en coherente structuren in stromingen. Traditionele methoden zoals Extended Dynamic Mode Decomposition (EDMD) vertrouwen op vaste lijsten van basisfuncties (bijvoorbeeld polynomen, Gaussische functies), waarvan de optimale selectie systeemafhankelijk is en vaak een open probleem vormt. Hoewel neuronale netwerken (NN) deze lijsten kunnen leren, vereisen volledig getrainde netwerken computationally kostbare backpropagation, met problemen zoals trage convergentie, lokale minima en gradiëntinstabiliteit.

Geraandomiseerde neuronale netwerken, zoals het eerder voorgestelde RaNNDy, adresseren deze computatiekosten door de gewichten en biaswaarden van de verborgen lagen vast te leggen en uitsluitend de outputlaag te trainen via een oplossing in gesloten vorm. Deze aanpak heeft echter een kritieke beperking: de kwaliteit van de benadering is volledig afhankelijk van de initiële willekeurige selectie van gewichten en biaswaarden. Als de willekeurig gegenereerde basisfuncties de eigenfuncties van het systeem niet nauwkeurig representeren, is de resulterende operatorbenadering slecht, en bestaat er binnen het standaard RaNNDy-kader geen mechanisme om dit te corrigeren.

Methodologie
De auteurs stellen een algoritme voor om de geraandomiseerde basis van RaNNDy te optimaliseren door de hyperparameters van de activatiefunctie en de verdelingen waaruit gewichten en biaswaarden worden bemonsterd, af te stemmen, terwijl de structurele parameters van het netwerk (gewichten en biaswaarden) eenmaal bemonsterd vast blijven.

1. Parametrische Activering en Basis: De methode introduceert instelbare parameters $\omega$ (bijvoorbeeld de schaal van de verdeling voor gewichten/biaswaarden, of parameters van een parametrische activatiefunctie zoals $\tanh$) in de definitie van de basisfunctie: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. Variationale Optimalisatie: Het algoritme maakt gebruik van het Rayleigh-variatiestelsel om een verliesfunctie te definiëren. Voor zelfgeadjungeerde operatoren (reversibele systemen) is het doel om de som van de eigenwaarden van de geprojecteerde operator te maximaliseren. Voor niet-zelfgeadjungeerde operatoren (niet-reversibele systemen) maximaliseert de methode de trace van de geprojecteerde voorwaarts-achterwaartse operator om singuliere waarden te benaderen.
   • De verliesfunctie wordt geformuleerd als $L(\omega) = \text{tr}(\hat{A}(\omega))$, waarbij $\hat{A}(\omega)$ wordt geconstrueerd uit data-gedreven covariantie- en kruiscovariantiematrices ($\hat{C}_{00}, \hat{C}_{01}$, enz.).
3. Optimalisatielus: De hyperparameters $\omega$ worden iteratief bijgewerkt met behulp van gradiëntafstijging of Bayesiaanse optimalisatie om de trace van de operatorbenadering te maximaliseren. Zodra $\omega$ is geoptimaliseerd, worden de gewichten van de outputlaag berekend via een eigenwaardeprobleem in gesloten vorm, waardoor de computationele efficiëntie van geraandomiseerde netwerken behouden blijft.

Belangrijkste Bijdragen

1. Nieuw Optimalisatiealgoritme: Het artikel introduceert een methode om de geraandomiseerde basis van RaNNDy te optimaliseren door activatiefunctie-hyperparameters en distributieschalen af te stemmen, waarmee de kloof wordt overbrugd tussen volledig geraandomiseerde en volledig getrainde netwerken.
2. Toepassing op Diversiteit van Systemen: De aanpak is gevalideerd op drie verschillende benchmarkproblemen:
   • Willekeurige wandelingen op Graphons: Demonstratie van het vermogen om graphons en overgangsdichtheden uit data te reconstrueren.
   • Bickley Jet: Een stromingsdynamica-benchmark voor het detecteren van coherente verzamelingen.
   • Proteïne NuG2: Hoge-dimensionale moleculaire dynamica-data om vouw-ontvouwingsovergangen te analyseren.

Resultaten
De numerieke experimenten tonen aan dat het optimaliseren van de activeringsparameters de benaderingsnauwkeurigheid aanzienlijk verbetert in vergelijking met het gebruik van een vaste, slecht geïnitieerde willekeurige basis:

• Graphons: Het algoritme convergeerde in minder dan 20 epochen, waarbij correct een spectrale kloof werd geïdentificeerd die overeenkomt met drie metastabiele verzamelingen. De geoptimaliseerde basis maakte nauwkeurige reconstructie van de graphon en overgangsdichtheid mogelijk. Daarentegen was een gridsearch voor vaste verdelingen minder effectief, en volledig getrainde netwerken (VAMPnets) met hogere leersnelheden divergeerden of bleven steken in lokale minima.
• Bickley Jet: De methode detecteerde met succes coherente verzamelingen door de geoptimaliseerde singuliere functies te clusteren. Het algoritme convergeerde in minder dan 10 iteraties, waarbij de coherente structuren van het systeem effectiever werden onthuld dan met de initiële willekeurige basis.
• Proteïne NuG2: De geoptimaliseerde basis ving de dominante eigenwaarden en eigenfuncties nauwkeurig op, en onderscheidde tussen gevouwen en ontvouwen toestanden van het proteïne. De initiële willekeurige basis leverde slechte benaderingen op, wat de noodzaak van de voorgestelde optimalisatie onderstreept.

Betekenis en Claims
De auteurs positioneren dit werk als een "compromis" tussen volledig geraandomiseerde en volledig getrainde neuronale netwerken. De betekenis ligt in het behouden van de computationele voordelen van RaNNDy (oplossing in gesloten vorm, geen backpropagation voor verborgen lagen, lagere trainingskosten) terwijl de primaire zwakte wordt gemitigeerd: de gevoeligheid voor de initiële willekeurige selectie van basisfuncties.

Het artikel beweert dat het afstemmen van de verdelingen van verborgen gewichten en biaswaarden gemakkelijker is vanwege een eenvoudiger verlieslandschap in vergelijking met het trainen van volledige netwerken, wat potentieel het gebruik van algoritmen zoals Bayesiaanse optimalisatie mogelijk maakt. De auteurs suggereren bescheiden dat, hoewel het huidige werk zich richt op specifieke activeringsparameters, toekomstig werk activatiefuncties met meer hyperparameters kan verkennen en systematische runtime-vergelijkingen kan uitvoeren op complexere dynamische systemen om de afwegingen van geraandomiseerde benaderingen verder te beoordelen.