Optimization of randomized neural networks for transfer operator approximation

Technisches Fazit: Optimierung randomisierter neuronaler Netze zur Approximation von Transferoperatoren

Problemstellung
Die datengestützte Approximation von Transferoperatoren (wie dem Koopman- und dem Perron–Frobenius-Operator) ist für die Analyse des globalen Verhaltens komplexer dynamischer Systeme unerlässlich, einschließlich metastabiler Zustände in der Molekulardynamik und kohärenter Strukturen in Strömungen. Traditionelle Methoden wie die Extended Dynamic Mode Decomposition (EDMD) beruhen auf festen Wörterbüchern von Basisfunktionen (z. B. Polynome, Gauß-Funktionen), deren optimale Auswahl systemabhängig ist und oft ein offenes Problem darstellt. Obwohl neuronale Netze (NN) diese Wörterbücher lernen können, erfordern vollständig trainierte Netze eine rechenintensive Backpropagation und leiden unter Problemen wie langsamer Konvergenz, lokalen Minima und Gradienteninstabilität.

Randomisierte neuronale Netze, wie das zuvor vorgestellte RaNNDy, adressieren diese Rechenkosten, indem sie die Gewichte und Bias-Werte der versteckten Schichten fixieren und nur die Ausgabeschicht über eine geschlossene Lösung trainieren. Dieser Ansatz weist jedoch eine kritische Einschränkung auf: Die Qualität der Approximation hängt vollständig von der initialen zufälligen Auswahl der Gewichte und Bias-Werte ab. Falls die zufällig generierten Basisfunktionen die Eigenfunktionen des Systems nicht genau repräsentieren, ist die resultierende Operatorapproximation schlecht, und es gibt keinen Mechanismus innerhalb des Standard-RaNNDy-Rahmens, um dies zu korrigieren.

Methodik
Die Autoren schlagen einen Algorithmus vor, um die randomisierte Basis von RaNNDy zu optimieren, indem sie die Hyperparameter der Aktivierungsfunktion und die Verteilungen, aus denen Gewichte und Bias-Werte gesampelt werden, anpassen, während die strukturellen Parameter des Netzes (Gewichte und Bias-Werte) nach dem Sampling fixiert bleiben.

1. Parametrische Aktivierung und Basis: Die Methode führt einstellbare Parameter $\omega$ (z. B. die Skalierung der Verteilung für Gewichte/Bias-Werte oder Parameter einer parametrischen Aktivierungsfunktion wie $\tanh$) in die Definition der Basisfunktion ein: $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. Variationale Optimierung: Der Algorithmus nutzt das Rayleighsche Variationsprinzip zur Definition einer Verlustfunktion. Für selbstadjungierte Operatoren (reversible Systeme) besteht das Ziel darin, die Summe der Eigenwerte des projizierten Operators zu maximieren. Für nicht-selbstadjungierte Operatoren (nicht-reversible Systeme) maximiert die Methode die Spur des projizierten Vorwärts-Rückwärts-Operators, um Singulärwerte zu approximieren.
   • Die Verlustfunktion wird als $L(\omega) = \text{tr}(\hat{A}(\omega))$ formuliert, wobei $\hat{A}(\omega)$ aus datengestützten Kovarianz- und Kreuzkovarianzmatrizen ($\hat{C}_{00}, \hat{C}_{01}$, etc.) konstruiert wird.
3. Optimierungsschleife: Die Hyperparameter $\omega$ werden iterativ mittels Gradientenabstieg oder Bayesscher Optimierung aktualisiert, um die Spur der Operatorapproximation zu maximieren. Sobald $\omega$ optimiert ist, werden die Gewichte der Ausgabeschicht über ein Eigenwertproblem in geschlossener Form berechnet, wodurch die Recheneffizienz randomisierter Netze erhalten bleibt.

Hauptbeiträge

1. Neuer Optimierungsalgorithmus: Die Arbeit stellt eine Methode vor, um die randomisierte Basis von RaNNDy durch Anpassung der Hyperparameter der Aktivierungsfunktion und der Verteilungsskalen zu optimieren und schließt damit die Lücke zwischen vollständig randomisierten und vollständig trainierten Netzen.
2. Anwendung auf diverse Systeme: Der Ansatz wird an drei unterschiedlichen Benchmark-Problemen validiert:
   • Random Walks auf Graphons: Demonstration der Fähigkeit, Graphons und Übergangsdichten aus Daten zu rekonstruieren.
   • Bickley-Jet: Ein Strömungsdynamik-Benchmark zur Detektion kohärenter Mengen.
   • Protein NuG2: Hochdimensionale Molekulardynamik-Daten zur Analyse von Faltungs- und Entfaltungsübergängen.

Ergebnisse
Die numerischen Experimente zeigen, dass die Optimierung der Aktivierungsparameter die Approximationsgenauigkeit im Vergleich zur Verwendung einer festen, schlecht initialisierten randomisierten Basis signifikant verbessert:

• Graphons: Der Algorithmus konvergierte in weniger als 20 Epochen und identifizierte korrekt eine spektrale Lücke, die drei metastabilen Mengen entspricht. Die optimierte Basis ermöglichte die genaue Rekonstruktion des Graphons und der Übergangsdichte. Im Gegensatz dazu war eine Gittersuche für feste Verteilungen weniger effektiv, und vollständig trainierte Netze (VAMPnets) mit höheren Lernraten divergierten oder blieben in lokalen Minima stecken.
• Bickley-Jet: Die Methode detektierte erfolgreich kohärente Mengen durch Clustering der optimierten Singulärfunktionen. Der Algorithmus konvergierte in weniger als 10 Iterationen und offenbarte die kohärenten Strukturen des Systems effektiver als die initiale randomisierte Basis.
• Protein NuG2: Die optimierte Basis erfasste die dominanten Eigenwerte und Eigenfunktionen genau und unterschied zwischen gefalteten und entfalteten Zuständen des Proteins. Die initiale randomisierte Basis lieferte schlechte Approximationen, was die Notwendigkeit der vorgeschlagenen Optimierung unterstreicht.

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als einen „Kompromiss" zwischen vollständig randomisierten und vollständig trainierten neuronalen Netzen. Die Bedeutung liegt darin, die rechnerischen Vorteile von RaNNDy (geschlossene Lösung, keine Backpropagation für versteckte Schichten, geringere Trainingskosten) beizubehalten und gleichzeitig dessen primäre Schwäche zu mildern: die Empfindlichkeit gegenüber der initialen zufälligen Auswahl der Basisfunktionen.

Die Arbeit behauptet, dass das Anpassen der Verteilungen der versteckten Gewichte und Bias-Werte aufgrund einer einfacheren Verlustlandschaft im Vergleich zum Training vollständiger Netze einfacher ist, was potenziell die Verwendung von Algorithmen wie der Bayesschen Optimierung ermöglicht. Die Autoren schlagen bescheiden vor, dass, obwohl die aktuelle Arbeit sich auf spezifische Aktivierungsparameter konzentriert, zukünftige Arbeiten Aktivierungsfunktionen mit mehr Hyperparametern untersuchen und systematische Laufzeitvergleiche an komplexeren dynamischen Systemen durchführen könnten, um die Trade-offs randomisierter Ansätze weiter zu bewerten.