A new initialisation to Control Gradients in Sinusoidal Neural network

Technische Zusammenfassung: Eine neue Initialisierung zur Kontrolle von Gradienten in sinusförmigen neuronalen Netzen

Problemstellung
Implizite neuronale Darstellungen (INRs), insbesondere solche, die sinusförmige Aktivierungsfunktionen (SIREN) verwenden, sind effektiv für die Approximation hochfrequenter Signale in Anwendungen wie Bildrekonstruktion, Signalenkodierung und der Lösung partieller Differentialgleichungen (PDEs). Standard-SIREN-Architekturen stehen jedoch vor einem kritischen Zielkonflikt: Während sie die spektrale Verzerrung (spectral bias) herkömmlicher Multi-Layer-Perceptrons (MLPs) durch das Erlernen hoher Frequenzen mildern, führt eine Erhöhung der Netzwerktiefe oft zum Auftreten von spurartigen hochfrequenten Artefakten. Dieses Phänomen verschlechtert die Generalisierung und verursacht Gradientenexplosion. Umgekehrt bieten Standard-Initialisierungsschemata (z. B. Xavier, Kaiming) oder die ursprüngliche SIREN-Initialisierung keine theoretischen Garantien für die Stabilität der Gradienten in tiefen periodischen Netzen, was häufig zu verschwindenden oder explodierenden Gradienten führt, die die Trainingsdynamik behindern.

Methodik
Die Autoren schlagen ein neues, analytisch abgeleitetes Initialisierungsschema für SIREN-Netze vor, das am „Rand des Chaos" (Edge of Chaos, EOC) operieren soll. Dieser Regime stellt sicher, dass die Varianzen der Voraktivierungen stabil bleiben und die Gradienten weder verschwinden noch explodieren, wenn die Netzwerktiefe zunimmt.

Die Methodik basiert auf einer theoretischen Analyse im Grenzfall unendlicher Breite ($N \to \infty$) und unendlicher Tiefe ($L \to \infty$):

1. Verteilung der Voraktivierungen: Die Autoren leiten einen geschlossenen Ausdruck für den Fixpunkt der Varianz der Voraktivierungen ($\sigma_a^2$) unter Verwendung der Lambert-W-Funktion her. Sie zeigen, dass die Varianz gegen einen Fixpunkt konvergiert, der durch den Skalierungsparameter der Gewichte $c_w$ und die Varianz des Bias $c_b$ bestimmt wird.
2. Stabilität der Gradienten: Durch die Analyse des Jacobi-Operators der schichtweisen Abbildung leiten die Autoren die Bedingung für die Gradientenstabilität her. Sie definieren eine skalierte Gradientenvarianz $\sigma_g$ und setzen $\sigma_g = 1$, um Gradientenexplosion oder -verschwinden zu verhindern. Diese Einschränkung stellt eine spezifische Beziehung zwischen $c_w$ und $c_b$ her.
3. Spektrale Kontrolle: Die Autoren identifizieren zwei spezifische Lösungen entlang der Stabilitätskurve:
   • $\sigma_a = 1$: Entspricht der ursprünglichen SIREN-Intuition (Voraktivierungen folgen $N(0,1)$), was laut den Autoren in tiefen Netzen zu spektraler Verbreiterung und Aliasing führt.
   • $\sigma_a = 0$ (Vorgeschlagen): Setzt die Varianz der Voraktivierungen auf null. In diesem Regime verhalten sich tiefe Schichten fast linear ($\sin(z) \approx z$), unterdrücken effektiv die Verbreiterung des Fourierspektrums und verhindern das Auftreten von Frequenzen jenseits der Nyquist-Grenze.
4. Analyse des Neuronale-Tangenten-Kernels (NTK): Die Arbeit untersucht den Einfluss der Initialisierung auf den NTK. Sie zeigt, dass die vorgeschlagene Initialisierung ($\sigma_a=0$) zu NTK-Eigenwerten führt, die linear mit der Tiefe skalieren, während Eingangsgradienten normalisiert bleiben. Dies steht im Gegensatz zur ursprünglichen SIREN-Initialisierung, bei der NTK-Eigenwerte und Gradienten exponentiell mit der Tiefe explodieren.

Hauptbeiträge

• Geschlossene Initialisierung: Die Herleitung eines expliziten Initialisierungsschemas für SIREN, das invariant verteilte Gradienten über die Schichten hinweg und ein tiefenunabhängiges Fourierspektrum garantiert.
• Theoretische Begründung für $\sigma_a = 0$: Die Identifizierung, dass das Setzen der Varianz der Voraktivierungen auf null optimal ist, um das Frequenzspektrum zu kontrollieren, Aliasing zu verhindern und stabile Trainingsdynamiken in tiefen Architekturen sicherzustellen.
• NTK-Dynamik: Der Nachweis, dass die Kontrolle der Gradientenausbreitung bei der Initialisierung die NTK-Eigenwerte direkt formt und somit die Lerngeschwindigkeit verschiedener Frequenzkomponenten bestimmt sowie die spektrale Verzerrung, die in anderen tiefen Netzwerkkonfigurationen inhärent ist, vermeidet.

Ergebnisse
Die vorgeschlagene Initialisierung ($\sigma_a = 0$) wurde im Benchmark-Vergleich mit dem ursprünglichen SIREN-Schema, der Variante $\sigma_a = 1$ und anderen State-of-the-Art-Architekturen (z. B. FINER, WIRE, Tanh mit Fourierreihen, ReLU mit Positions-Encoding) über verschiedene Aufgaben getestet:

• Funktionsanpassung: Bei der Approximation von Mehrskalen-Funktionen in 1D, 2D und 3D erreichte die vorgeschlagene Methode konsistent niedrigere Generalisierungsfehler im Vergleich zu den Baselines, insbesondere mit zunehmender Netzwerktiefe.
• Bild- und Videorekonstruktion: Bei Aufgaben zur Bildanpassung und Videorekonstruktion (unter Verwendung des ERA-5-Atmosphärendatensatzes) erzeugte die vorgeschlagene Methode schärfere Merkmale und signifikant weniger hochfrequente Artefakte im Vergleich zur ursprünglichen SIREN und anderen Methoden.
• Physik-informierte neuronale Netze (PINNs): Die Methode wurde zur Lösung der 1D-Burgers-Gleichung, der 2D-stationären Navier-Stokes-Gleichungen und der 2D-Wärmeleitungsgleichung in komplexen Geometrien getestet. Die vorgeschlagene Initialisierung lieferte stabile Lösungen, während die ursprüngliche SIREN-Initialisierung bei den Navier-Stokes- und Wärmeleitungsaufgaben aufgrund unkontrollierter hochfrequenter Komponenten verrauschte, instabile Ergebnisse erzeugte.
• Denoising: Bei Bild-Denoising-Experimenten wirkte die vorgeschlagene Initialisierung als effektiver impliziter Regularisierer, der saubere Signale rekonstruierte und hochfrequentes Rauschen ignorierte, im Gegensatz zu anderen Methoden, die dazu neigten, sich an das Rauschen anzupassen (Overfitting).

Bedeutung
Die Arbeit behauptet, dass sie ein tieferes theoretisches Verständnis der INR-Initialisierung liefert und über eine empirische Abstimmung hinausgeht, hin zu einem prinzipiengeleiteten Ansatz basierend auf der Theorie dynamischer Systeme. Durch die Stabilisierung der Gradientenausbreitung und die Kontrolle des Frequenzspektrums bei der Initialisierung ermöglicht die vorgeschlagene Methode tiefen sinusförmigen Netzen, hochfrequente Details zu erlernen, ohne spurartige Artefakte einzuführen. Dies ermöglicht stabile Trainingsdynamiken mit Lernraten, die linear mit der Tiefe skalieren, und macht SIREN-Architekturen robuster und anwendbar auf komplexe, hochdimensionale Probleme wie wissenschaftliches Rechnen und Mehrskalen-Signalrekonstruktion. Die Autoren weisen darauf hin, dass die Motivation zwar von INRs ausgeht, die geschlossene Initialisierung jedoch auf jede tiefe Architektur mit periodischen Aktivierungen anwendbar ist, bei der Gradientenstabilität und Frequenzkontrolle gewünscht sind.