A new initialisation to Control Gradients in Sinusoidal Neural network

Technische Samenvatting: Een Nieuwe Initialisatie voor het Beheersen van Gradienten in Sinusoïdale Neuronale Netwerken

Probleemstelling
Impliciete Neuronale Representaties (INRs), en met name die welke sinusvormige activatiefuncties gebruiken (SIREN), zijn effectief voor het benaderen van hoogfrequente signalen in toepassingen zoals beeldreconstructie, signaalcodering en het oplossen van partiële differentiaalvergelijkingen (PDV's). Echter, standaard SIREN-architecturen staan voor een kritieke afweging: terwijl ze de spectrale bias van standaard Multi-Layer Perceptrons (MLPs) mitigeren door hoogfrequenties te leren, leidt het vergroten van de netwerkdiepte vaak tot het ontstaan van spurious hoogfrequente artefacten. Dit fenomeen verslechtert de generalisatie en veroorzaakt gradient-explosie. Omgekeerd bieden standaard initialisatieschema's (zoals Xavier, Kaiming) of de originele SIREN-initialisatie geen theoretische garanties voor gradientstabiliteit in diepe periodieke netwerken, wat vaak resulteert in verdwijnende of exploderende gradienten die het trainingsdynamiek belemmeren.

Methodologie
De auteurs stellen een nieuw, analytisch afgeleid initialisatieschema voor SIREN-netwerken voor dat is ontworpen om te opereren aan de "rand van chaos" (EOC). Dit regime zorgt ervoor dat de variantie van pre-activaties stabiel blijft en dat gradienten noch verdwijnen noch exploderen naarmate de netwerkdiepte toeneemt.

De methodologie steunt op een theoretische analyse in de limiet van oneindige breedte ($N \to \infty$) en oneindige diepte ($L \to \infty$):

1. Verdeling van Pre-activaties: De auteurs leiden een gesloten uitdrukking af voor het vaste punt van de variantie van pre-activaties ($\sigma_a^2$) met behulp van de Lambert $W$-functie. Zij tonen aan dat de variantie convergeert naar een vaste punt dat wordt bepaald door de gewichtsschaalparameter $c_w$ en de variantie van de bias $c_b$.
2. Gradientstabiliteit: Door de Jacobiaan van de laag-tot-laag mapping te analyseren, leiden de auteurs de voorwaarde voor gradientstabiliteit af. Zij definiëren een herschaalde gradientvariantie $\sigma_g$ en handhaven $\sigma_g = 1$ om gradientexplosie of -verdwijning te voorkomen. Deze beperking vestigt een specifieke relatie tussen $c_w$ en $c_b$.
3. Spectrale Controle: De auteurs identificeren twee specifieke oplossingen langs de stabiliteitscurve:
   • $\sigma_a = 1$: Komt overeen met de originele SIREN-intuïtie (pre-activaties volgen $N(0,1)$), wat volgens de auteurs leidt tot spectrale verbreding en aliasing in diepe netwerken.
   • $\sigma_a = 0$ (Voorgesteld): Stelt de variantie van pre-activaties op nul. In dit regime gedragen diepe lagen zich bijna lineair ($\sin(z) \approx z$), wat effectief de verbreding van het Fourier-spectrum onderdrukt en het ontstaan van frequenties buiten het Nyquist-limiet voorkomt.
4. Neural Tangent Kernel (NTK) Analyse: Het artikel onderzoekt de impact van de initialisatie op de NTK. Zij tonen aan dat de voorgestelde initialisatie ($\sigma_a=0$) resulteert in NTK-eigenwaarden die lineair schalen met de diepte, terwijl inputgradienten genormaliseerd blijven. Dit staat in contrast met de originele SIREN-initialisatie, waarbij NTK-eigenwaarden en gradienten exponentieel exploderen met de diepte.

Belangrijkste Bijdragen

• Gesloten-Formule Initialisatie: De afleiding van een expliciet initialisatieschema voor SIREN dat invariante gradientverdelingen over lagen en een diepteonafhankelijk Fourier-spectrum garandeert.
• Theoretische Rechtvaardiging voor $\sigma_a = 0$: De identificatie dat het instellen van de variantie van pre-activaties op nul optimaal is voor het beheersen van het frequentiespectrum, het voorkomen van aliasing en het waarborgen van stabiele trainingsdynamiek in diepe architecturen.
• NTK-dynamiek: Een demonstratie dat het beheersen van gradientpropagatie bij initialisatie direct de NTK-eigenwaarden vormgeeft, waardoor de leersnelheid van verschillende frequentiecomponenten wordt bepaald en de spectrale bias inherent aan andere diepe netwerkconfiguraties wordt vermeden.

Resultaten
De voorgestelde initialisatie ($\sigma_a = 0$) werd getoetst tegen het originele SIREN-schema, de $\sigma_a = 1$-variant en andere state-of-the-art architecturen (zoals FINER, WIRE, Tanh met Fourier-features, ReLU met positionele codering) over diverse taken:

• Functie-aanpassing: Bij 1D, 2D en 3D multi-schaal functiebenadering behaalde de voorgestelde methode consistent een lagere generalisatiefout dan de baselines, met name naarmate de netwerkdiepte toenam.
• Beeld- en Videoreconstructie: Bij beeldfitting en videoreconstructie (met gebruik van het ERA-5-atmosferische dataset) produceerde de voorgestelde methode scherpere kenmerken en aanzienlijk minder hoogfrequente artefacten dan de originele SIREN en andere methoden.
• Physics-Informed Neural Networks (PINNs): De methode werd getest op het oplossen van de 1D Burgers-vergelijking, 2D stationaire Navier-Stokes-vergelijkingen en de 2D warmtevergelijking in complexe geometrieën. De voorgestelde initialisatie leverde stabiele oplossingen op, terwijl de originele SIREN-initialisatie ruwe, instabiele resultaten opleverde bij de Navier-Stokes- en warmtevergelijkingstaken vanwege ongecontroleerde hoogfrequente componenten.
• Denoising: Bij experimenten met beelddenoising fungeerde de voorgestelde initialisatie als een effectieve impliciete regularisator, die schone signalen reconstrueerde terwijl het hoogfrequente ruis negeerde, in tegenstelling tot andere methoden die de neiging hadden om de ruis te overfitten.

Betekenis
Het artikel beweert dat dit werk een dieper theoretisch inzicht biedt in INR-initialisatie, en verder gaat dan empirische afstelling naar een principiële aanpak gebaseerd op theorie van dynamische systemen. Door gradientpropagatie te stabiliseren en het frequentiespectrum bij initialisatie te beheersen, stelt de voorgestelde methode diepe sinusoïdale netwerken in staat om hoogfrequente details te leren zonder spurious artefacten in te voeren. Dit maakt stabiele trainingsdynamiek mogelijk met leersnelheden die lineair schalen met de diepte, waardoor SIREN-architecturen robuuster en toepasbaar worden op complexe, hoogdimensionale problemen zoals wetenschappelijk rekenen en multi-schaal signaalreconstructie. De auteurs merken op dat hoewel de motivatie voortkomt uit INRs, de gesloten-formule initialisatie toepasbaar is op elke diepe architectuur met periodieke activaties waarbij gradientstabiliteit en frequentiecontrole gewenst zijn.