A new initialisation to Control Gradients in Sinusoidal Neural network

Sintesi Tecnica: Una Nuova Inizializzazione per Controllare i Gradienti nelle Reti Neurali Sinusoidali

Enunciato del Problema
Le Rappresentazioni Neurali Implicithe (INR), in particolare quelle che utilizzano funzioni di attivazione sinusoidali (SIREN), sono efficaci per l'approssimazione di segnali ad alta frequenza in applicazioni come il ripristino di immagini, la codifica di segnali e la risoluzione di equazioni differenziali alle derivate parziali (PDE). Tuttavia, le architetture SIREN standard presentano un compromesso critico: mentre mitigano il bias spettrale delle Multi-Layer Perceptron (MLP) standard imparando le alte frequenze, l'aumento della profondità della rete porta spesso alla comparsa di artefatti spurii ad alta frequenza. Questo fenomeno degrada la generalizzazione e causa l'esplosione dei gradienti. Al contrario, gli schemi di inizializzazione standard (ad esempio Xavier, Kaiming) o l'inizializzazione SIREN originale non forniscono garanzie teoriche per la stabilità dei gradienti nelle reti periodiche profonde, risultando spesso in gradienti che svaniscono o esplodono, ostacolando la dinamica di addestramento.

Metodologia
Gli autori propongono un nuovo schema di inizializzazione, derivato analiticamente, per le reti SIREN progettato per operare al "bordo del caos" (EOC). Questo regime garantisce che le varianze delle pre-attivazioni rimangano stabili e che i gradienti non svaniscano né esplodano all'aumentare della profondità della rete.

La metodologia si basa su un'analisi teorica nel limite di larghezza infinita ($N \to \infty$) e profondità infinita ($L \to \infty$):

1. Distribuzione delle Pre-attivazioni: Gli autori derivano un'espressione in forma chiusa per il punto fisso della varianza delle pre-attivazioni ($\sigma_a^2$) utilizzando la funzione $W$ di Lambert. Dimostrano che la varianza converge a un punto fisso determinato dal parametro di scaling dei pesi $c_w$ e dalla varianza del bias $c_b$.
2. Stabilità dei Gradienti: Analizzando lo Jacobiano della mappatura da strato a strato, gli autori derivano la condizione per la stabilità dei gradienti. Definendo una varianza del gradiente riscalata $\sigma_g$, impongono $\sigma_g = 1$ per prevenire l'esplosione o lo svanimento dei gradienti. Questo vincolo stabilisce una relazione specifica tra $c_w$ e $c_b$.
3. Controllo Spettrale: Gli autori identificano due soluzioni specifiche lungo la curva di stabilità:
   • $\sigma_a = 1$: Corrisponde all'intuizione originale SIREN (le pre-attivazioni seguono una distribuzione $N(0,1)$), che gli autori dimostrano portare a un allargamento spettrale e ad aliasing nelle reti profonde.
   • $\sigma_a = 0$ (Proposta): Imposta la varianza delle pre-attivazioni a zero. In questo regime, gli strati profondi si comportano quasi linearmente ($\sin(z) \approx z$), sopprimendo efficacemente l'allargamento dello spettro di Fourier e prevenendo la comparsa di frequenze oltre il limite di Nyquist.
4. Analisi del Kernel Tangente Neurale (NTK): Il lavoro investiga l'impatto dell'inizializzazione sull'NTK. Dimostrano che l'inizializzazione proposta ($\sigma_a=0$) risulta in autovalori NTK che scalano linearmente con la profondità, mentre i gradienti di input rimangono normalizzati. Ciò contrasta con l'inizializzazione SIREN originale, dove gli autovalori NTK e i gradienti esplodono esponenzialmente con la profondità.

Contributi Chiave

• Inizializzazione in Forma Chiusa: La derivazione di uno schema di inizializzazione esplicito per SIREN che garantisce distribuzioni di gradino invarianti tra gli strati e uno spettro di Fourier indipendente dalla profondità.
• Giustificazione Teorica per $\sigma_a = 0$: L'identificazione del fatto che impostare la varianza delle pre-attivazioni a zero è ottimale per controllare lo spettro di frequenza, prevenire l'aliasing e garantire una dinamica di addestramento stabile in architetture profonde.
• Dinamiche NTK: Una dimostrazione che il controllo della propagazione del gradiente all'inizializzazione modella direttamente gli autovalori NTK, determinando così la velocità di apprendimento delle diverse componenti di frequenza ed evitando il bias spettrale intrinseco in altre configurazioni di reti profonde.

Risultati
L'inizializzazione proposta ($\sigma_a = 0$) è stata confrontata con lo schema SIREN originale, la variante $\sigma_a = 1$ e altre architetture all'avanguardia (ad esempio FINER, WIRE, Tanh con caratteristiche di Fourier, ReLU con codifica posizionale) su varie attività:

• Adattamento di Funzioni: Nell'approssimazione di funzioni multi-scala in 1D, 2D e 3D, il metodo proposto ha costantemente ottenuto un errore di generalizzazione inferiore rispetto ai baseline, in particolare all'aumentare della profondità della rete.
• Ripristino di Immagini e Video: Nelle attività di adattamento di immagini e ripristino di video (utilizzando il dataset atmosferico ERA-5), il metodo proposto ha prodotto caratteristiche più nitide e significativamente meno artefatti ad alta frequenza rispetto alla SIREN originale e ad altri metodi.
• Reti Neurali Informate dalla Fisica (PINN): Il metodo è stato testato sulla risoluzione dell'equazione di Burgers 1D, delle equazioni di Navier-Stokes stazionarie 2D e dell'equazione del calore 2D in geometrie complesse. L'inizializzazione proposta ha prodotto soluzioni stabili, mentre l'inizializzazione SIREN originale ha generato risultati rumorosi e instabili nelle attività relative alle equazioni di Navier-Stokes e del calore a causa di componenti ad alta frequenza non controllate.
• Denoising: Negli esperimenti di rimozione del rumore dalle immagini, l'inizializzazione proposta ha agito come un regolarizzatore implicito efficace, ricostruendo segnali puliti ignorando il rumore ad alta frequenza, a differenza di altri metodi che tendevano a sovradattare il rumore.

Significato
Il lavoro afferma di fornire una comprensione teorica più profonda dell'inizializzazione delle INR, superando la regolazione empirica per approcciare un metodo basato sulla teoria dei sistemi dinamici. Stabilizzando la propagazione del gradiente e controllando lo spettro di frequenza all'inizializzazione, il metodo proposto permette alle reti sinusoidali profonde di apprendere dettagli ad alta frequenza senza introdurre artefatti spurii. Ciò consente dinamiche di addestramento stabili con tassi di apprendimento che scalano linearmente con la profondità, rendendo le architetture SIREN più robuste e applicabili a problemi complessi e ad alta dimensionalità come il calcolo scientifico e il ripristino di segnali multi-scala. Gli autori notano che, sebbene la motivazione derivi dalle INR, l'inizializzazione in forma chiusa è applicabile a qualsiasi architettura profonda con attivazioni periodiche dove si desiderano stabilità dei gradienti e controllo della frequenza.