A new initialisation to Control Gradients in Sinusoidal Neural network

Resumo Técnico: Uma Nova Inicialização para Controlar Gradientes em Redes Neurais Senoidais

Declaração do Problema
Representações Neurais Implícitas (INRs), particularmente aquelas que utilizam funções de ativação senoidais (SIREN), são eficazes para aproximar sinais de alta frequência em aplicações como reconstrução de imagens, codificação de sinais e resolução de equações diferenciais parciais (EDPs). No entanto, arquiteturas SIREN padrão enfrentam um compromisso crítico: enquanto mitigam o viés espectral de Redes Perceptron Multicamada (MLPs) padrão ao aprender frequências altas, o aumento da profundidade da rede frequentemente leva ao surgimento de artefatos espúrios de alta frequência. Esse fenômeno degrada a generalização e causa explosão de gradientes. Por outro lado, esquemas de inicialização padrão (por exemplo, Xavier, Kaiming) ou a inicialização original da SIREN não fornecem garantias teóricas para a estabilidade dos gradientes em redes periódicas profundas, resultando frequentemente em gradientes que desaparecem ou explodem, o que prejudica a dinâmica de treinamento.

Metodologia
Os autores propõem um novo esquema de inicialização, derivado analiticamente, para redes SIREN projetado para operar na "borda do caos" (EOC). Esse regime garante que as variâncias das pré-ativações permaneçam estáveis e que os gradientes nem desapareçam nem explorem à medida que a profundidade da rede aumenta.

A metodologia baseia-se em uma análise teórica no limite de largura infinita ($N \to \infty$) e profundidade infinita ($L \to \infty$):

1. Distribuição de Pré-ativação: Os autores derivam uma expressão de forma fechada para o ponto fixo da variância da pré-ativação ($\sigma_a^2$) usando a função $W$ de Lambert. Eles mostram que a variância converge para um ponto fixo determinado pelo parâmetro de escala de pesos $c_w$ e pela variância do viés $c_b$.
2. Estabilidade do Gradiente: Ao analisar a Jacobiana do mapeamento camada a camada, os autores derivam a condição para a estabilidade do gradiente. Eles definem uma variância de gradiente reescalada $\sigma_g$ e impõem $\sigma_g = 1$ para prevenir a explosão ou o desaparecimento do gradiente. Essa restrição estabelece uma relação específica entre $c_w$ e $c_b$.
3. Controle Espectral: Os autores identificam duas soluções específicas ao longo da curva de estabilidade:
   • $\sigma_a = 1$: Corresponde à intuição original da SIREN (as pré-ativações seguem $N(0,1)$), que os autores mostram levar ao alargamento espectral e ao aliasing em redes profundas.
   • $\sigma_a = 0$ (Proposta): Define a variância da pré-ativação como zero. Nesse regime, as camadas profundas comportam-se quase linearmente ($\sin(z) \approx z$), suprimindo efetivamente o alargamento do espectro de Fourier e prevenindo o surgimento de frequências além do limite de Nyquist.
4. Análise do Kernel Tangente Neural (NTK): O artigo investiga o impacto da inicialização no NTK. Eles demonstram que a inicialização proposta ($\sigma_a=0$) resulta em autovalores do NTK que escalam linearmente com a profundidade, enquanto os gradientes de entrada permanecem normalizados. Isso contrasta com a inicialização original da SIREN, onde os autovalores do NTK e os gradientes explodem exponencialmente com a profundidade.

Principais Contribuições

• Inicialização de Forma Fechada: A derivação de um esquema de inicialização explícito para SIREN que garante distribuições de gradiente invariantes entre camadas e um espectro de Fourier independente da profundidade.
• Justificativa Teórica para $\sigma_a = 0$: A identificação de que definir a variância da pré-ativação como zero é ótimo para controlar o espectro de frequências, prevenir aliasing e garantir dinâmicas de treinamento estáveis em arquiteturas profundas.
• Dinâmica do NTK: Uma demonstração de que controlar a propagação do gradiente na inicialização molda diretamente os autovalores do NTK, determinando assim a velocidade de aprendizado de diferentes componentes de frequência e evitando o viés espectral inerente a outras configurações de redes profundas.

Resultados
A inicialização proposta ($\sigma_a = 0$) foi comparada com o esquema original da SIREN, a variante $\sigma_a = 1$ e outras arquiteturas de última geração (por exemplo, FINER, WIRE, Tanh com recursos de Fourier, ReLU com codificação posicional) em várias tarefas:

• Ajuste de Função: Em aproximação de funções multiescala 1D, 2D e 3D, o método proposto alcançou consistentemente menor erro de generalização em comparação com as linhas de base, particularmente à medida que a profundidade da rede aumentava.
• Reconstrução de Imagem e Vídeo: Em tarefas de ajuste de imagem e reconstrução de vídeo (usando o conjunto de dados atmosférico ERA-5), o método proposto produziu características mais nítidas e significativamente menos artefatos de alta frequência em comparação com a SIREN original e outros métodos.
• Redes Neurais Informadas por Física (PINNs): O método foi testado na resolução da equação de Burgers 1D, das equações de Navier-Stokes estacionárias 2D e da equação do calor 2D em geometrias complexas. A inicialização proposta produziu soluções estáveis, enquanto a inicialização original da SIREN produziu resultados ruidosos e instáveis nas tarefas de Navier-Stokes e equação do calor devido a componentes de alta frequência não controlados.
• Remoção de Ruído: Em experimentos de remoção de ruído de imagem, a inicialização proposta atuou como um regularizador implícito eficaz, reconstruindo sinais limpos enquanto ignorava ruídos de alta frequência, ao contrário de outros métodos que tendiam a sobreajustar o ruído.

Significado
O artigo afirma que este trabalho fornece uma compreensão teórica mais profunda da inicialização de INRs, avançando além do ajuste empírico para uma abordagem baseada em princípios da teoria dos sistemas dinâmicos. Ao estabilizar a propagação do gradiente e controlar o espectro de frequências na inicialização, o método proposto permite que redes senoidais profundas aprendam detalhes de alta frequência sem introduzir artefatos espúrios. Isso permite dinâmicas de treinamento estáveis com taxas de aprendizado que escalam linearmente com a profundidade, tornando as arquiteturas SIREN mais robustas e aplicáveis a problemas complexos e de alta dimensão, como computação científica e reconstrução de sinais multiescala. Os autores observam que, embora a motivação surja das INRs, a inicialização de forma fechada é aplicável a qualquer arquitetura profunda com ativações periódicas onde a estabilidade do gradiente e o controle de frequência são desejados.