How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

Resumo Técnico: Controlando a Variância para Melhorar a Estabilidade de Treinamento de DNNs e CNNs com Ativação Esparsa

Definição do Problema
O treinamento de Redes Neurais Profundas (DNNs) e Redes Neurais Convolucionais (CNNs) com funções de ativação que induzem altos graus de esparsidade (ex: 85% a 90%) apresenta desafios significativos de inicialização. A teoria tradicional da Borda do Caos (Edge-of-Chaos - EoC), que caracteriza as camadas intermediárias como processos gaussianos para garantir a propagação estável da informação, geralmente assume que as ativações são aproximadamente lineares em torno da origem. Neste regime, a teoria EoC frequentemente defende que a variância de ponto fixo da distribuição pré-ativação, $q^*$, deve convergir para zero ou para um valor não nulo pequeno para alcançar a isometria dinâmica.

No entanto, para ativações que induzem esparsidade onde $\phi(z) = 0$ para $|z| \leq \tau$ (uma região próxima à origem), a suposição de linearidade falha. Trabalhos anteriores [1] demonstraram que estratégias de inicialização padrão de EoC frequentemente levam à instabilidade de treinamento nesses cenários. A instabilidade surge porque a variância empírica das camadas ocultas, $\tilde{q}^{(\ell)}$, flutua estocasticamente em torno do ponto fixo teórico $q^*$. Na ausência de linearidade perto da origem, essas flutuações podem fazer com que a perturbação multiplicativa dos erros (governada por $\chi_1$) se acumule exponencialmente com a profundidade, levando ao estouro de gradientes ou ao colapso da expressividade da rede.

Metodologia
Os autores estendem a teoria EoC para o cenário de ativações que induzem esparsidade, analisando especificamente a função exemplar $CReLU_{\tau,m}$ (e funções relacionadas como $CST_{\tau,m}$, $HardShrink$e$Sawtooth$). A metodologia central envolve tratar a variância de ponto fixo $q^*$ não meramente como um parâmetro derivado, mas como um hiperparâmetro ajustável.

A análise teórica foca em três métricas de controle que determinam a estabilidade do treinamento no limite de largura infinita:

1. Simetria do Mapa de Variância: Os autores analisam a segunda derivada da função de mapeamento de variância, $V''(q^*)$. Um $V''(q^*)$ grande indica uma perda de simetria em torno do ponto fixo, fazendo com que a variância empírica $\tilde{q}^{(\ell)}$ derive assimetricamente.
2. Correção de Dimensão Finita: Usando uma expansão de série infinita para redes de largura finita, os autores derivam limites para o termo de correção de ordem inferior, $\tilde{q}^{(1)}$. Este termo representa o desvio do limite gaussiano de largura infinita.
3. Sensibilidade de $\chi_1$: Os autores examinam a derivada do fator de perturbação multiplicativa, $\chi'_{1,\phi}(q^*)$, em relação à variância $q$. Alta sensibilidade implica que pequenas flutuações estocásticas na variância da camada levam a grandes mudanças na propagação do erro.

A estratégia de inicialização proposta envolve aumentar explicitamente $q^*$ (ex: de 1 para 2 ou 3) e ajustar os parâmetros de ativação ($\tau, m$) e as variâncias de peso/viés ($\sigma_w^2, \sigma_b^2$) para satisfazer as condições de EoC ($\chi_1(q^*) = 1$ e $q^* = V(q^*)$) neste novo e maior ponto fixo.

Principais Contribuições

1. Identificação de Novo Fenômeno: O artigo identifica um fenômeno contraintuitivo onde, para ativações zeradas perto da origem, aumentar a variância de ponto fixo $q^*$ melhora a estabilidade do treinamento. Isso contrasta com as abordagens tradicionais de EoC que buscam $q^* \to 0$.
2. Caracterização Teórica: Os autores provam que aumentar $q^*$ simultaneamente:
   • Melhora a simetria do mapa de variância $V(q)$ em torno do ponto fixo (reduzindo $V''(q^*)$).
   • Estreita o limite para o termo de correção de dimensão finita $\tilde{q}^{(1)}$, tornando o comportamento de largura finita mais próximo do limite gaussiano de largura infinita.
   • Reduz a sensibilidade do fator de propagação de erro $\chi_1$ às flutuações na variância da camada (reduzindo $\chi'_{1,\phi}(q^*)$).
3. Esquema de Inicialização Prático: É fornecido um procedimento de inicialização concreto para ativações esparsificantes. Este esquema permite o treinamento de redes com até 90% de esparsidade nas camadas ocultas, um regime anteriormente difícil de estabilizar.

Resultados Experimentais
Os autores validam sua teoria através de experimentos em DNNs (100 camadas, largura 300) e CNNs (50 camadas, 300 canais) treinadas em MNIST, CIFAR10 e Tiny ImageNet usando ativações $CReLU_{\tau,m}$.

• Estabilidade e Precisão: Para altos níveis de esparsidade ($s=0.85$ e $s=0.9$), redes inicializadas com $q^*=1$ frequentemente falharam em treinar ou exibiram alta sensibilidade à escolha do parâmetro de inclinação $V'(q^*)$. Aumentar $q^*$ para 2 ou 3 reduziu significativamente essa sensibilidade e restaurou a estabilidade do treinamento.
• Desempenho: Em casos onde $q^*=1$ resultou em baixa precisão (ex: 11% para DNNs em $s=0.9$), aumentar $q^*$ para 3 recuperou a precisão para níveis próximos do total (ex: 89%).
• Convergência: As curvas de perda de treinamento e precisão de validação mostraram convergência mais rápida para valores de $q^*$ mais altos, particularmente em regimes de alta esparsidade.
• Eficiência: O artigo inclui uma implementação de kernel CUDA customizada demonstrando que a esparsidade induzida gera ganhos de velocidade computacional (até ~2.9x) e reduções de energia, validando a utilidade prática da esparsidade.

Significância e Alegações
O artigo afirma que a variância de ponto fixo $q^*$ é um parâmetro crítico, embora anteriormente subexplorado, para controlar a dinâmica de treinamento de redes com ativação esparsa. Ao revisitar o framework de EoC para ativações não lineares que são zero perto da origem, os autores demonstram que um ajuste simples — aumentar $q^*$ — pode superar a instabilidade inerente aos regimes de alta esparsidade.

Os autores observam modestamente que seus resultados dependem da suposição de limite de largura infinita e são demonstrados primariamente em arquiteturas de proxy profundas (DNNs e CNNs), em vez de modelos de produção otimizados. Eles declaram explicitamente que extensões para Transformers e modelos de Estado-Espaço (State-Space models) não foram cobertas devido a diferenças arquiteturais (ex: conexões de salto/skip connections que anulam a esparsidade de ativação) e linhas de análise separadas. No entanto, o trabalho fornece uma base teórica e uma prova de conceito empírica para permitir o treinamento estável de redes com esparsidade extrema de ativação (até 90%), potencialmente desbloqueando eficiências computacionais significativas sem sacrificar o desempenho do modelo.