Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

Resumo Técnico: Rumo à Compreensão da Dinâmica do Fluxo de Gradiente de Redes Neurais Homogêneas Além da Origem

Enunciado do Problema
Redes neurais profundas modernas treinadas via métodos baseados em gradiente frequentemente exibem uma forte generalização, apesar da sobreparametrização, um fenômeno atribuído à regularização implícita induzida pelo algoritmo de treinamento. Embora progressos significativos tenham sido feitos na compreensão da dinâmica de treinamento no regime do Kernel de Tangente Neural (NTK) (inicialização grande) e nos estágios tardios do treinamento, o regime de "inicialização pequena" permanece menos compreendido. Neste regime, as redes operam em um modo de aprendizado de características (feature-learning mode), embora a evolução altamente não linear dos pesos represente desafios analíticos.

Trabalhos anteriores (ex: Maennel et al., 2018; Kumar e Haupt, 2024, 2025) estabeleceram que, para redes neurais homogêneas com inicialização pequena, os pesos permanecem próximos à origem por um período prolongado. Durante esta fase, os pesos convergem em direção a um ponto de Karush-Kuhn-Tucker (KKT) de uma Função de Correlação Neural (NCF), um fenômeno conhecido como "convergência direcional precoce". Além disso, esses pontos KKT iniciais frequentemente exibem esparsidade. No entanto, o comportamento do fluxo de gradiente após os pesos escaparem da origem e a preservação da estrutura de esparsidade emergente durante essa transição não foram totalmente caracterizados. Este artigo aborda essa lacuna analisando a dinâmica do fluxo de gradiente de redes neurais homogêneas imediatamente após eles escaparem da origem, até o primeiro ponto de sela encontrado.

Metodologia e Configuração
O artigo estuda redes neurais homogêneas $H(x; w)$ que são $L$-positivamente homogêneas ($L \ge 2$), o que significa que $H(x; cw) = c^L H(x; w)$ para $c \ge 0$. A análise assume que a rede possui gradientes localmente Lipschitz, o que inclui redes lineares profundas e redes com ativações ReLU polinomiais ($p \ge 2$), mas exclui explicitamente redes ReLU padrão ($p=1$) devido à não diferenciabilidade na origem, embora resultados empíricos sugiram potenciais extensões.

O objetivo de treinamento é a minimização de uma função de perda $\mathcal{L}(w)$ via fluxo de gradiente:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
Os autores baseiam-se no conceito de Função de Correlação Neural (NCF), definida como $N(u) = \bar{e}_y^\top H(X; u)$, onde $\bar{e}_y = -\ell'(0, y)$. Eles analisam a otimização restrita de $N(u)$ na esfera unitária.

A metodologia central envolve:

1. Construção da Trajetória Limite: Definir uma solução limite $p(t)$ que representa o caminho do fluxo de gradiente após a fuga da origem. Isso é alcançado através do deslocamento temporal da solução $\psi(t, \delta w_0)$ (onde $\delta$ é a escala de inicialização) por um termo dependente de $\ln(1/\delta)$ e tomando o limite conforme $\delta \to 0$.
2. Análise de Estabilidade: Utilizar as propriedades de pontos KKT positivos de segunda ordem $\Delta$-segundos da NCF restrita. Os autores assumem que a direção inicial dos pesos reside no conjunto estável de tal ponto KKT.
3. Subconjuntos Preservadores de Zero: Introduzir o conceito de um "subconjunto preservador de zero" dos pesos — pesos inicializados em zero que permanecem em zero durante todo o treinamento sob o fluxo de gradiente. Isso é usado para analisar a preservação da esparsidade.

Principais Contribuições e Resultados

1. Dinâmica do Fluxo de Gradiente Pós-Escape (Teoremas 4 e 10)
O artigo estabelece que, para inicialização suficientemente pequena, a trajetória do fluxo de gradiente após escapar da origem segue de perto um caminho limite específico $p(t)$, independentemente da escala específica de inicialização pequena $\delta$, desde que a direção inicial se alinhe com um conjunto estável de um ponto KKT positivo de segunda ordem da NCF.

• Redes de Duas Homogeneidades ($L=2$): O Teorema 4 mostra que, após uma escala de tempo de $O(\ln(1/\delta))$, a trajetória $\psi(t, \delta w_0)$ converge para $p(t)$ com um erro de $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$.
• Redes Homogêneas Profundas ($L > 2$): O Teorema 10 estende isso para redes $L$-homogêneas. O tempo de escape escala como $O(\delta^{-(L-2)})$, e a trajetória similarmente converge para um caminho limite $p(t)$ com um erro específico.
• Implicação: O comportamento do fluxo de gradiente imediatamente após escapar da origem é determinado primariamente pelo ponto KKT da NCF que os pesos aproximaram enquanto estavam próximos da origem.

2. Caracterização do Primeiro Ponto de Sela (Corolários 5, 6, 11, 12)
Os autores demonstram que a trajetória limite $p(t)$ converge para um ponto estacionário (ponto de sela) da função de perda de treinamento. Consequentemente, para inicialização suficientemente pequena, a trajetória real do fluxo de gradiente $\psi(t, \delta w_0)$ se aproximará deste mesmo ponto de sela após escapar da origem.

• O artigo distingue entre casos onde o ponto de sela é finito (trajetória limitada) e casos onde ele está no infinito (trajetória ilimitada, comum com perda logística).
• Os resultados implicam que o fluxo de gradiente segue uma trajetória "de sela para sela", caracterizando especificamente o primeiro ponto de sela encontrado após a origem.

3. Preservação de Esparsidade em Redes Feed-Forward (Seção 4 e Teorema 18)
Uma contribuição crítica é a prova de que a estrutura de esparsidade que emerge durante a fase "próxima à origem" é preservada após o escape da origem, até o primeiro ponto de sela.

• Subconjuntos Preservadores de Zero: Os autores provam que, para redes feed-forward homogêneas, as linhas e colunas das matrizes de pesos correspondentes a entradas de magnitude zero em um ponto KKT da NCF formam um "subconjunto preservador de zero". Se esses pesos forem inicializados em zero, eles permanecerão em zero durante todo o treinamento.
• Preservação de Esparsidade: Uma vez que o fluxo de gradiente com inicialização pequena converge em direção a um ponto KKT com esparsidade específica (onde certos pesos são zero), e esses pesos zero formam um subconjunto preservador de zero, a estrutura de esparsidade é mantida enquanto a rede escapa da origem e se aproxima do primeiro ponto de sela.
• Teorema 18: Formaliza que, tanto para redes $L=2$ quanto $L>2$, a magnitude dos pesos no subconjunto preservador de zero permanece negligenciável ($O(\delta^{\text{expoente}})$) mesmo após o tempo de escape, efetivamente preservando o padrão de esparsidade.

Validação Experimental
O artigo fornece experimentos numéricos (Figuras 1, 4, 5, 6) usando funções de ativação quadráticas ($L=2$) e ativações ReLU polinomiais.

• Ativação Quadrática: Os experimentos confirmam que os pesos tornam-se esparsos antes de escapar da origem e que essa esparsidade é preservada no próximo ponto de sela.
• Ativação ReLU: Embora o arcabouço teórico exclua a ReLU padrão ($L=1$), experimentos em redes ReLU mostram que, embora os pesos não se tornem perfeitamente esparsos (com mais entradas não nulas do que no caso polinomial), a estrutura de esparsidade relativa (onde pesos pequenos permanecem pequenos) é preservada. Isso sugere que os achados podem se estender às redes ReLU empiricamente, apesar da falta de gradientes localmente Lipschitz na origem.

Significância e Alegações
O artigo afirma fornecer uma caracterização rigorosa de um segmento específico da dinâmica de treinamento: a transição da fase "próxima à origem" para o primeiro ponto de sela.

• Mecanismo de Regularização Implícita: Ele vincula a regularização implícita observada nos regimes de inicialização pequena à geometria da NCF e aos pontos KKT específicos para os quais a rede converge.
• Estabilidade da Esparsidade: Oferece uma explicação teórica para o porquê de padrões de esparsidade observados no início do treinamento persistirem, atribuindo isso à natureza "preservadora de zero" de subconjuntos de pesos específicos em arquiteturas feed-forward.
• Limitações: Os autores declaram explicitamente a modéstia de seu escopo. Os resultados são limitados a:
  1. Redes homogêneas com gradientes localmente Lipschitz (excluindo ReLU padrão).
  2. A dinâmica apenas até o primeiro ponto de sela encontrado após a fuga da origem. O comportamento além deste ponto (ex: escapar da sela para um mínimo global) não é coberto e é identificado como uma direção para trabalhos futuros.
  3. A suposição de que a direção inicial reside no conjunto estável de um ponto KKT positivo de segunda ordem.

Em resumo, o artigo preenche a lacuna entre a convergência direcional de estágio inicial e a fase subsequente de treinamento, demonstrando que as propriedades estruturais (especificamente a esparsidade) estabelecidas enquanto se está próximo à origem ditam a trajetória e a estabilidade da rede conforme ela começa a aprender características e se aproxima do primeiro ponto de sela.