Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information

Resumo Técnico: Aproximação de Redes ReLU Simples baseada na Decomposição Espectral da Informação de Fisher

Enunciado do Problema
Este artigo investiga o espaço de funções representado por uma rede neural ReLU de duas camadas, sem viés, com pesos ocultos fixos aleatoriamente e pesos de saída treináveis. Especificamente, os autores visam identificar as formas funcionais específicas correspondentes aos espaços próprios dominantes da Matriz de Informação de Fisher (FIM). Trabalhos anteriores de Takeishi et al. [7, 8, 9] estabeleceram que, para tais redes, a distribuição de autovalores da FIM concentra-se fortemente nos três primeiros espaços próprios, que coletivamente representam aproximadamente 97,7% do traço da matriz, independentemente do número de unidades ocultas ($m$). Embora as propriedades espectrais fossem conhecidas, os espaços de funções específicos induzidos por esses principais espaços próprios permaneciam não identificados.

Metodologia
O estudo analisa um modelo onde a entrada $x \in \mathbb{R}^d$ segue uma distribuição Gaussiana padrão $N(0, I_d)$, e a saída é $y = f_v(x) + \epsilon$, com $f_v(x) = X(x)^\top v$. Aqui, $X(x) = \sigma(x^\top W)$ representa a saída da camada oculta usando a ativação ReLU $\sigma(\cdot)$, onde $W \in \mathbb{R}^{d \times m}$ contém pesos i.i.d. Gaussianos $N(0, 1/m)$, e $v \in \mathbb{R}^m$ é o vetor de pesos de saída treinável.

A metodologia procede da seguinte forma:

1. Análise Espectral: Os autores utilizam a decomposição espectral aproximada da FIM, $J = \mathbb{E}_{x}[X(x)X(x)^\top]$, derivada na literatura anterior. Eles focam nos três espaços próprios dominantes correspondentes aos maiores autovalores:
   • O primeiro espaço próprio (multiplicidade 1) com autovalor $\approx (2d+1)/4\pi$.
   • O segundo espaço próprio (multiplicidade $d$) com autovalor $1/4$.
   • O terceiro espaço próprio (multiplicidade $d(d+1)/2 - 1$) com autovalor $\approx 1/(2\pi(d+2))$.
2. Mapeamento do Espaço de Funções: Ao definir o produto interno no espaço de funções como $\langle f, g \rangle = \mathbb{E}_{x \sim N(0, I_d)}[f(x)g(x)]$, os autores mapeiam os autovetores aproximados do espaço de parâmetros ($v$) para suas formas funcionais assintóticas correspondentes no limite quando $m \to \infty$.
3. Derivação Assintótica: O artigo deriva o limite de $X(x)^\top v$ para os autovetores específicos associados aos três clusters dominantes, provando a convergência em probabilidade para funções específicas envolvendo harmônicos esféricos.
4. Validação: Os resultados teóricos são validados através de simulações numéricas em diversas dimensões de entrada ($d$) e tamanhos de camada oculta ($m$), medindo o Erro Absoluto Médio (MAE) entre as saídas da rede realizadas e os limites assintóticos derivados.

Principais Contribuições e Resultados
A contribuição primária é a identificação das funções de base específicas que abrangem o espaço de funções correspondente a 97,7% do traço da FIM. À medida que $m \to \infty$, as saídas da rede correspondentes aos três espaços próprios dominantes convergem para as seguintes formas:

1. Primeiro Espaço Próprio: A função converge para um componente radial proporcional à norma euclidiana:
   $$F_0(x) \propto \|x\|$$
2. Segundo Espaço Próprio: As funções convergem para termos lineares específicos de coordenadas:
   $$F_l(x) \propto x_l \quad \text{para } l \in \{1, \dots, d\}$$
3. Terceiro Espaço Próprio: As funções convergem para termos envolvendo produtos de coordenadas normalizados pela norma, especificamente relacionados a harmônicos esféricos de grau 2:
   $$F_{\alpha\beta}(x) \propto \frac{x_\alpha x_\beta}{\|x\|} \quad (\alpha < \beta)$$
   $$F_\gamma(x) \propto \frac{x_\gamma^2}{\|x\|} - \text{termos de correção} \quad (\gamma \in \{1, \dots, d-1\})$$

Os autores demonstram que essas funções formam uma base aproximadamente ortogonal no espaço de funções sob a métrica de Fisher. Os resultados da simulação confirmam que, à medida que $m$ aumenta, o Erro Absoluto Médio entre a realização da rede e esses limites teóricos diminui, validando as aproximações assintóticas.

Significância e Alegações
O artigo alega que esses resultados fornecem uma caracterização rigorosa da "dinâmica de aprendizado" de redes ReLU simples no limite de largura infinita. Ao vincular a decomposição espectral da FIM a formas funcionais específicas, os autores argumentam que:

• Priorização pela Descida de Gradiente: Como a descida de gradiente converge mais rápido ao longo de direções correspondentes a maiores autovalores do Hessiano (que aproxima a FIM perto do ótimo), a rede prioriza o aprendizado de características proporcionais a $\|x\|$, seguidas por $x_l$, e então os termos quadráticos $x_\alpha x_\beta / \|x\|$.
• Conexão com Kernels Tangentes Neurais (NTK): Os resultados são interpretados como a identificação dos autovalores e autofunções dos três primeiros graus da decomposição de Mercer do Kernel Tangente Neural para redes de duas camadas. Isso conecta a análise de FIM de largura finita à literatura de NTK de largura infinita, relacionando-se especificamente ao trabalho de Bietti e Ma [3].
• Dinâmica do Espaço de Funções: O trabalho oferece uma estrutura para entender como redes superparametrizadas expressam funções, sugerindo que a fase inicial de treinamento é dominada por funções de harmônicos esféricos de baixo grau (ordens 0, 1 e 2).

Limitações
Os autores notam explicitamente várias limitações:

• Distribuição de Entrada: A ortogonalidade e as formas funcionais específicas dependem fortemente de a entrada $x$ ser invariante por rotação (especificamente Gaussiana padrão). Distribuições não Gaussianas ou não invariantes por rotação podem alterar a hierarquia das funções de base.
• Largura Finita: A análise assume o limite de largura infinita ($m \to \infty$). Redes de largura finita podem apresentar desvios devido a efeitos estocásticos.
• Variedades de Dados: A estrutura atual não aborda dados distribuídos em variedades de dimensão inferior, onde a FIM pode tornar-se degenerada.
• Arquitetura: O estudo restringe-se a redes ReLU de duas camadas, sem viés; extensões para arquiteturas mais profundas ou diferentes funções de ativação não são cobertas.