Resumo Técnico: Revisitando o Neural Tangent Kernel

Declaração do Problema

O framework do Neural Tangent Kernel (NTK) descreve a dinâmica de aprendizado de redes neurais sobreparametrizadas treinadas com gradiente descendente, postulando que, no limite de largura infinita, a rede se comporta como um método de kernel com um kernel fixo. Este regime é frequentemente denominado "treinamento preguiçoso" (lazy training) porque as ativações de neurônios ocultos individuais permanecem arbitrariamente próximas de seus valores de inicialização. No entanto, essa caracterização apresenta dois desafios teóricos significativos:

1. O Eixo da Largura: O "regime preguiçoso" implica que as características (ativações de neurônios ocultos) são estáticas e aleatórias, falhando em explicar o "aprendizado de características" observado em redes profundas práticas. Trabalhos anteriores sugerem que, embora o NTK capture dependências complexas, ele o faz sem extrair características significativas, criando um paradoxo entre seu sucesso de generalização e sua falta de evolução de características.
2. O Eixo da Profundidade: À medida que a profundidade da rede aumenta no limite de largura infinita, o NTK converge para um preditor independente de dados (uma matriz constante), tornando o modelo incapaz de distinguir pontos de dados não presentes no conjunto de treinamento. Isso sugere um beco sem saída teórico para redes profundas sob a escala padrão de NTK, onde o modelo perde expressividade e capacidades de generalização.

Este artigo desafia as conclusões de que o NTK é puramente "preguiçoso" em relação ao aprendizado de características e que NTKs profundos inevitavelmente degeneram em preditores triviais.

Metodologia

Os autores empregam uma combinação de análise assintótica teórica e validação empírica em redes ReLU totalmente conectadas com inicialização Gaussiana padrão e perda de Erro Quadrático Médio (MSE).

Estrutura Teórica

• Notação e Definições: O artigo utiliza as definições recursivas do NTK ($\Theta^{(L)}_\infty$) e da covariância de neurônios ($\Sigma^{(L)}$) estabelecidas por Jacot et al. (2018a) e Arora et al. (2019b). Ele foca no limite de largura infinita onde o NTK converge para um kernel determinístico.
• Análise de Características (Largura): Os autores analisam o comportamento agregado das camadas ocultas em vez de neurônios individuais. Eles derivam uma solução de forma fechada para o produto interno das ativações das camadas ocultas ao longo do tempo, $\langle h_t(x), h_t(x') \rangle$, para demonstrar que, embora os desvios dos neurônios individuais desapareçam, o desvio da norma agregada não o faz.
• Análise de Profundidade: O artigo investiga o limite conforme a profundidade $L \to \infty$. Ele introduz um kernel normalizado $\bar{\Theta}^{(L)}_\infty$ e analisa suas propriedades de convergência. Os autores derivam limites assintóticos para os autovalores da matriz de kernel e a função de predição $f_t(x)$.
• Estratégia de Escalonamento: Para abordar a degenerescência de profundidade, o artigo propõe um regime de escalonamento específico onde a profundidade $L$, o tempo de parada $t$ e o tamanho do conjunto de dados $n$ são acoplados. Especificamente, evita-se a suposição de $t \to \infty$ ou $L \to \infty$ isoladamente, exigindo em vez disso que $L$ escale apropriadamente com $n$ e $t$ para permanecer dentro da "fase ordenada" da dinâmica do kernel.

Validação Empírica

• Modelos de Brinquedo e Conjuntos de Dados: Experimentos são conduzidos em dados sintéticos, no conjunto de dados text8 (usando codificações one-hot) e MNIST.
• Métricas: Os autores medem o desvio da última camada oculta de sua inicialização ($\|h_t - h_0\|_2$) e as taxas de convergência dos valores e autovalores do kernel conforme a profundidade aumenta.

Principais Contribuições

1. Reavaliando o "Regime Preguiçoso" (Eixo da Largura)

O artigo refuta a distinção binária entre regimes "preguiosos" (características estáticas) e de "aprendizado de características" (características dinâmicas).

• Dinâmica Agregada: Embora as ativações dos neurônios individuais converjam para seus valores de inicialização conforme a largura aumenta, a norma agregada dos desvios na última camada oculta não desaparece.
• Prova Teórica (Proposição 4): Os autores provam que, para redes ReLU com pelo menos duas camadas ocultas, o produto interno das ativações das camadas ocultas para entradas distintas, $\langle h_t(x), h_t(x') \rangle$, é uma função estritamente não constante do passo de treinamento $t$. Isso demonstra que as correlações estatísticas entre pontos de dados evoluem durante o treinamento, mesmo no limite de largura infinita.
• Implicação: O "regime preguiçoso" não impede o aprendizado de características; em vez disso, as características evoluem de uma forma que é capturada pela dinâmica agregada da camada, não pelo rastreamento de neurônios individuais.

2. Resolvendo a Expressividade em Redes Profundas (Eixo da Profundidade)

O artigo aborda o colapso do NTK em um preditor independente de dados conforme a profundidade aumenta.

• Convergência para uma Constante: Os autores confirmam que o kernel normalizado $\bar{\Theta}^{(L)}_\infty(x, x')$ converge para $1/4$ para $x \neq x'$ quando $L \to \infty$ (Teorema 2).
• Estabilização via Escalonamento (Teorema 3): O artigo demonstra que a função de predição $f_t$ pode permanecer estável e expressiva se a profundidade $L$ for escalonada em relação ao tamanho do conjunto de dados $n$ e o tempo de parada $t$ for escolhido apropriadamente (parada antecipada).
  • Ao definir $t \in o(1/\lambda_n)$ (onde $\lambda_n$ é o menor autovalor) e escalar $L$ de modo que seja grande o suficiente para estabilizar o kernel, mas não tão grande que induza a independência de dados, o modelo retém a capacidade de distinguir pontos de dados.
  • Os autores fornecem um limite para $L$ dependente da separação dos pontos de dados: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$.
• Generalização: Esses resultados valem para conjuntos de dados arbitrários na esfera sem assumir que os dados são gerados a partir de uma distribuição de probabilidade com uma função de densidade, relaxando restrições encontradas na literatura anterior (ex: Xiao et al., 2020).

Resultados

• Evolução de Características: Resultados empíricos no text8 mostram que, embora os desvios dos neurônios individuais sejam pequenos (consistentes com o comportamento "preguiçoso"), o desvio agregado da última camada oculta cresce com o treinamento, confirmando a previsão teórica de características não estáticas.
• Convergência de Kernel: Experimentos em dados sintéticos e MNIST confirmam que os valores do kernel convergem para $1/4$ a uma taxa de $O(1/L)$.
• Estabilidade: Ao aplicar as leis de escalonamento derivadas (Teorema 3), os autores mostram que a norma do operador de projeção na solução de forma fechada permanece limitada ($O(n)$) e o modelo mantém a expressividade mesmo para grandes profundidades, desde que a profundidade não seja excessivamente grande em relação à separação dos dados.

Significância e Alegações

O artigo afirma fornecer uma compreensão teórica mais matizada do escalonamento em redes neurais:

1. Nuance ao "Regime Preguiçoso": Argumenta-se que o descritor "regime preguiçoso" é incompleto. Embora os neurônios individuais sejam estáticos, a dinâmica coletiva da camada permite o aprendizado de características, reconciliando o sucesso de generalização do NTK com o conceito de extração de características.
2. Viabilidade de NTKs Profundos: Desafia a noção de que NTKs de profundidade infinita são becos sem saída teóricos. Ao escalar adequadamente a profundidade e o tempo de parada, o NTK pode gerar saídas bem comportadas e não triviais para grandes conjuntos de dados.
3. Alinhamento Prático: As descobertas sugerem que a zona de "equilíbrio" (Goldilocks zone) para a análise de NTK reside em regimes onde a profundidade é grande, mas finita, e a parada antecipada é empregada, espelhando configurações experimentais práticas onde $L \ll n$.
4. Generalização: Os autores fornecem um conjunto de propriedades fundamentais (dominância diagonal, positividade definida em profundidade suficiente) que permitem que esses resultados sejam generalizados para outros kernels e arquiteturas, como CNNs, embora notem explicitamente que sua análise não cobre as flutuações estocásticas encontradas em regimes onde a profundidade excede vastamente a largura (Hanin e Nica, 2020).

O artigo conclui que o NTK continua sendo uma ferramenta valiosa para analisar redes sobreparametrizadas, desde que se vá além da suposição de características estáticas e tempo de treinamento/profundidade infinitos sem escalonamento.