Correlation flow governs learning at criticality

Resumo Técnico: O Fluxo de Correlação Governa o Aprendizado na Criticidade

Definição do Problema
A inicialização de redes neurais profundas é crítica para determinar se a informação e os gradientes podem se propagar através da profundidade. Embora o sucesso empírico tenha impulsionado o escalonamento do tamanho das redes, uma teoria unificada que conecte as propriedades de inicialização à dinâmica de aprendizado permanece elusiva. Especificamente, há uma falta de compreensão sobre como a interação entre a propagação de correlação, o espectro do Jacobiano de ponta a ponta e o Kernel de Tangente Neural (NTK) é condicionada pelas escolhas de inicialização (Gaussiana vs. ortogonal) no limite de redes infinitamente largas e infinitamente profundas. Trabalhos anteriores estabeleceram que a "criticidade" (um ponto específico no plano de variância peso-viés) permite uma decaimento algébrico em vez de exponencial das correlações, mas a relação precisa entre este fluxo de correlação e a dinâmica de aprendizado resultante (governada pelo NTK) não foi totalmente caracterizada. Além disso, o papel da inicialização ortogonal no controle de correções de tamanho finito neste limite requer um embasamento teórico rigoroso.

Metodologia
Os autores empregam uma combinação de teoria de campo médio e teoria de matrizes aleatórias para analisar redes neurais totalmente conectadas no limite sequencial, onde a largura $N$ é levada ao infinito antes da profundidade $L$ ($N \to \infty$ seguido de $L \to \infty$).

1. Estrutura Teórica:

   • Regime de Campo Médio: Os autores analisam as relações de recursão determinísticas para a covariância e a correlação das pré-ativações conforme a profundidade aumenta. Eles identificam três regimes: ordenado (correlação $\to 1$), caótico (correlação $\to$ constante $< 1$) e um recém-identificado fase de variância evanescente (onde a variância $\to 0$).
   • Ponto Crítico: Eles localizam o ponto crítico na interseção da fronteira da fase de variância evanescente e da linha "borda do caos", definida por $\sigma_w = 1/\phi_1$ e $\sigma_b = 0$ (onde $\phi_1$ é o primeiro coeficiente de Taylor da função de ativação).
   • Análise do Jacobiano: Usando a teoria de probabilidade livre, eles analisam o espectro de valores singulares dos Jacobianos camada a camada e de ponta a ponta. Eles derivam leis de escala para a média e a variância do espectro do Jacobiano sob inicialização Gaussiana e ortogonal.
   • Derivação do NTK: Eles expressam o NTK como uma soma de kernels de covariância puxados por Jacobianos parciais. Ao analisar o comportamento assintótico desses termos na criticidade, eles derivam a relação entre o NTK e a correlação de ponto fixo.

2. Análise de Tamanho Finito:

   • Os autores derivam as correções de ordem líder de tamanho finito ($O(L/N)$) para o kernel empírico. Eles decompõem essas flutuações em "defeitos de Wick" (decorrentes da não-gaussianidade das pré-ativações) e efeitos de "não-ortogonalidade de pesos".
   • Eles comparam como esses erros se acumulam sob inicialização Gaussiana versus ortogonal.

3. Validação Numérica:

   • As previsões teóricas são validadas usando redes totalmente conectadas com funções de ativação seno (e algumas de tanh). Experimentos rastreiam a propagação de variedades (manifolds), o fluxo de correlação, os espectros do Jacobiano e o condicionamento do NTK através de várias profundidades e larguras.

Principais Contribuições e Resultados

1. A Criticidade é Necessária para a Propagação de Correlação:
   Os autores provam que a propagação de correlação não trivial para profundidade infinita é possível apenas no ponto crítico. Em todos os outros regimes, as correlações ou colapsam para 1 (ordenado), ou para uma constante independente da entrada (caótico), ou a variância desaparece exponencialmente, causando colapso numérico. Na criticidade, a correlação converge algebricamente, preservando a dependência da entrada.

2. Vanecimento Algébrico do Jacobiano de Ponta a Ponta:
   Ao contrário da esperança de que a criticidade pudesse permitir a "isometria dinâmica" (onde o espectro do Jacobiano se concentra próximo de unidade), os autores provam que, na criticidade, o Jacobiano de ponta a ponta desaparece algebricamente com a profundidade ($\Xi \propto 1/L$). Isso ocorre mesmo com inicialização ortogonal. Consequentemente, a isometria dinâmica está ausente no limite sequencial na criticidade.

3. Equivalência entre NTK e Correlação de Saída:
   O resultado teórico central do artigo é a prova de que, no limite de profundidade infinita na criticidade, o NTK torna-se exatamente proporcional à matriz de correlação de ponto fixo (especificamente, $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$). Isso estabelece um vínculo direto entre a propagação de informação (correlação) e a dinâmica de aprendizado (espectro do NTK). Esta equivalência mantém-se independentemente do desaparecimento do Jacobiano, pois o decaimento é compensado nos Jacobianos de sobreposição reescalonados usados na definição do NTK.

4. Papel da Inicialização Ortogonal:
   Embora a inicialização ortogonal não possa restaurar a isometria dinâmica, ela desempenha um papel crucial no controle dos efeitos de tamanho finito.

   • Sob inicialização Gaussiana, as flutuações de tamanho finito na correlação e no NTK escalam como $O(\sqrt{L/N})$, acumulando-se com a profundidade e levando a espectros mal condicionadas.
   • Sob inicialização ortogonal, as flutuações de ordem líder decorrentes da não-ortogonalidade dos pesos são suprimidas. As flutuações restantes (defeitos de Wick) escalam como $O(1/\sqrt{N})$ e são independentes da profundidade. Isso permite que as previsões do limite sequencial se mantenham para redes muito mais profundas.

5. Restrições da Função de Ativação:
   Os autores mostram que, para a informação se propagar sem colapsar para um ponto fixo trivial, a função de ativação deve satisfazer $\phi_2 = 0$ (ou seja, deve ser uma função ímpar na ordem mais baixa). Se $\phi_2 \neq 0$, as correlações colapsam independentemente da inicialização.

Significância e Alegações
O artigo afirma fornecer um framework unificado conectando a propagação de informação, o controle de gradiente e a dinâmica de aprendizado em redes profundas. Sua principal significância reside em:

• Unificar Correlação e Aprendizado: Demonstra que o espectro do NTK, que dita a velocidade e a direção do aprendizado, é assintoticamente determinado pela estrutura de correlação das entradas na criticidade. Isso explica por que preservar a similaridade da entrada através da rede é essencial para o treinamento.
• Justificar a Inicialização Crítica: Fornece uma justificativa teórica rigorosa para inicializar no ponto crítico, mostrando que esta é a única escolha que preserva correlações dependentes da entrada enquanto mantém uma estrutura de Jacobiano bem definida (embora evanescente).
• Esclarecer a Inicialização Ortogonal: Resolve a tensão entre os regimes "congelado" (linear) e de "aprendizado de características" ao mostrar que a inicialização ortogonal é a condição necessária para suprimir o crescimento descontrolado das flutuações de tamanho finito que, de outra forma, destruiriam a previsibilidade do NTK em redes profundas.
• Implicações Práticas: Os resultados sugerem que para redes muito profundas (ex: SIRENs, Representações Neurais Implícitas), a inicialização crítica combinada com pesos ortogonais é a abordagem fundamentada para garantir dinâmicas de treinamento estáveis e um viés espectral controlado, onde a rede aprende ao longo dos modos principais da estrutura de correlação do conjunto de dados de entrada.

Os autores observam que estes resultados dependem do limite sequencial e de suposições específicas da função de ativação (limitada, diferenciável, $\phi_2=0$), e reconhecem que estender estes achados para o limite conjunto ($L/N \to c$) ou ativações não limitadas (como ReLU) permanece uma área aberta para trabalhos futuros.