Resumo Técnico: Regularização Canônica de Redes Neurais de Aprendizado de Características de Grande Porte

Declaração do Problema

Redes neurais de grande porte operando no regime de aprendizado de características—onde a rede aprende ativamente representações em vez de se comportar como uma máquina de kernel fixa—são o motor do aprendizado profundo moderno. No entanto, a compreensão teórica dessas redes fica significativamente atrás do regime de kernel (formalizado pelo Kernel Tangente Neural, NTK). Existe uma lacuna crítica quanto à regularização implícita e ao prior no espaço de funções induzidos pelo treinamento por fluxo de gradiente.

No regime de kernel, está bem estabelecido que o fluxo de gradiente seleciona a solução única que minimiza a distância quadrada no espaço de parâmetros em relação à inicialização (ridge ancorado, $\|\theta - \theta_0\|^2$). Essa propriedade fundamenta a correspondência Rede Neural–Processo Gaussiano (NN-GP), permitindo modelagem de ruído principial e quantificação de incerteza. No entanto, praticantes frequentemente aplicam, por padrão, decaimento de peso padrão ($\|\theta\|^2$) ou ridge ancorado a redes de aprendizado de características. Este artigo argumenta que esses regularizadores estão geometricamente desalinhados no regime de aprendizado de características, levando a um viés "silencioso" que distorce o viés indutivo da rede, particularmente em cenários de aprendizado por transferência onde características pré-treinadas são informativas.

Metodologia e Estrutura Teórica

Os autores desenvolvem uma estrutura geométrica para caracterizar a dinâmica no espaço de parâmetros de redes superparametrizadas que satisfazem uma suposição de Condicionamento Uniforme do Jacobiano (Suposição 2.1). Essa suposição postula que o Jacobiano $J(\theta)$ possui valores singulares limitados longe de zero e de infinito em uma vizinhança das soluções de interpolação.

1. Decomposição Geométrica

Os autores decompõem o espaço de parâmetros $\Theta$ ao redor de um interpolador em três objetos-chave:

• Órbita de Fluxo ($O_{flow}$): O conjunto de todos os parâmetros alcançáveis por fluxo de gradiente a partir de uma inicialização $\theta_0$. No regime de aprendizado de características, isso pode ser um conjunto sub-riemanniano de alta dimensão.
• Variedade de Fluxo com Fixação de Gauge ($M_{flow}(\theta_0)$): Uma subvariedade específica de dimensão $n$ dentro da órbita de fluxo que contém a trajetória realizada do fluxo de gradiente. Ela serve como um gráfico no espaço de parâmetros para o espaço de funções próximo ao interpolador.
• Fibras de Saída ($\Theta(c)$): Direções transversais à variedade de fluxo onde as previsões de treinamento $g(\theta)$ permanecem constantes, mas previsões em entradas não vistas podem mudar drasticamente.

2. A Patologia da Regularização Ridge

O artigo prova que, no regime de aprendizado de características, a variedade de fluxo $M_{flow}(\theta_0)$ é curva, ao contrário do subespaço afim do regime de kernel.

• Falha do Ridge Ancorado: O gradiente do ridge ancorado, $-2(\theta - \theta_0)$, é uma corda euclidiana. Em uma variedade curva, esse gradiente adquire um componente ao longo das fibras de saída (ortogonal à direção do fluxo).
• Consequência: À medida que a força de regularização $\lambda \to 0$, a solução não converge para o limite do fluxo de gradiente não regularizado $\theta^*$. Em vez disso, o gradiente de regularização puxa os parâmetros ao longo das fibras, distorcendo o prior implícito e potencialmente destruindo vieses indutivos úteis aprendidos durante o pré-treinamento. Isso é formalizado no Teorema 3.1.

3. Derivação Axiomática do Regularizador Canônico

Para resolver isso, os autores axiomatizam a energia canônica no espaço de funções como a energia mínima de teoria de controle necessária para transportar as saídas da rede da inicialização para um alvo sob dinâmica de fluxo de gradiente.

• Unicidade: Ao impor axiomas de invariância de isometria e aditividade ortogonal, eles provam que, no regime de kernel, essa energia corresponde unicamente à norma quadrada do RKHS (recuperando o ridge ancorado).
• Generalização: Elevar essa energia ao espaço de parâmetros via Definição 4.3 produz o regularizador Ridge Geodésico:
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  Isso mede a distância geodésica quadrada ao longo da variedade de fluxo mais a distância geodésica ao longo da fibra de saída.
• Prior Implícito: O prior correspondente no espaço de funções é identificado como um Processo Gibbs Riemanniano, que generaliza o Processo Gaussiano NTK para geometrias curvas.

4. Arc Ridge: Um Surrogato Prático

Como calcular distâncias geodésicas é intratável em escala, os autores propõem o Arc Ridge como um surrogato robusto minimax.

• Definição: O arc ridge é o comprimento total quadrado da trajetória de treinamento: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• Propriedades: Ele limita superiormente o ridge geodésico, mantém a propriedade "sem viés" ao longo da direção do fluxo de gradiente realizada e é formalmente equivalente ao parada antecipada sob fluxo de gradiente exato. Não requer informações de segunda ordem, acumulando apenas um escalar único (comprimento do caminho) durante o treinamento.

Resultados Principais

1. Viés dos Regularizadores Padrão: O artigo prova que tanto o ridge padrão quanto o ridge ancorado enviesam o limite do fluxo de gradiente no regime de aprendizado de características (Teorema 3.1). Esse viés persiste mesmo quando a força de regularização desaparece, fazendo com que a solução desvie ao longo das fibras de saída invisíveis à perda de treinamento.
2. Ridge Geodésico como Solução Canônica: Os autores derivam o ridge geodésico como o regularizador único que se alinha com a geometria das redes de aprendizado de características, garantindo que o limite de regularização desaparecente recupere a solução do fluxo de gradiente não regularizado (Teorema 4.2).
3. Equivalência do Arc Ridge: O arc ridge é mostrado como um limite superior apertado e tratável ao ridge geodésico. Crucialmente, é provado ser equivalente à parada antecipada no limite do fluxo de gradiente exato (Proposição F.4), fornecendo uma justificação teórica para a parada antecipada como uma técnica de regularização consciente da geometria.
4. Validação Empírica: Experimentos em tarefas de aprendizado por transferência (regressão de idade no UTKFace usando ResNet18; regressão de pontuação de revisão no Yelp usando DistilBERT) demonstram que:
   • Em altas forças de regularização, o ridge padrão e o ancorado causam degradação significativa no desempenho de teste devido à destruição do prior pré-treinado.
   • O arc ridge degrada apenas levemente, consistente com subtreinamento benigno.
   • Em baixas forças de regularização, todos os métodos convergem, pois a parada antecipada domina o viés.

Significado e Alegações

O artigo alega fornecer a primeira estrutura principial para entender e corrigir o viés implícito do fluxo de gradiente em redes de aprendizado de características de grande porte. Suas principais contribuições são:

• Insight Geométrico: Identifica a curvatura da variedade de fluxo como a causa raiz da falha de regularizadores baseados em Euclides (como o ridge ancorado) em regimes de aprendizado de características.
• Unificação Teórica: Generaliza a correspondência NN-GP para o regime de aprendizado de características ao identificar o Processo Gibbs Riemanniano como o prior canônico e o ridge geodésico como o regularizador canônico.
• Resolução Prática: Propõe o arc ridge (comprimento do caminho quadrado) como uma alternativa escalável e robusta minimax que se alinha com a geometria do treinamento. Isso revela uma relação profunda, anteriormente não formalizada, entre parada antecipada e regularização canônica, sugerindo que a parada antecipada não é meramente uma heurística, mas uma estratégia de regularização que preserva a geometria.

Os autores enfatizam que, embora sua teoria assuma condicionamento uniforme do Jacobiano (verificado empiricamente no Apêndice H), a intuição geométrica explica fenômenos como a degradação de representações pré-treinadas durante o ajuste fino e o fenômeno de "grokking", oferecendo um caminho para estratégias de regularização mais robustas no aprendizado profundo.