Resumo Técnico: Uma Teoria da Generalização em Aprendizado Profundo

Declaração do Problema

Modelos de aprendizado profundo com contagens de parâmetros que excedem os exemplos de treinamento podem memorizar ruído arbitrário, mas ainda assim generalizar bem em dados reais. Limites clássicos baseados em capacidade (por exemplo, dimensão VC, complexidade de Rademacher) são vazios em escalas práticas, enquanto as teorias do Kernel Tangente Neural (NTK) descrevem apenas o regime "preguiçoso" onde os kernels permanecem congelados. Arquiteturas modernas operam no regime completo de aprendizado de características, onde o kernel evolui significativamente (por $O(1)$ na norma do operador) durante o treinamento. Há uma falta de uma teoria não assintótica que explique a generalização neste regime dinâmico, unifique fenômenos dispersos como sobreajuste benigno e "grokking", e forneça um método prático para treinar diretamente no risco populacional sem dados de validação.

Metodologia

Os autores desenvolvem uma teoria baseada na dinâmica do espaço de saída ao longo da trajetória de treinamento realizada. A estrutura central decompõe o espaço de saída usando o Gramiano de Dissipação Cumulativa ($W_S$), derivado da integração da evolução do kernel tangente empírico ($K_{SS}$) e do propagador de gradiente de saída ($P_g$).

1. Decomposição do Canal de Sinal e Reservatório

A teoria particiona o espaço de saída em dois subespaços ortogonais:

• Canal de Sinal ($\text{range}(W_S)$): Direções onde o treinamento dissipa a perda.
• Reservatório ($\ker(W_S)$): Direções onde o treinamento não dissipa perda.

Um resultado teórico chave é a Invisibilidade ao Teste do Reservatório (Proposição 3.2): O operador de transferência de teste $G_Q$ desaparece no reservatório. Consequentemente, qualquer erro residual ou ruído de rótulo preso no reservatório durante o treinamento é invisível para o conjunto de teste.

2. Separação Deriva-Difusão em SGD

Dentro do canal de sinal, o artigo analisa o Descenso de Gradiente Estocástico em Minilotes (SGD). Ele prova uma separação de escalas de tempo:

• Deriva: O sinal populacional coerente acumula-se linearmente ($O(T)$) ao longo das direções de sinal.
• Difusão: A flutuação centralizada (ruído) comporta-se como uma martingala, acumulando-se apenas como um passeio aleatório ($O(\sqrt{T})$).
  Isso garante que o sinal genuíno domine a memorização idiossincrática ao longo do tempo, suprimindo o ruído no canal de sinal.

3. Acoplamento Treino-Teste sob Aprendizado de Características

Mesmo quando o kernel evolui por $O(1)$, o artigo prova que o movimento de teste é determinado exatamente pelo movimento de treinamento dentro do canal de sinal. Ao normalizar os operadores de deslocamento de treinamento e teste pela dissipação cumulativa ($W_S^{1/2}$), o deslocamento de teste $U_Q(T) - U_Q(s)$ pode ser expresso como uma função linear do deslocamento de treinamento $U_S(T) - U_S(s)$ mais um resto irredutível $R_\perp$. Sob perda quadrática, este resto desaparece, estabelecendo um acoplamento exato:
$$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$$
onde $A^\circ$ é o preditor linear ótimo derivado da trajetória realizada.

4. Algoritmo de Treinamento de Risco Populacional

Aproveitando a trocabilidade dos dados de treinamento, os autores derivam um estimador não viesado para a taxa de diminuição do risco populacional usando uma perspectiva de leave-one-out (LOO).

• Objetivo: Eles definem um portão por parâmetro baseado na razão entre o quadrado do gradiente médio ($\mu_k^2$) e a variância do lote ($\sigma_k^2$).
• Regra: Um parâmetro $k$ é atualizado apenas se $\mu_k^2 > \sigma_k^2 / (b-1)$.
• Implementação: Isso resulta em uma modificação ao otimizador Adam que requer apenas um vetor de estado adicional (rastreando a variância em fluxo). Este "portão de risco populacional" suprime atualizações em parâmetros onde o sinal do lote é dominado por ruído, prevenindo efetivamente o ajuste a ruído incoerente.

Contribuições Principais

1. Teoria de Generalização Não Assintótica: Uma estrutura que lida com o aprendizado completo de características (kernels em evolução) em vez de depender de aproximações de kernel congelado. Ela explica a generalização através da separação geométrica de sinal e ruído em subespaços visíveis e invisíveis ao teste.
2. Explicação Unificada de Fenômenos: A teoria fornece uma única explicação mecanicista para:
   • Sobreajuste Benigno: Ruído preso no reservatório (invisível ao teste).
   • Queda Dupla: Ruído movendo-se entre o reservatório e os canais de sinal conforme a capacidade do modelo muda.
   • Viés Implícito: O cronograma espectral de $W_S(t)$ preenchendo o canal de sinal dos maiores aos menores autovalores.
   • Grokking: Sinal migrando do reservatório para o canal de sinal conforme o kernel evolui ao longo do tempo.
3. Objetivo Exato de Risco Populacional: Um método para derivar um objetivo de risco populacional exato de uma única execução de treinamento sem dados de validação. Este objetivo mede precisamente o ruído no canal de sinal.
4. Algoritmo Prático: Um algoritmo de "Treinamento de Risco Populacional" que atua como um pré-condicionador SNR sobre o Adam. Adiciona sobrecarga computacional mínima (um vetor de estado) e não requer ajuste de hiperparâmetros para o limiar do portão.

Resultados

O método proposto foi avaliado em três regimes onde o treinamento padrão de risco empírico é conhecido por falhar ou sobreajustar:

1. Redes Neurais Informadas por Física (PINNs): Em um problema de advecção com condição inicial ruidosa, o método de risco populacional atingiu um erro de teste alvo ($\ell_2 \le 0.40$) 2.4$\times$ mais rápido que a melhor linha de base AdamW com taxa de aprendizado ajustada. Ele suprimiu o ajuste a ruído que causava o treinamento padrão a divergir da solução física.
2. Grokking (Aritmética Modular): Em uma tarefa de divisão modular ($a \cdot b^{-1} \mod 97$) conhecida por generalização atrasada, o método alcançou 95% de precisão em dados retidos no passo 5.950, comparado a 29.450 para AdamW. Isso representa uma redução de 4.9$\times$ nos passos de treinamento, efetivamente colapsando o atraso do grokking.
3. Alinhamento de Preferências Ruidoso (DPO): Ajuste fino do Qwen2.5-0.5B-Instruct com 30% de rótulos de preferência trocados, o método melhorou a precisão final de recompensa de 0,566 para 0,641 enquanto permanecia 3.05$\times$ mais próximo da política de referência em termos de desvio médio absoluto de recompensa. Ele manteve alta precisão sustentada onde o AdamW falhou em estabilizar.

Significado e Alegações

O artigo afirma fornecer uma lente teórica unificada que resolve a tensão entre sobreparametrização e generalização sem depender de limites assintóticos ou kernels congelados. Ao identificar o "reservatório" como um sumidouro invisível ao teste para ruído, ele explica por que o sobreajuste aos dados de treinamento não implica necessariamente sobreajuste aos dados de teste.

Os autores afirmam que seu objetivo de risco populacional derivado não é meramente heurístico, mas uma taxa exata e não viesada de diminuição do risco populacional computável de uma única execução. O significado prático reside na capacidade de treinar diretamente no risco populacional, acelerando a convergência (por exemplo, grokking 5$\times$ mais rápido), suprimindo a memorização em representações neurais implícitas e melhorando a robustez no alinhamento de preferências, tudo sem a necessidade de conjuntos de validação ou busca complexa de hiperparâmetros. A teoria preenche a lacuna entre o regime "preguiçoso" do NTK e o regime de "aprendizado de características", mostrando que os mecanismos de generalização persistem mesmo quando o kernel desvia significativamente.