Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Resumo Técnico: "Redes Profundas Esquecem a Inicialização? Uma Visão do Tempo de Esquecimento do Viés Indutivo Prático"

Declaração do Problema
Redes neurais modernas são altamente superparametrizadas, o que significa que sua capacidade, por si só, não pode explicar a generalização. Embora o pipeline de treinamento (arquitetura, otimizador, regularização, etc.) selecione uma função específica da classe de hipóteses, o papel dos pesos iniciais aleatórios na determinação do preditor final permanece ambíguo. A literatura existente apresenta duas visões conflitantes:

1. Inicialização como Fonte de Viés: Trabalhos teóricos sugerem que redes aleatórias possuem um "viés de simplicidade" inerente (um prior sobre funções) que pode sobreviver ao treinamento e impulsionar a generalização.
2. Inicialização como Mecanismo de Treinabilidade: O treinamento prático em grande escala frequentemente trata a inicialização meramente como uma ferramenta para estabilizar a propagação de sinais e evitar gradientes explosivos/que desaparecem, assumindo que o preditor final é amplamente independente da semente inicial uma vez que o treinamento converge.

O artigo investiga uma subquestão precisa: Em que medida o preditor final selecionado por um pipeline de treinamento moderno depende da escala da inicialização aleatória? Especificamente, o processo de treinamento "esquece" a condição inicial, ou o viés inicial persiste na solução final?

Metodologia
Os autores realizam um estudo empírico controlado usando ResNets no conjunto de dados CIFAR-10. Eles introduzem uma métrica diagnóstica chamada Memória de Inicialização, definida como a dependência do preditor selecionado pela validação em relação à escala de inicialização $\sigma_w$.

• Desenho Experimental: Eles variam a escala global $\sigma_w$ da inicialização aleatória de kernels, mantendo todos os outros fatores constantes (arquitetura, divisão dos dados, otimizador, tamanho do lote, cronograma de taxa de aprendizado e horizonte de treinamento).
• Métricas:
  • Dispersão de Precisão no Teste: A diferença entre a melhor e a pior precisão no teste através de diferentes valores de $\sigma_w$ no checkpoint de menor perda de validação.
  • Época de Interpolação ($\tau_{interp}$): A época em que a precisão no treinamento atinge 99,5%.
  • Norma de Frobenius ($\|W\|_F$): Usada para medir a "memória radial" (se a norma final dos pesos permanece acoplada à norma inicial).
  • Lacuna de Reparo: A mudança na precisão de validação entre a interpolação e o checkpoint final.
• Variáveis: O estudo varia otimizadores (SGD, SGD com momento, Adam, AdamW, Muon), tamanhos de lote ($b \in \{16, 32, 64, 128, 256\}$), escalas de inicialização ($\sigma_w \in [0.1, 2.5]$), profundidades de rede (ResNet-9, 56, 110) e regularização explícita (decaimento de peso L2).
• Estrutura Teórica: Os autores empregam análise de erro reverso para interpretar otimizadores discretos como fluxos de gradiente em objetivos modificados. Eles propõem "escalas de tempo de esquecimento" baseadas na força acumulada dos mecanismos de regularização, em vez de contagens simples de épocas.

Principais Resultados

1. Dependência do Otimizador:

   • SGD Lembra: Sob taxas de aprendizado baixas, o SGD puro retém forte memória de inicialização. Na ResNet-9 com tamanho de lote $b=128$, a precisão no teste varia em 26,5 pontos percentuais através das escalas de inicialização, apesar de atingir $\ge 99,5\%$ de precisão no treinamento. A norma final dos pesos permanece acoplada à norma inicial.
   • Métodos Adaptativos Esquecem: Adam, AdamW e Muon apagam em grande parte a dependência da escala de inicialização. Sob as mesmas condições, sua dispersão de precisão no teste é mínima (por exemplo, ~4,0 pp para Muon). Eles convergem para uma escala comum de norma final independentemente da escala inicial.

2. Dependência de Hiperparâmetros:

   • Tempo de Treinamento é Insuficiente: Estender o SGD de baixa taxa de aprendizado para 5.000 épocas não reduz significativamente a dispersão de inicialização; a memória persiste.
   • Regularização e Taxa de Aprendizado: O SGD pode ser feito para esquecer a inicialização se a receita de treinamento incluir taxas de aprendizado maiores ou regularização L2 explícita (decaimento de peso). Por exemplo, adicionar decaimento L2 com $\eta=10^{-2}$ reduz a dispersão para próximo de zero.
   • Tamanho do Lote: Tamanhos de lote maiores desaceleram o processo de esquecimento para o SGD, aumentando a dispersão.

3. Profundidade e Arquitetura:

   • Em redes mais profundas (ResNet-56, ResNet-110), dinâmicas pobres de esquecimento manifestam-se de forma diferente: em vez de apenas interpolar com generalização pobre, as redes frequentemente falham em treinar bem (falham em interpolar) em grandes escalas de inicialização.

4. Escalas de Tempo de Esquecimento:
   Os autores identificam que o esquecimento é governado por "relógios" cumulativos, e não pela contagem de épocas:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: A escala de tempo para efeitos estocásticos de passo finito (ruído do minibatch). SGD de baixa LR tem um $T_{SGD}$ minúsculo, levando à retenção de memória.
   • $T_{L2} = \lambda \sum \eta_k$: A escala de tempo para decaimento de norma explícito.
   • $T_{adapt} = \sum \eta_k$: A escala de tempo para pré-condicionamento adaptativo.
     Métodos adaptativos operam na escala $T_{adapt}$, que é significativamente maior (esquecimento mais rápido) do que a escala $T_{SGD}$ do SGD de baixa LR.

Significado e Alegações
O artigo alega que o "viés indutivo prático" de uma rede treinada não é apenas o prior arquitetural presente na inicialização, mas sim o prior arquitetural filtrado pelas dinâmicas de esquecimento do pipeline de treinamento.

• Resolução do Paradoxo: Os autores resolvem a aparente contradição entre teorias de viés de simplicidade e estabilidade prática de treinamento. Eles argumentam que os mecanismos que melhoram a generalização (por exemplo, decaimento de peso, otimizadores adaptativos, taxas de aprendizado maiores) são precisamente aqueles que apagam a memória da inicialização.
• Papel da Inicialização: Em pipelines de treinamento modernos ricos em regularização, a inicialização serve principalmente como um dispositivo de treinabilidade (estabilizando a otimização, permitindo profundidade) em vez de uma fonte persistente de viés indutivo. A " navalha de Occam" que importa na prática é imposta pelos regularizadores acumulados ao longo da trajetória, e não pelo mapa de parâmetros inicial.
• Limitações: Os autores reconhecem que suas descobertas são baseadas em ResNets com BatchNorm no CIFAR-10. As expressões de escala de tempo propostas são princípios organizadores derivados de argumentos lineares e invariantes de escala, não teoremas universais para redes não lineares com BatchNorm. No entanto, a hierarquia empírica observada (SGD lembra, métodos adaptativos esquecem, regularização apaga a memória) alinha-se com esses relógios teóricos.

Em resumo, o artigo demonstra que redes profundas não esquecem automaticamente a inicialização; elas só a esquecem quando as dinâmicas de treinamento específicas (estocasticidade, adaptatividade ou regularização explícita) fornecem "tempo de esquecimento" suficiente para sobrescrever os vieses geométricos iniciais.