Resumo Técnico: Revelando a Coexistência entre Memorização e Generalização

Declaração do Problema

Modelos altamente superparametrizados, como Modelos de Linguagem de Grande Escala (LLMs), demonstram a capacidade de simultaneamente memorizar rótulos ruidosos e generalizar bem para dados não vistos. No entanto, os mecanismos internos que governam como esses dois comportamentos distintos coexistem permanecem pouco compreendidos. Em cenários realistas, os dados de treinamento são frequentemente contaminados por ruído (por exemplo, amostras mal rotuladas), criando uma competição interna entre generalização (descobrir regras estruturais aplicáveis a dados não vistos) e memorização (ajustar-se a rótulos ruidosos específicos que não refletem regras subjacentes).

Diagnosticar essa interação em tarefas complexas do mundo real é difícil, pois alta precisão de teste não distingue inerentemente entre aprender regras verdadeiras e explorar padrões locais ou atalhos. Para abordar isso, os autores investigam tarefas de aritmética modular (especificamente adição e multiplicação módulo $P$) como um ambiente experimental controlado. Essas tarefas são escolhidas por sua clara distinção entre generalização baseada em regras e memorização ponto a ponto, por exibirem "grokking" (generalização ocorrendo muito depois da memorização) e pela disponibilidade de soluções analíticas conhecidas para configurações específicas de modelos.

Metodologia

O estudo emprega uma rede neural de duas camadas parametrizada por $\theta = \{W, U, V, \mu\}$, treinada em tarefas de aritmética modular com ruído de rótulo introduzido. A razão de ruído $\alpha$ é variada, onde um subconjunto dos dados de treinamento recebe rótulos aleatórios uniformes distintos do resultado verdadeiro.

A pesquisa aborda três questões-chave através de experimentos extensivos cobrindo várias funções de ativação (ReLU, Quadrática, GeLU, LeakyReLU), otimizadores (Adam, AdamW, Muon, SGD) e forças de regularização:

1. Q1: Sob quais condições o aumento do tamanho do modelo melhora a generalização com rótulos ruidosos?
2. Q2: Os modelos podem recuperar regras estruturais internas sob ruído extremo de rótulos?
3. Q3: Os neurônios responsáveis pela generalização podem ser separados daqueles usados para memorização?

A metodologia envolve:

• Análise de Dinâmica de Treinamento: Rastreamento da precisão em subconjuntos limpos versus ruidosos durante o treinamento para observar a ordem de aprendizado.
• Filtragem de Frequência (FF): Aproveitando a solução analítica conhecida para ativações quadráticas (que exibem estruturas periódicas) para decompor os pesos da rede ReLU. Os autores hipotetizam que o sinal de generalização é carregado pelo componente de frequência dominante dos pesos, enquanto a memorização é codificada em frequências residuais.
• Particionamento de Rede: Tentativa de separar a rede em sub-redes de generalização e memorização usando escores de importância de neurônios agnósticos à tarefa (Razão de Participação Inversa e Força do Neurônio) versus priors de frequência específicos da tarefa.

Principais Descobertas

1. Escalonamento e Dupla Descida

Os autores observam robustamente o fenômeno da dupla descida na presença de ruído de rótulo.

• Superparametrização: Dentro do regime superparametrizado, o aumento do tamanho do modelo melhora consistentemente a precisão de teste, desde que a otimização e a regularização estejam configuradas adequadamente.
• Regularização: Regularização mais forte desloca o modelo do regime superparametrizado em direção ao regime subparametrizado, atrasando a segunda descida.
• Funções de Ativação: Modelos ReLU mostram precisão de teste não decrescente no regime superparametrizado. Em contraste, modelos com ativações Quadráticas ou GeLU exibem tetos na precisão de teste à medida que o tamanho do modelo aumenta, possivelmente devido a restrições de simetria sobre como o ruído é absorvido.

2. Dinâmicas de Aprendizado Contra-Intuitivas

Uma descoberta significativa é que rótulos ruidosos são memorizados mais rapidamente do que rótulos limpos durante as épocas iniciais de treinamento, independentemente do otimizador (AdamW, Adam, Muon) ou da razão de ruído.

• Essa inversão da ordem típica de aprendizado é atribuída às dinâmicas de treinamento em lote completo. O subconjunto ruidoso, sendo menor, recebe um sinal de otimização por amostra mais forte do gradiente de lote completo em comparação com o subconjunto limpo maior, fazendo com que sua precisão aumente mais cedo.
• Esse fenômeno também foi observado em experimentos com MNIST, sugerindo ser uma propriedade mais ampla da otimização inicial em lote completo sob corrupção explícita de rótulos.

3. Coexistência de Regras e Ruído

Mesmo sob ruído extremo de rótulos (até 80%), os modelos aprendem internamente a regra algébrica correta, embora essa regra seja suprimida na saída bruta pela necessidade de interpolar rótulos ruidosos.

• Filtragem de Frequência: Ao isolar o componente de frequência dominante dos pesos (alinhado com a solução analítica para ativações quadráticas), os autores podem extrair uma sub-rede que alcança precisão de teste quase perfeita, mesmo quando a saída do modelo completo está fortemente corrompida.
• Resíduos: Os componentes de frequência residual retêm principalmente a capacidade de ajustar rótulos ruidosos, mas contribuem pouco para a generalização.
• Independência de Ativação: Substituir a ativação ReLU por Quadrática ou ReLU Reversa em uma rede treinada preserva ou melhora a generalização, indicando que os pesos aprendidos já codificam uma representação de regra simétrica compatível com essas funções.

4. Limites da Separação Agnóstica à Tarefa

O artigo investiga se a generalização e a memorização podem ser separadas no nível do neurônio sem depender de priors específicos da tarefa (como estrutura de Fourier).

• Seleção de Neurônios: Usando métricas como Razão de Participação Inversa (IPR) ou Força do Neurônio (Str.), os autores podam a rede para selecionar neurônios para generalização. Embora isso melhore ligeiramente a generalização, o ganho é significativamente mais fraco do que o alcançado pela Filtragem de Frequência.
• Emaranhamento: Os resultados sugerem que a estrutura generalizável não está localizada em um pequeno subconjunto de neurônios, mas é difusamente codificada através da rede e profundamente emaranhada com componentes usados para memorização de ruído. A poda agnóstica à tarefa não consegue extrair completamente a estrutura de regras aprendida pelo modelo.

Significado e Alegações

O artigo alega fornecer uma fronteira rigorosa e verificável entre generalização estruturada e memorização não estruturada no aprendizado superparametrizado. Suas principais contribuições são:

1. Insight Mecanístico: Demonstra que modelos superparametrizados podem aprender internamente regras subjacentes mesmo sob ruído explícito de rótulos, mas essas regras são mascaradas pela necessidade de ajustar o ruído.
2. Desacoplamento Baseado em Frequência: Introduz um método (Filtragem de Frequência) que desacopla com sucesso a generalização da memorização em tarefas de aritmética modular, explorando os priors estruturais da tarefa, recuperando precisão quase perfeita a partir de treinamento fortemente corrompido.
3. Limitação da Poda Pós-Hoc: Destaca uma limitação fundamental das ferramentas atuais no nível do neurônio. Embora a seleção de neurônios agnóstica à tarefa ofereça melhorias marginais, ela falha em extrair completamente a estrutura generalizável porque a regra é distribuída e emaranhada através da rede.
4. Implicações Mais Amplas: Os autores sugerem que futuros paradigmas de aprendizado podem precisar isolar explicitamente a memorização da inferência lógica durante o treinamento, e que a extração eficaz de conhecimento pós-hoc pode exigir priors estruturais específicos de domínio em vez de escores genéricos de importância.

Os autores reconhecem que sua configuração abstrai a variabilidade complexa de tarefas de visão ou linguagem natural. No entanto, argumentam que esse cenário controlado é necessário para estudar rigorosamente a coexistência de memorização e generalização, fornecendo evidências fundamentais de que esses processos estão profundamente entrelaçados em redes superparametrizadas.