Resumo Técnico: Desaprendizado Natural (Natural Ungrokking)

Declaração do Problema

Este artigo investiga um fenômeno denominado desaprendizado natural (natural ungrokking): a reversão dentro de uma mesma execução de uma capacidade aprendida durante o pré-treinamento. Diferente do "grokking" (generalização tardia) ou do "ungrokking" causado pela redução de dados entre execuções, o desaprendizado natural ocorre em dados estacionários onde um modelo adquire uma regra linguística específica, aplica-a com sucesso e, em seguida, a abandona espontaneamente, apesar de a evidência da regra permanecer presente no fluxo de treinamento.

O estudo de caso focal envolve um Transformer de decodificador único com 11,5 milhões de parâmetros treinado em texto da web. O modelo aprende uma regra de gênero de pronome (ex: resolver "Sue cried because" para "she" em vez do prior do corpus "he"). Por volta do passo de treinamento 925, o modelo atinge 0\,94 de acurácia em sondagens de conflito mantidas separadamente (held-out conflict probes). No entanto, até o passo 3.500, a acurácia colapsa para quase zero, embora a distribuição dos dados de treinamento permaneça inalterada e a curva de perda não mostre qualquer vestígio dessa mudança comportamental. O modelo retém a construção gramatical, mas deixa de aplicar a regra específica quando ela conflita com os priors superficiais.

Metodologia

Configuração Experimental

• Modelos: Um Transformer de decodificador único de 4 camadas ($d_{model}=256$, 2 cabeças de atenção, 11,5M de parâmetros) treinado por 4.400 passos.
• Corpora: Dois conjuntos de dados foram usados:
  1. TinyStories: Um corpus sintético onde a regra de gênero do pronome é densamente suportada.
  2. Filtered Web Corpus: Derivado do ClimbMix, onde a frequência de suporte da regra é baixa em relação aos padrões superficiais concorrentes.
• Variáveis: O estudo varia a frequência de suporte ($f$) da regra e a razão dado-parâmetro ($D/N$).
• Avaliação: Uma bateria congelada de sondagens baseadas em modelos (templated probes) mede o desempenho em itens de "conflito" (regra vs. prior divergentes) e controles de "concordância" (regra e prior alinhados). Um classificador categoriza as trajetórias como Recuperadas, Deslocadas, Parciais, Nunca ou Instáveis.
• Métrica de Mecanismo: Uma Margem de Contraste (CM) rastreia a diferença de log-probabilidade entre a continuação que conforma à regra e o competidor que conforma ao prior.
• Rigor: Todas as métricas confirmatórias, limiares e previsões direcionais foram pré-registrados antes da inspeção dos dados. Um conjunto de sementes de replicação cega foi colocado em quarentena.

Intervenções Causais

Para estabelecer causalidade, os autores realizaram edições "no local" (in-place) nos corpora de treinamento:

1. Kill (Remoção): Inverter tokens que suportam a regra para contraevidência (ex: mudar "she" para "he" após nomes femininos) em taxas específicas ($p$) dentro de um único corpus.
2. Rescue (Restauração): Injetar evidência de suporte à regra de volta em um corpus da web colapsado em doses de até $3\times$ a densidade necessária para a sobrevivência no TinyStories.
3. Segunda Regra: Replicar a escada de destruição (kill ladder) em uma regra não relacionada ($a/an$ alomorfia) para testar a generalização.

Resultados Principais

1. A Frequência de Suporte Determina o Destino

A sobrevivência de uma regra é previsível a partir de uma única estatística do corpus: a frequência de suporte (com que frequência o fluxo de treinamento mostra a regra vencendo).

• Sobrevivência: No TinyStories (suporte alto), a regra sobrevive com acurácia máxima em todos os orçamentos de dados.
• Colapso: No corpus da web (suporte baixo), a regra emerge cedo, mas colapsa para acurácia próxima de zero ao final do treinamento, independentemente da razão $D/N$.
• Modulação: A razão $D/N$ modula a profundidade do colapso (o quão baixo a acurácia cai), mas nunca altera o veredito de sobrevivência. Alto volume de dados não pode salvar uma regra com baixa frequência de suporte.

2. Controle Assimétrico (A Assimetria "Kill/Restore")

O artigo demonstra uma assimetria acentuada no controle da sobrevivência da regra:

• A Destruição é Fácil e Dependente de Dose: Inverter o suporte para contraevidência destrói a regra com uma resposta de dose estritamente monótona. Na inversão total ($p=1.0$), a regra morre em todas as sementes.
• A Restauração é Impossível: Injetar suporte de volta em um corpus colapsado, mesmo a 450$\times$ a densidade natural de sustentação (e até $3\times$ a densidade do TinyStories), falha em restaurar o comportamento.
  • Embora o mecanismo interno (margem de contraste) se desloque ligeiramente para valores positivos em doses correspondentes, a acurácia comportamental permanece colapsada.
  • Isso ocorre mesmo quando a injeção é concentrada antes do passo de colapso, descartando o tempo como a única causa da falha.

3. Mecanismo: Deslocamento, Não Apagamento

A perda da regra é um deslocamento por um padrão superficial concorrente, não um apagamento da construção.

• Evidência: A condição de controle "concordância" (onde a regra e o prior se alinham) permanece resolvida com acurácia máxima durante todo o colapso.
• Margem de Contraste: A CM cruza o zero exatamente quando ocorre o colapso comportamental (dentro de 100 passos). Em execuções colapsadas, o caminho contextual (contribuições de atenção/MLP) carrega uma margem negativa, sobrepondo-se à regra.
• Representação: A decodificabilidade de cue-gender na camada final decai para níveis de acaso nos dados da web, indicando que a representação da regra é deslocada antes dos logits.

4. Generalização para Checkpoints Públicos

O fenômeno não é um artefato do modelo específico de 11,5M. Checkpoints públicos da Pythia (70M–1.4B) e OLMo-1B exibem a mesma assinatura de "emergir-e-colapsar". A profundidade do colapso é ordenada pela escala do modelo (modelos menores colapsam mais profundamente), consistente com as previsões.

Significância e Alegações

O artigo alega três contribuições principais:

1. Previsibilidade da Perda de Capacidade: O destino de uma regra ao final do treinamento pode ser previsto por uma estatística mensurável do corpus (frequência de suporte) antes do fim do treinamento. Isso desafia a suposição de que as curvas de perda são suficientes para monitorar a retenção de capacidade.
2. Causalidade Assimétrica: O artigo estabelece que a frequência de suporte é causalmente suficiente para a destruição, mas insuficiente para a restauração. Uma vez que uma regra é deslocada por um prior mais forte, reintroduzir evidência (mesmo em quantidades massivas) não pode recuperar a capacidade.
3. Insight Mecanístico: A perda é identificada como um deslocamento físico onde um padrão superficial concorrente supera a regra aprendida, mensurável através do cruzamento da margem de contraste com o zero.

Implicações Práticas:

• Avaliação de Meio de Treinamento: Capacidades observadas em checkpoints de meio de treinamento não são garantidas de existir no modelo final.
• Filtragem de Dados: Reduzir o suporte de uma regra rara pode condená-la sem deletar um único exemplo dela.
• Pré-treinamento Contínuo: Mudar as misturas de dados pode silenciosamente "desaprender" (ungrok) capacidades que um modelo base já havia aprendido.

Os autores afirmam explicitamente que prever o limite exato no eixo de frequência onde a sobrevivência muda permanece um problema aberto para trabalhos futuros, embora a lei qualitativa (a frequência de suporte dita o destino) esteja estabelecida. O trabalho é estruturado como uma contribuição construtiva para a compreensão da dinâmica de treinamento, memória e generalização, com foco especial na fragilidade das regras aprendidas na presença de priors concorrentes.