🤖 machine learning

(How) Learning Rates Regulate Catastrophic Overtraining

Este artigo investiga como a taxa de aprendizado regula o "sobreajuste catastrófico" durante o ajuste fino de Grandes Modelos de Linguagem, demonstrando que o decaimento da taxa de aprendizado aumenta a nitidez do modelo pré-treinado, o que intensifica o esquecimento catastrófico e leva à degradação das capacidades fundamentais do modelo.

Autores originais: Mark Rofin, Aditya Varre, Nicolas Flammarion

Publicado 2026-04-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mark Rofin, Aditya Varre, Nicolas Flammarion

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha extremamente talentoso (o Modelo de Linguagem) que passou anos aprendendo a cozinhar de tudo: desde receitas complexas de culinária francesa até como fazer sanduíches rápidos e como conversar com clientes. Esse período de aprendizado geral é chamado de Pré-treinamento.

Agora, você quer que esse chef se especialize em atender pedidos específicos de um restaurante novo (o Ajuste Fino ou Fine-Tuning). O objetivo é que ele aprenda a seguir as regras do restaurante (ser prestativo, responder de forma segura) sem esquecer como cozinhar bem ou perder sua criatividade.

O problema que os autores deste artigo descobriram é o "Esquecimento Catastrófico": às vezes, ao tentar ensinar o chef as novas regras, ele esquece tudo o que sabia antes. Pior ainda, eles descobriram o "Treinamento Catastrófico Excessivo": quanto mais tempo e esforço você gasta treinando o chef no pré-treinamento (fazendo-o um mestre absoluto), mais difícil fica ensinar as novas regras sem que ele esqueça o básico.

Aqui está a explicação simples do que eles descobriram, usando analogias do dia a dia:

1. O Segredo está no "Passo" (A Taxa de Aprendizado)

Imagine que você está descendo uma montanha íngreme (o processo de aprendizado).

Passos Grandes (Taxa de Aprendizado Alta): Se você der passos gigantes para descer a montanha, você chega rápido ao fundo, mas pode tropeçar, cair em buracos e mudar completamente a sua trajetória. No mundo dos computadores, isso faz o modelo "esquecer" o que aprendeu antes e focar apenas no novo, mudando drasticamente sua "personalidade" interna.
Passos Pequenos (Taxa de Aprendizado Baixa): Se você der passos minúsculos e cuidadosos, você desce a montanha devagar. Você chega ao mesmo destino (o modelo aprende a nova tarefa), mas mantém a sua estrutura original intacta. O modelo aprende a nova regra sem apagar as antigas.

A descoberta: Usar "passos pequenos" durante o ajuste fino protege o conhecimento antigo do modelo.

2. A Montanha se Torna Mais Íngreme com o Tempo

Aqui entra a parte mais interessante. Os autores descobriram que, quanto mais o chef treina no início (pré-treinamento), mais a montanha onde ele está se torna perigosa e íngreme (o que chamam de "Afiamento" ou Sharpness).

O Paradoxo: Você acha que treinar mais o chef o torna melhor e mais robusto. Mas, na verdade, treinar demais deixa o modelo "tenso" e instável. Ele fica tão especializado no que sabe que qualquer pequena mudança (um novo passo de aprendizado) o faz escorregar e esquecer tudo.
A Causa: O erro não é o tempo de treino em si, mas como o treino é feito. Geralmente, os treinamentos começam com passos grandes e vão diminuindo (como um cronômetro que desacelera). Essa desaceleração no final do pré-treinamento é o que deixa o modelo "afiado" demais.

3. A Analogia da Argila

Pense no modelo pré-treinado como uma escultura de argila feita por um mestre.

Se você tentar mudar essa escultura com passos grandes (aprendizado rápido), você pode quebrar partes importantes dela para dar a nova forma.
Se você tentar mudar a escultura quando ela já está muito seca e dura (o que acontece quando o pré-treinamento é longo e a taxa de aprendizado diminui), qualquer toque, mesmo que pequeno, pode fazer a escultura trincar e desmoronar.

O artigo diz que o processo de "secar" a argila (diminuir a taxa de aprendizado no final do pré-treinamento) é o que torna o modelo frágil para o futuro.

O Resumo da Ópera (O que fazer?)

Os autores sugerem duas regras de ouro para evitar que o modelo esqueça tudo:

No Ajuste Fino (SFT): Use passos muito pequenos. Não tenha pressa em ensinar as novas regras. Deixe o modelo aprender devagar para preservar sua inteligência original.
No Pré-treinamento: Evite deixar o modelo "secar" demais (diminuir a taxa de aprendizado) antes de terminar. É melhor manter uma certa "flexibilidade" no modelo até o momento de ensinar as novas tarefas.

Em suma: Para ter um assistente de IA inteligente que não esquece o que sabe, não o treine até a exaustão com passos que diminuem, e quando for ensiná-lo novas tarefas, seja gentil e dê passos pequenos.

Título: Como as Taxas de Aprendizado Regulam o Sobre-treinamento Catastrófico

Autores: Mark Rofin, Aditya Varre, Nicolas Flammarion (EPFL)

1. O Problema: Sobre-treinamento Catastrófico em LLMs

O artigo aborda um fenômeno recente e preocupante na pós-treinagem de Grandes Modelos de Linguagem (LLMs) conhecido como sobre-treinamento catastrófico (catastrophic overtraining).

Contexto: O paradigma padrão envolve pré-treinamento em grandes corpora, seguido por Supervised Fine-Tuning (SFT) para alinhar o modelo a instruções e preferências humanas.
O Fenômeno: Trabalhos anteriores (Springer et al., 2025) observaram que aumentar o orçamento de pré-treinamento (treinar por mais tempo) paradoxalmente leva a um pior desempenho após o SFT em tarefas fora da distribuição (OOD). Ou seja, um modelo pré-treinado "melhor" (com menor perda no pré-treinamento) torna-se um modelo "pior" após o ajuste fino, sofrendo de esquecimento catastrófico mais severo.
Hipótese Anterior: Acreditava-se que isso era devido à sensibilidade progressiva ao ruído ou a limitações de capacidade do modelo.
A Lacuna: A causa mecânica exata dessa relação entre pré-treinamento prolongado e esquecimento no SFT permanecia obscura.

2. Metodologia e Abordagem

Os autores adotam uma perspectiva de otimização para investigar como a taxa de aprendizado (Learning Rate - LR) no SFT e as dinâmicas do pré-treinamento interagem.

Análise Empírica:
- Utilizaram vários modelos (OLMo 1/2, Hubble, Gemma 3, SmolLM) com tamanhos de 1B a 3B parâmetros.
- Realizaram SFT em diferentes taxas de aprendizado (constantes, com warmup) até o sobreajuste.
- Mediram duas métricas principais: Perda no SFT (desempenho na tarefa de ajuste) e Pontuação OOD (desempenho em capacidades gerais).
Métricas de Desvio de Características (Feature Drift):
- Introduziram o Ângulo Principal Médio (MPA) entre as representações do modelo base (pré-treinado) e do modelo ajustado. Um MPA maior indica que as características aprendidas no pré-treinamento foram mais distorcidas ou perdidas.
- Validaram essas descobertas usando Sparse Autoencoders (SAEs) em Gemma 3.
Análise Teórica e Simplificada:
- Estudaram a paisagem de perda (loss landscape) e a nitidez (sharpness) do modelo (definida pelo maior autovalor do Hessiano da função de perda).
- Utilizaram um modelo simplificado de rede diagonal de duas camadas para isolar o efeito da taxa de aprendizado no aprendizado de características.

3. Contribuições Principais e Descobertas Chave

A. O Papel da Taxa de Aprendizado no SFT (Seção 3)

Descoberta: Para um mesmo nível de perda no SFT, modelos ajustados com taxas de aprendizado altas sofrem muito mais esquecimento catastrófico do que aqueles com taxas baixas.
Mecanismo: Taxas de aprendizado baixas atuam como uma regularização implícita que preserva as características do modelo base (regime "lazy"). Taxas altas forçam o modelo a entrar em um regime "rico" (feature learning), onde ele aprende novas características da tarefa de SFT, mas sobrescreve as características pré-treinadas essenciais.
Evidência: O MPA aumenta mais rapidamente com taxas altas, indicando um desvio maior das representações originais, mesmo quando a perda de treinamento é idêntica.

B. A Conexão com a Nitidez (Sharpness) (Seção 4)

Relação LR vs. Sharpness: O artigo estabelece que a taxa de aprendizado e a nitidez do modelo são acopladas. Modelos em regiões mais "nitidas" (sharper) do espaço de parâmetros são mais sensíveis aos passos de otimização.
Modelo Diagonal: Em modelos simplificados, mostrou-se que taxas de aprendizado altas em modelos iniciados em regiões nitidas levam a um esquecimento drástico das características pré-existentes. A nitidez amplifica o desvio de características.

C. A Causa Raiz: Decaimento da Taxa de Aprendizado no Pré-treinamento (Seção 5)

O Elo Perdido: O artigo conecta o sobre-treinamento ao decaimento da taxa de aprendizado (LR decay) durante o pré-treinamento.
Mecanismo de "Edge of Stability": Durante o pré-treinamento, conforme a taxa de aprendizado é reduzida (comum em schedules como Warmup-Stable-Decay), o limiar de estabilidade ( $2/\eta$ ) aumenta. Isso permite que a nitidez do modelo aumente progressivamente.
Consequência: Modelos pré-treinados por mais tempo (ou com LR decay) tornam-se mais nítidos (sharper). Quando esses modelos "nítidos" são submetidos a um SFT com uma taxa fixa, eles estão em uma região da paisagem de perda onde a otimização é instável, levando a um desvio rápido das características originais e, consequentemente, a um esquecimento catastrófico severo.
Evidência Experimental: Em modelos como o SmolLM, o aumento abrupto no esquecimento e no desvio de características (MPA) coincide exatamente com a fase de decaimento da taxa de aprendizado no pré-treinamento.

4. Resultados Experimentais

Figura 1: Mostra que, para uma perda de SFT fixa, taxas de aprendizado mais altas resultam em pontuações OOD significativamente menores (mais esquecimento).
Figura 3: Demonstra que o desvio de características (MPA) é altamente sensível à taxa de aprendizado e à nitidez do checkpoint inicial. Checkpoints mais nítidos (de estágios posteriores do pré-treinamento) sofrem mais desvio.
Figura 5 & 7: Confirmam que a nitidez do modelo aumenta durante o pré-treinamento à medida que a taxa de aprendizado decai, e que o esquecimento no SFT dispara nessas fases.

5. Significado e Recomendações Práticas

O trabalho oferece uma explicação mecanicista para o sobre-treinamento catastrófico, mudando o foco da simples "capacidade do modelo" para a dinâmica de otimização.

Recomendações Práticas:

SFT: Utilizar as menores taxas de aprendizado possíveis no SFT que ainda alcancem um desempenho aceitável na tarefa alvo. Isso preserva as capacidades gerais do modelo.
Pré-treinamento: Evitar o decaimento agressivo da taxa de aprendizado durante o pré-treinamento se o objetivo for manter a plasticidade para o SFT. O artigo sugere que o decaimento deve ser feito apenas durante a fase de pós-treinamento (SFT/RL), ou que se deve evitar schedules que aumentem excessivamente a nitidez antes do ajuste fino.

Conclusão:
O sobre-treinamento catastrófico não é apenas um problema de capacidade de memória, mas uma consequência direta de como a redução da taxa de aprendizado no pré-treinamento aumenta a nitidez do modelo, tornando-o vulnerável a esquecimentos severos quando submetido a otimização padrão no SFT. O controle da taxa de aprendizado é a chave para regular esse equilíbrio entre plasticidade (aprender novo) e estabilidade (não esquecer o velho).