🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

Este artigo introduz o conceito de "consistência otimizador-modelo", demonstrando que o uso do mesmo otimizador tanto para pré-treinamento quanto para ajuste fino completo reduz o esquecimento catastrófico e melhora o compromisso entre aprendizado e esquecimento em comparação com outros otimizadores ou LoRA, ao mesmo tempo que revela que otimizadores específicos, como o Muon, podem ter desempenho inferior em tarefas de raciocínio devido a uma tendência à memorização mecânica.

Autores originais: Yuxing Liu, Jianyu Wang, Tong Zhang

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuxing Liu, Jianyu Wang, Tong Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante que passou anos lendo cada livro de uma biblioteca massiva (isso é Pré-treinamento). Ele aprendeu conhecimento geral, gramática e como pensar sobre o mundo. Agora, você quer ensinar-lhe uma nova habilidade específica, como resolver problemas matemáticos ou escrever código de computador (isso é Ajuste Fino Supervisionado ou SFT).

O grande desafio é: como ensinar essa nova habilidade sem fazê-lo esquecer tudo o que aprendeu na biblioteca? Se ele se concentrar demais na nova matemática, pode começar a esquecer como escrever uma história simples. Isso é chamado de "compromisso entre aprendizado e esquecimento".

Este artigo descobre uma regra surpreendente sobre como ensinar esse aluno da melhor forma, e isso tem a ver com como você o ensina, não apenas o que você ensina.

A Principal Descoberta: "O Mesmo Professor, Mesmo Estilo"

Os autores descobriram que a melhor maneira de ensinar a nova habilidade é usar o mesmo estilo de ensino exato (otimizador) que foi usado durante os anos de leitura na biblioteca.

A Analogia: Imagine que o aluno aprendeu a ler usando um método específico, digamos, "Método A" (como uma maneira específica de destacar texto e fazer anotações). Se você tentar ensinar-lhe matemática usando o "Método B" (uma maneira completamente diferente de destacar e fazer anotações), o aluno fica confuso. Ele pode aprender a matemática, mas começa a esquecer suas habilidades de leitura porque o novo método entra em conflito com a forma como seu cérebro foi configurado após anos de prática.
A Descoberta: Se você se mantiver com o "Método A" para a aula de matemática, o aluno aprende a matemática e mantém suas habilidades de leitura intactas. O artigo chama isso de "Consistência Otimizador-Modelo".

Por Que Isso Acontece? (A Teoria da "Forma do Cérebro")

O artigo explica que diferentes métodos de ensino realmente moldam o cérebro do aluno (os pesos internos do modelo) de maneiras diferentes.

Formas Diferentes: Alguns métodos de ensino (como AdamW, o mais comum) treinam o cérebro para ser "esparso" ou "eficiente", como uma biblioteca onde os livros estão organizados de forma ordenada com espaço vazio entre eles. Outros métodos (como Muon, um método novo e sofisticado) treinam o cérebro para ser "denso", como uma biblioteca onde os livros estão empacotados firmemente juntos.
O Descompasso: Se você treina o cérebro para ser "esparso" por anos e, em seguida, muda abruptamente para um método de ensino "denso" para a matemática, o cérebro precisa se desdobrar para reorganizar toda a sua estrutura. Essa reorganização faz com que ele deixe cair livros antigos (esquecimento).
O Combinação: Se você continuar usando o método "esparso" para a matemática, o cérebro apenas adiciona novos livros às prateleiras existentes. Ele não precisa reconstruir a biblioteca, então esquece menos.

A Surpresa do LoRA

Existe um atalho popular chamado LoRA (Adaptação de Baixo Rango). Pense no LoRA como dar ao aluno um caderno pequeno e separado para escrever respostas de matemática, sem tocar nos livros principais da biblioteca. Muitas pessoas pensavam que essa era a melhor maneira de evitar o esquecimento.

O Relevo do Artigo: Os autores descobriram que, embora o LoRA seja bom, o re-treinamento completo (reescrevendo todo o cérebro) usando o mesmo método de ensino de antes é, na verdade, ainda melhor.

A Analogia: O LoRA é como carregar um caderno separado. Funciona, mas se você usar o mesmo estilo de ensino para reescrever seu cérebro principal, você pode encaixar a nova matemática e manter as habilidades de leitura antigas de forma ainda mais eficaz do que apenas usando um caderno lateral.

O Caso do "Memorizador de Cor" (Muon)

O artigo também examinou um método de ensino específico e avançado chamado Muon.

O Bom: Muon é excelente na fase de biblioteca (Pré-treinamento). Ajuda o aluno a memorizar fatos incrivelmente bem.
O Ruim: Quando se trata de aprender novas habilidades de raciocínio (como matemática) com muito poucos dados, o Muon tende a ser um "memorizador de cor". Ele tenta memorizar os problemas matemáticos específicos que vê, em vez de aprender os padrões subjacentes.
O Resultado: Se você usar Muon para toda a jornada (biblioteca + matemática), o aluno pode ser ótimo em recitar fatos, mas ter dificuldade em resolver novos problemas matemáticos nunca vistos. Ele memorizou os exemplos, mas não aprendeu a lógica.

Resumo em Português Simples

Consistência é a Chave: Para aprender uma nova habilidade sem esquecer as antigas, continue usando o mesmo algoritmo de aprendizado (otimizador) que você usou para treinar o modelo originalmente.
Não Mude de Estilo: Mudar o algoritmo de aprendizado no meio do caminho força o modelo a reorganizar seu "cérebro", o que faz com que ele perca conhecimento antigo.
Re-treinamento Completo > Atalhos: Às vezes, fazer um re-treinamento completo com o algoritmo correto é melhor do que usar atalhos como o LoRA, porque se alinha melhor com a forma como o cérebro do modelo foi originalmente construído.
Cuidado com a Excessiva Memorização: Alguns algoritmos avançados (como o Muon) são ótimos em memorizar, mas podem ser piores em aprender novos padrões quando os dados são escassos.

O artigo conclui que, se você quer o melhor equilíbrio entre aprender coisas novas e lembrar das antigas, mantenha-se com o mesmo professor com quem você começou.

Resumo Técnico: Consistência Otimizador-Modelo

Declaração do Problema

No paradigma de treinamento de Modelos de Linguagem de Grande Escala (LLMs), os modelos passam por uma etapa de pré-treinamento em corpora massivos, seguida por uma etapa de Ajuste Fino Supervisionado (SFT) em conjuntos de dados menores e de alta qualidade para adquirir habilidades específicas. Um desafio crítico no SFT é o compromisso entre aprendizado e esquecimento: o modelo deve aprender novos conhecimentos específicos da tarefa, preservando ao mesmo tempo as capacidades gerais de linguagem adquiridas durante o pré-treinamento.

Embora vários otimizadores (por exemplo, AdamW, Muon) e métodos eficientes em parâmetros (por exemplo, LoRA) sejam empregados, permanece incerto qual combinação produz o equilíbrio ideal entre aprender novas tarefas e minimizar o esquecimento catastrófico. A literatura existente oferece intuições conflitantes; por exemplo, alguns sugerem que o LoRA esquece inerentemente menos devido à sua natureza de baixo posto, enquanto outros enfatizam a importância da escolha do otimizador. Este artigo investiga se a escolha do otimizador no SFT deve ser desacoplada ou alinhada com o otimizador utilizado no pré-treinamento.

Metodologia

Os autores empregam uma combinação de experimentos empíricos e análise teórica para investigar a relação entre a escolha do otimizador e o desempenho do modelo durante o SFT.

Experimentos Empíricos

Modelos e Conjuntos de Dados: Os experimentos foram conduzidos no GPT-2-small (pré-treinado do zero) e no Llama-2-7B. O pré-treinamento utilizou o conjunto de dados OpenWebText. O SFT foi realizado em três tarefas distintas: MetaMathQA (raciocínio matemático), Alpaca (seguimento de instruções) e Magicoder (geração de código).
Otimizadores Comparados: O estudo compara AdamW, Muon (um otimizador estruturado em matrizes) e SGD. Também avalia o LoRA (Adaptação de Baixo Posto) com vários postos ( $r=4, 8, 32, 64, 128, 256$ ).
Métrica de Avaliação: Os autores definem uma fronteira de Pareto para visualizar o compromisso entre aprendizado e esquecimento.
- Esquecimento: Medido pela perda de validação no conjunto de dados de pré-treinamento (OpenWebText) ou pela queda em benchmarks de capacidade geral. Menor perda indica menos esquecimento.
- Aprendizado: Medido pela perda de validação na nova tarefa de SFT ou pela precisão específica da tarefa. Menor perda/maior precisão indica melhor aprendizado.
- Protocolo: Para cada algoritmo de treinamento, foi realizada uma busca em grade sobre as taxas de aprendizado para identificar a fronteira de Pareto, garantindo uma comparação justa dos limites do algoritmo, em vez de uma única configuração de hiperparâmetro.
Análise Sintética: Para entender por que certos otimizadores se comportam de maneira diferente, os autores conduziram um experimento sintético usando um corpus de linguagem corrompido. Eles embaralharam a ordem dos tokens em sequências limpas para destruir padrões linguísticos, forçando o modelo a depender da memorização mecânica. Isso permitiu distinguir entre a capacidade de um otimizador de aprender padrões versus sua tendência a memorizar dados.

Análise Teórica

O artigo fornece uma estrutura teórica baseada em normas induzidas por matrizes (seguindo Pethick et al., 2025).

Otimizador como Regularizador: Os autores postulam que os otimizadores não apenas convergem para uma solução, mas moldam os pesos e ativações do modelo. Especificamente, um otimizador derivado de uma norma $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ regulariza implicitamente as ativações de entrada por $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ e as ativações de saída por $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ .
- AdamW (derivado de $A_{1,\infty}$ ) regulariza as entradas via $\|\cdot\|_1$ , levando a ativações esparsas.
- Muon (derivado de $A_{2,2}$ ) regulariza as entradas via $\|\cdot\|_2$ , levando a ativações mais densas.
Aproximação do Esquecimento: Usando uma expansão de Taylor, o aumento na perda de pré-treinamento (esquecimento) após o SFT é aproximado como proporcional à norma quadrada esperada da atualização de peso aplicada às entradas de pré-treinamento ( $\mathbb{E}[\|\Delta W x\|_2^2]$ ).
Hipótese de Consistência: A teoria sugere que, para minimizar o esquecimento, a atualização do SFT ( $\Delta W$ ) deve alinhar-se com a curvatura da paisagem de perda estabelecida pelo pré-treinamento. Esse alinhamento é alcançado quando o otimizador do SFT pertence à mesma família (mesmo $\alpha, \beta$ ) que o otimizador de pré-treinamento.

Principais Resultados

1. Consistência Otimizador-Modelo

A descoberta central é a Consistência Otimizador-Modelo: o ajuste fino completo com o mesmo otimizador (ou família de otimizadores) utilizado no pré-treinamento alcança consistentemente o melhor compromisso entre aprendizado e esquecimento.

Pré-treinamento AdamW: Quando o AdamW é usado para pré-treinamento, o ajuste fino completo com AdamW supera o ajuste fino completo com Muon ou SGD, e também supera o LoRA em todas as tarefas (matemática, código, instruções).
Pré-treinamento Muon: Da mesma forma, quando o Muon é usado para pré-treinamento, o ajuste fino completo com Muon produz o melhor compromisso em comparação com o uso de AdamW ou SGD para SFT.
Comparação com LoRA: Contrariando a intuição de que o LoRA esquece menos, a análise da fronteira de Pareto mostra que, para qualquer checkpoint do LoRA, existe um checkpoint de ajuste fino completo (usando o mesmo otimizador) que alcança ambos melhor aprendizado (menor perda da tarefa) e menos esquecimento (menor perda de pré-treinamento). Isso é válido quando se considera uma varredura adequada de taxa de aprendizado.

2. Desempenho do Muon em Tarefas de Raciocínio

Embora o Muon frequentemente produza checkpoints pré-treinados superiores (menor perda de pré-treinamento), seu desempenho degrada-se em relação ao AdamW quando ajustado finamente em tarefas de raciocínio (por exemplo, MetaMathQA).

Memorização vs. Aprendizado de Padrões: O experimento sintético revelou que o Muon tende a memorizar dados corrompidos (sem padrões) mais rapidamente do que o AdamW ou o SGD.
Implicação: No SFT, onde os dados são escassos, a tendência do Muon de priorizar a memorização mecânica em vez da aquisição de padrões pode dificultar o aprendizado de habilidades complexas de raciocínio, levando a um desempenho final pior em tarefas que exigem generalização, apesar de suas métricas fortes de pré-treinamento.

3. O Papel das Taxas de Aprendizado

O artigo destaca que o compromisso entre aprendizado e esquecimento é altamente sensível à taxa de aprendizado. Estudos anteriores que sugeriam que o LoRA esquece menos frequentemente fixavam a taxa de aprendizado na que era ótima para a tarefa. Quando a taxa de aprendizado é varrida, o ajuste fino completo pode alcançar um compromisso superior simplesmente reduzindo a taxa de aprendizado, uma estratégia que o LoRA não consegue replicar tão efetivamente neste contexto específico.

Significado e Alegações

O artigo afirma estabelecer a Consistência Otimizador-Modelo como um princípio fundamental para o treinamento de LLMs:

Métrica Unificada: O compromisso entre aprendizado e esquecimento em todo o pipeline de pré-treinamento-SFT é uma métrica mais abrangente para avaliar um otimizador do que o desempenho de pré-treinamento isoladamente.
Orientação Prática: Para minimizar o esquecimento enquanto se maximiza o aprendizado da tarefa, os praticantes devem empregar a mesma família de otimizadores para o SFT que foi usada para o pré-treinamento.
Reavaliação do Muon: Embora o Muon seja um otimizador de pré-treinamento poderoso, seu mecanismo de atualização (posto completo, regularização $L_2$ ) pode torná-lo propenso à super-memorização em regimes de SFT com poucos dados, particularmente para tarefas de raciocínio. Isso sugere que uma estratégia de ajuste fino dedicada, potencialmente diferente, pode ser necessária para modelos pré-treinados com Muon para desbloquear seu pleno potencial.
Insight Teórico: O trabalho preenche a lacuna entre o design do otimizador (normas) e o comportamento do modelo (esparsidade de ativação), oferecendo uma explicação teórica para por que a consistência na escolha do otimizador importa.

Os autores reconhecem limitações, observando que os experimentos foram conduzidos principalmente em modelos menores (GPT-2, Llama-2-7B) devido a restrições computacionais e que as provas teóricas dependem de suposições simplificadas (por exemplo, Hessianos blocos-diagonais). Eles sugerem que trabalhos futuros devem escalar essas descobertas para modelos maiores e explorar otimizadores especificamente projetados para mitigar as tendências de memorização de otimizadores estruturados em matrizes durante o SFT.