🤖 machine learning

The Fine-Tuning Trap: Evaluating Negative Transfer and the Role of PEFT in Sub-1B Mathematical Reasoning

Este artigo demonstra que o Ajuste Fino Completo (Full Fine-Tuning) causa uma transferência negativa severa em modelos de linguagem com menos de 1B de parâmetros, estabelecendo o Ajuste Fino Eficiente em Parâmetros (PEFT) como um requisito crítico de estabilidade para tarefas de raciocínio matemático em dispositivos de borda.

Autores originais: Rahul Nair, Chun Tao

Publicado 2026-06-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rahul Nair, Chun Tao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô de bolso minúsculo e incrivelmente inteligente (um "Modelo de Linguagem Pequeno" ou SLM) que já leu uma biblioteca de livros para aprender a falar, raciocinar e resolver problemas. Agora, você quer ensinar a ele um truque novo e específico, como resolver lição de casa de matemática.

Este artigo é um rótulo de advertência e um manual de instruções para esse processo. Ele diz: "Se o seu robô for pequeno demais, tentar reprogramar todo o cérebro dele para aprender o novo truque fará com que ele perca a capacidade de pensar completamente."

Aqui está o detalhamento das descobertas deles usando analogias simples:

1. A "Cirurgia de Cérebro Completo" vs. O "Post-it"

Os pesquisadores testaram duas maneiras de ensinar esses robôs minúsculos:

Ajuste Fino Total (A "Cirurgia de Cérebro Completo"): Isso é como desmontar o robô e refazer todas as conexões em seu cérebro para se adequar à nova tarefa de matemática.
- O Resultado: Para robôs minúsculos (menos de 300 milhões de "conexões" ou parâmetros), isso é um desastre. É como tentar rearranjar os móveis em uma caixa de sapatos; você acaba derrubando tudo. O robô esquece como falar, começa a se repetir em loops ou comete erros matemáticos básicos (como dizer que 15 + 7 = 30). Ele na verdade performa pior do que se você apenas pedisse para ele adivinhar sem nenhum treinamento.
PEFT / LoRA (O "Post-it"): Este método congela o cérebro original do robô e apenas adiciona um pequeno "adaptador" especial ou um post-it sobre ele para lidar com a matemática.
- O Resultado: O robô mantém sua inteligência e personalidade originais intactas enquanto aprende o novo truque. Funciona muito melhor e não trava.

2. O "Abismo de Estabilidade"

Os autores descobriram um limite de tamanho específico, que eles chamam de "Abismo de Estabilidade" (Stability Cliff).

Abaixo de 500 Milhões de parâmetros: O robô está tão compactado com conhecimento essencial que não há "espaço extra" para aprender coisas novas sem sobrescrever coisas antigas e importantes. Se você tentar uma "Cirurgia de Cérebro Completo" aqui, o robô cai do abismo e quebra.
Acima de 1 Bilhão de parâmetros: O robô é grande o suficiente para ter algum "espaço de sobra". Aqui, você pode fazer a cirurgia completa, e ela funciona bem.

3. As Dimensões "Intrusas"

Por que a cirurgia falha? O artigo sugere que, quando você tenta reescrever completamente um robô minúsculo, as forças matemáticas forçam o robô a explorar "Dimensões Intrusas".

Analogia: Imagine que o conhecimento do robô é uma rodovia plana e segura. Quando você faz uma reescrita completa, o robô é empurrado para fora da rodovia em um cânion íngreme e rochoso (regiões de alta perda/loss). Ele se perde nas rochas e não consegue encontrar o caminho de volta.
A Solução: O método do "Post-it" (PEFT) mantém o robô na rodovia, apenas dando um leve empurrão para ele fazer a nova curva.

4. O "Bulldozer de Segurança"

Uma das descobertas mais assustadoras envolve robôs "alinhados" (treinados para serem seguros e úteis).

O Problema: Quando tentaram ensinar matemática a um robô seguro (Qwen2.5) usando a "Cirurgia Completa", o robô esqueceu completamente como ser seguro. Ele tornou-se inútil em testes de segurança.
A Metáfora: É como contratar um "Bulldozer" para pintar um mural. O bulldozer (Full FT) é tão poderoso e indiscriminado que esmaga as características delicadas de segurança junto com a tinta antiga.
A Solução: O "Post-it" (PEFT) é como um artista cuidadoso que pinta sobre as características de segurança sem destruí-las.

5. O Paradoxo Velocidade vs. Segurança

Você pode pensar: "Se a Cirurgia Completa atualiza tudo, não deveria ser mais rápida?"

Surpresa: Em computadores potentes, a "Cirurgia Completa" é na verdade duas vezes mais rápida para rodar do que o método do "Post-it".
Por que usar o método mais lento? Porque o "Post-it" é a única coisa que impede o robô de quebrar. É uma troca: Você aceita um tempo de treinamento mais lento para obter um robô que realmente funcione.
Bônus: O método do "Post-it" é tão leve que você pode treinar esses robôs minúsculos em um laptop comum ou PC gamer, enquanto a "Cirurgia Completa" exige supercomputadores massivos e caros apenas para caber na memória.

As Recomendações Finais

O artigo dá três regras claras para quem estiver tentando ensinar esses pequenos modelos de IA:

Se o modelo for minúsculo (<500M): Nunca use "Cirurgia Completa". Isso arruinará o modelo. Sempre use o método do "Post-it" (PEFT/LoRA/DoRA).
Se o modelo for alinhado (seguro): Sempre use "Post-its". A Cirurgia Completa apagará seu treinamento de segurança.
Se o modelo for grande (>1B): Você pode usar a "Cirurgia Completa" se quiser, pois o modelo é grande o suficiente para aguentar sem quebrar.

Em resumo: Para modelos de IA pequenos, menos é mais. Não tente reconstruir todo o motor; apenas adicione uma nova peça, ou o carro inteiro vai se despedaçar.

Resumo Técnico: A Armadilha do Ajuste Fino no Raciocínio Matemático Sub-1B

Declaração do Problema

A implantação de Modelos de Linguagem Pequenos (SLMs) em dispositivos de borda exige estratégias de adaptação eficientes que não degradem as capacidades gerais. No entanto, este artigo identifica uma vulnerabilidade crítica em modelos com menos de 300 milhões de parâmetros: o Ajuste Fino Total (Full FT) frequentemente induz "transferência negativa", prejudicando ativamente o desempenho e derrubando a precisão abaixo dos baselines de zero-shot. Este fenômeno, denominado "Armadilha do Ajuste Fino" (Fine-Tuning Trap), sugere que para modelos sub-1B, o ajuste fino padrão não é meramente uma escolha de eficiência, mas um requisito de estabilidade. Os autores argumentam que os SLMs operam próximos à "saturação de capacidade", onde o conhecimento pré-treinado denso não deixa parâmetros redundantes para absorver novos gradientes específicos de tarefas sem sobrescrever as capacidades linguísticas e de raciocínio fundamentais.

Metodologia

O estudo emprega um framework empírico sistemático para avaliar cinco arquiteturas decoder-only em uma faixa de parâmetros de 135M a 2B.

Seleção de Modelos: A avaliação abrange três regimes:
- Regime Tiny (<500M): SmolLM2-135M e SmolLM2-360M.
- Regime de Transição (~500M): Qwen2.5-0.5B (altamente alinhado).
- Regime de Referência (>1B): OLMo-1B e Gemma-2B.
Tarefas: O foco principal é o raciocínio matemático, utilizando um subconjunto estratificado de 10.000 exemplos do OrcaMath para treinamento. A avaliação cobre GSM8K (raciocínio in-distribution), SVAMP (robustez out-of-distribution) e MATH (problemas de alta dificuldade).
Estratégias de Ajuste Fino: O estudo compara:
- Full FT: Atualização de todos os parâmetros.
- PEFT (Parameter-Efficient Fine-Tuning): Especificamente LoRA (Low-Rank Adaptation) e DoRA (Weight-Decomposed LoRA).
Protocolo de Treinamento: Os experimentos foram conduzidos em nós H100. Os autores utilizaram hiperparâmetros distintos para estabilidade, empregando uma taxa de aprendizado mais alta para PEFT ( $2 \times 10^{-4}$ ) em comparação ao Full FT ( $2 \times 10^{-5}$ ) para compensar a inicialização zero dos adaptadores versus a necessidade de preservar os priors no Full FT.
Análise: Os autores analisaram a dinâmica de treinamento via normas de gradiente, trajetórias de perda e análise espectral de Hessian para entender a estabilidade da otimização.

Principais Contribuições

Identificação de um Limiar de Estabilidade: O artigo estabelece uma "Transição de Fase" em aproximadamente 500 milhões de parâmetros. Abaixo deste limiar, o Full FT falha consistentemente, resultando frequentemente em esquecimento catastrófico. Acima de 1B de parâmetros, o Full FT recupera a eficácia à medida que os modelos possuem "folga" de capacidade suficiente.
Formalização Teórica da Instabilidade: Os autores modelam a falha do Full FT em modelos minúsculos através de três lentes:
- Dimensões Intrusas: As atualizações não restringidas do Full FT atravessam subespaços ortogonais ( $W_{pre}^\perp$ ) caracterizados por direções de alta curvatura (grandes autovalores de Hessian), levando à instabilidade. O PEFT restringe as atualizações ao manifold pré-treinado.
- Condicionamento Arquitetural: Os SLMs modernos frequentemente utilizam arquiteturas "Deep and Thin" (profundas e finas). Isso aumenta o número de condição do Jacobiano de entrada-saída exponencialmente, causando uma variância extrema de gradiente que o Full FT não consegue equilibrar, enquanto o LoRA desacopla as atualizações para mitigar isso.
- Limitação do Esquecimento: Os métodos PEFT restringem estritamente o deslocamento dos pesos pré-treinados ( $\delta_{PEFT}$ ), garantindo que o modelo permaneça dentro de uma "região de confiança", ao contrário do deslocamento ilimitado do Full FT.
Dinâmica Comparativa de PEFT: O estudo fornece uma análise granular mostrando que, embora o LoRA e o DoRA ambos estabilizem o treinamento, suas forças diferem. O DoRA (que desacopla magnitude e direção) destaca-se em tarefas de raciocínio complexo (GSM8K), enquanto o LoRA domina o pareamento de padrões (OrcaMath).
Trade-offs de Hardware e Economia: O artigo redefine o valor do PEFT para SLMs. Em hardware de alto desempenho (H100), o Full FT é na verdade 2x mais rápido em tempo de execução devido aos kernels de matriz densa otimizados, enquanto o PEFT incorre em overhead de kernel. No entanto, o PEFT é essencial para a acessibilidade, reduzindo os requisitos de VRAM de ~16GB (Full FT) para <4GB, permitindo o treinamento em hardware de consumo (ex: RTX 4090) onde o Full FT excederia os limites de memória.

Resultados Empíricos

O Abismo de Otimização: Para o modelo de 135M (SmolLM2), a perda do Full FT estagnou precocemente em ~0.82 com normas de gradiente instáveis, enquanto os métodos PEFT convergiram para ~0.74. A precisão do Full FT no OrcaMath caiu para 4.80% (abaixo do baseline zero-shot de 6.00%).
Colapso de Alinhamento: No modelo alinhado Qwen2.5-0.5B, o Full FT alcançou pontuações altas in-distribution, mas resultou em 0.00% de precisão no benchmark de robustez SVAMP. Isso indica que o Full FT sobrescreveu os vetores de segurança e robustez com a distribuição estreita da tarefa. Os métodos PEFT preservaram essas capacidades.
Falhas Qualitativas: O Full FT em modelos minúsculos levou a "loops de repetição" (etapas de cálculo infinitas) e "perda de lógica aritmética" (passos intermediários matemáticos sem sentido), sugerindo danos às cabeças de atenção responsáveis pela estrutura do discurso.
Sucesso no Regime de Referência: Para modelos >1B (OLMo, Gemma), o Full FT superou o PEFT (ex: Gemma-2B Full FT: 19.8% GSM8K vs. LoRA: 18.5%), confirmando que a capacidade suficiente permite atualizações de rank total sem colapso.

Significância e Recomendações

O artigo conclui que o "Trade-off Estabilidade-Capacidade" dita um limite operacional estrito para SLMs:

A Zona de Perigo <500M: Para modelos como o SmolLM2, o Full FT é ativamente prejudicial. Praticantes devem adotar o PEFT por padrão para evitar o colapso do raciocínio.
O Mandato de Alinhamento: Para modelos alinhados (ex: Qwen2.5), o Full FT destrói a robustez e o alinhamento de segurança. O PEFT é obrigatório para preservar o "subespaço de segurança" dos pesos pré-treinados, atuando como um "sandbox de segurança".
O Retorno à Escala: O Full FT torna-se viável novamente apenas quando a contagem de parâmetros excede 1B, onde a capacidade intrínseca pode absorver atualizações de rank total.

Os autores recomendam adotar o PEFT por padrão para todos os modelos sub-1B alinhados e alertam contra o uso de Full FT para qualquer arquitetura menor que 500 milhões de parâmetros. Eles enfatizam que, embora o Full FT possa ser mais rápido em clusters, o PEFT é o habilitador crítico para democratizar o treinamento de SLMs em dispositivos de borda e manter a segurança e a robustez exigidas pelas indústrias regulamentadas.