Resumo Técnico: Ajuste Fino sem Esquecimento via Taxas de Aprendizado Adaptativas à Perda

Declaração do Problema

O ajuste fino de grandes modelos de linguagem (LLMs) em novos corpora específicos de tarefas frequentemente leva ao esquecimento catastrófico, onde capacidades adquiridas durante o pré-treinamento (como raciocínio geral, alinhamento de segurança e factualidade) degradam-se significativamente. Estratégias existentes de mitigação geralmente se enquadram em duas categorias:

1. Reprodução de Dados: Misturar dados de pré-treinamento com dados de tarefas durante o ajuste fino. Isso é frequentemente inviável, pois os dados de pré-treinamento para LLMs modernos são proprietários ou indisponíveis.
2. Modificação do Objetivo: Suprimir a influência de tokens ou sequências "difíceis" (aqueles atribuídos alta perda pelo modelo pré-treinado) durante o ajuste fino. Os métodos incluem reduzir o peso de sequências de alta perda (FLOW), mascarar tokens de alta entropia (STM) ou reponderar perdas (TALR, DFT).

O artigo identifica uma falha crítica nas abordagens de modificação de objetivo: em cenários que exigem a aquisição de novos conhecimentos (por exemplo, aprender novos fatos) ou adaptação para idiomas de baixos recursos, os tokens "difíceis" são precisamente aqueles essenciais para aprender a nova tarefa. Suprimi-los melhora as métricas de esquecimento, mas compromete severamente o desempenho na tarefa-alvo, criando um compromisso de Pareto pobre.

Metodologia: FINCH

Os autores propõem o FINCH (Schedule de Perda Inversa Consciente de Esquecimento), um método que controla o esquecimento não alterando o objetivo de treinamento ou a distribuição de dados, mas adaptando a taxa de aprendizado em uma base por etapa.

Fundamentação Teórica

A ideia central é um limite teórico sobre o esquecimento por etapa. Os autores derivam que o aumento na perda em tarefas antigas ($\Delta L_{old}$) em qualquer etapa de treinamento $i$ é limitado pelo produto da taxa de aprendizado ($\eta_i$) e da raiz quadrada da perda do mini-lote atual ($L_{B_i}$):
$$\Delta L_{old}(p_i) \leq C_1 \eta_i \sqrt{L_{B_i}(\theta_i)} + C_2 \eta_i^2 L_{B_i}(\theta_i)$$
Isso implica que etapas com alta perda de treinamento (ocorrendo tipicamente no início do ajuste fino ou em amostras difíceis) são os principais impulsionadores do esquecimento.

O Schedule Adaptativo

Para manter o limite de esquecimento por etapa uniforme ao longo do treinamento, o FINCH define a taxa de aprendizado inversamente proporcional à raiz quadrada da perda do mini-lote:
$$\eta_i = \frac{\kappa}{\sqrt{L_{B_i}(\theta_i)}}$$
Na prática, isso é implementado usando uma média móvel exponencial (EMA) das perdas do mini-lote ($\bar{L}_i$) para garantir estabilidade, com um limite na taxa de aprendizado máxima ($\eta_{max}$) e um pequeno epsilon para estabilidade numérica:
$$\eta_i = \min\left( \frac{\eta_{base}}{\sqrt{\bar{L}_i + \epsilon}}, \eta_{max} \right)$$
Mecanismo Chave:

• Mini-lotes de Alta Perda: A taxa de aprendizado é reduzida, minimizando a magnitude das atualizações que poderiam danificar capacidades retidas.
• Mini-lotes de Baixa Perda: À medida que o modelo converge e a perda diminui, a taxa de aprendizado aumenta, permitindo otimização eficiente.
• Preservação do Objetivo: Diferentemente de outros métodos, o FINCH deixa o objetivo de treinamento (entropia cruzada) inalterado. Tokens de alta perda ainda contribuem para a aprendizagem, garantindo que o modelo possa adquirir novos conhecimentos.

Contribuições Principais

1. Limite Teórico: O artigo estabelece um vínculo teórico entre esquecimento por etapa, taxa de aprendizado e perda de treinamento, demonstrando que o esquecimento é limitado por $\eta \sqrt{L}$.
2. Algoritmo FINCH: Um schedule simples de taxa de aprendizado cego a dados, que não requer acesso a dados de pré-treinamento e nenhuma modificação do objetivo de ajuste fino.
3. Otimização de Pareto: O FINCH alcança um compromisso superior entre precisão na tarefa-alvo e preservação de capacidades gerais em comparação com baselines de última geração.

Resultados Experimentais

Os autores avaliam o FINCH em três configurações onde modelos pré-treinados têm cobertura limitada: Aquisição de Conhecimento (TOFU), Raciocínio Científico (SciKnowEval) e Adaptação para Idiomas de Baixos Recursos (Galician Alpaca). Os experimentos são conduzidos em Qwen3-4B e Llama-3-8B.

Métricas de Desempenho

• Redução do Esquecimento: O FINCH reduz o esquecimento médio em 93% em comparação com o Ajuste Fino Supervisionado (SFT) padrão em todas as tarefas.
• Precisão na Tarefa-Alvo: O FINCH iguala ou excede a precisão na tarefa-alvo do SFT padrão e do LoRA. Por exemplo, na Aquisição de Conhecimento com Qwen3-4B, o FINCH alcança 83,3% de precisão (comparável aos 83,5% do SFT) enquanto reduz a degradação média do benchmark de -9,6 para +0,1.
• Preservação de Confiabilidade:
  • Factualidade: Na TruthfulQA, o FINCH reduz a degradação em 5$\times$ em comparação com o SFT (de -13,9 para -2,6 pontos).
  • Detecção de Alucinação: Na HaluEval, o FINCH reverte a degradação observada no SFT, melhorando o desempenho em +3,3 pontos.
  • Calibração: O FINCH preserva melhor a calibração de confiança (medida pelo escore Brier) do que o SFT padrão, embora alguma degradação permaneça.

Comparação com Baselines

• Métodos de Modificação de Objetivo (FLOW, DFT, STM): Esses métodos frequentemente reduzem o esquecimento, mas falham em aprender a nova tarefa efetivamente, resultando em precisão na tarefa-alvo significativamente menor.
• Métodos Eficientes em Parâmetros (LoRA): Embora eficazes na redução do esquecimento, o LoRA ainda incorre em degradação significativa em capacidades gerais em comparação com o FINCH.
• Taxa de Aprendizado Fixa e Pequena: Simplesmente reduzir a taxa de aprendizado reduz o esquecimento, mas falha em alcançar precisão competitiva na nova tarefa, confirmando que a natureza adaptativa do FINCH é crucial.

Significado e Alegações

O artigo alega que schedules de taxa de aprendizado são uma ferramenta subutilizada para moldar o comportamento do modelo durante o ajuste fino. Ao ajustar dinamicamente o tamanho do passo com base na dificuldade do lote atual (refletida pela perda), o FINCH permite que os modelos aprendam novas informações difíceis sem sobrescrever catastróficamente o conhecimento de pré-treinamento.

Os autores enfatizam que sua abordagem é cega a dados, tornando-a prática para LLMs modernos onde os dados de pré-treinamento são inacessíveis. Eles concluem que o FINCH fornece uma solução ótima de Pareto, alcançando alto desempenho na tarefa-alvo enquanto preserva simultaneamente factualidade, detecção de alucinação e capacidades de raciocínio geral, superando métodos que tentam mitigar o esquecimento suprimindo exemplos difíceis.

Limitações Reconhecidas:

• A análise teórica é derivada para SGD, embora os experimentos usem AdamW.
• Embora o FINCH reduza a degradação da calibração, ele não preserva totalmente a calibração do modelo pré-treinado.
• Os experimentos são limitados a modelos de até 8B de parâmetros devido a restrições computacionais.