Resumo Técnico: Estabilização do Ajuste Fino Supervisionado de Modelos de Linguagem de Grande Escala via Controle Distribucional Explícito

1. Declaração do Problema

O ajuste pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs) para se adaptarem a novos objetivos por meio de Ajuste Fino Supervisionado (SFT) frequentemente induz esquecimento catastrófico, onde melhorias em uma tarefa-alvo degradam capacidades gerais previamente adquiridas. Estudos empíricos e teóricos recentes sugerem que esse fenômeno é impulsionado principalmente por deriva distribucional excessiva durante a otimização.

Embora métodos de Aprendizado por Reforço (RL) (particularmente RL on-policy) restrinjam implicitamente essa deriva e preservem capacidades anteriores melhor que o SFT, eles dependem de coleta de dados custosa e pipelines de otimização complexos. Por outro lado, o SFT padrão carece de mecanismos explícitos para regular a magnitude ou a direção das mudanças distribucionais, levando frequentemente a alterações comportamentais abruptas. Estratégias de mitigação existentes, como regularização KL estática ou destilação de professor fixa, oferecem apenas controle indireto ou globalmente ajustado que falha em alinhar-se com a geometria local das distribuições do modelo, resultando frequentemente em conflitos de gradiente persistentes entre ajustar a nova tarefa e preservar o modelo base.

O desafio central abordado é: Um mecanismo simples e explícito pode permitir controle estável das atualizações distribucionais em um cenário puramente offline de SFT, combinando a eficiência do SFT com a estabilidade do RL on-policy?

2. Metodologia: Aprendizado Ancorado

Os autores propõem o Aprendizado Ancorado, um framework que controla explicitamente as atualizações distribucionais durante o ajuste fino offline usando uma âncora móvel dinamicamente evolutiva.

Mecanismo Central

Em vez de corresponder a uma distribuição de referência fixa (por exemplo, o modelo base $p_{base}$), o Aprendizado Ancorado constrói uma distribuição-alvo intermediária $q^{(t)}$ em cada iteração $t$ interpolando entre:

1. O modelo treinável atual $p_{\theta}^{(t)}$.
2. Um modelo de referência SFT congelado $p_{sft}$ (treinado uma vez nos dados-alvo e mantido fixo).

O framework opera em dois loops:

• Loop Externo (Seleção de Âncora): Na iteração $t$, uma distribuição âncora $q^{(t)}$ é construída via um operador de interpolação $I_\alpha$:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  A âncora é desvinculada do grafo de computação, servindo como um alvo fixo para o loop interno.
• Loop Interno (Ajuste da Âncora): Os parâmetros do modelo são atualizados para aproximar essa âncora minimizando um objetivo de destilação (divergência KL) sobre o conjunto de dados-alvo $D$:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

Instanciações

O operador de interpolação $I_\alpha$ é instanciado em dois espaços:

1. Espaço de Logits: Interpolação linear dos logits pré-softmax, seguida de normalização softmax. Isso corresponde a uma média geométrica das distribuições (comportamento de busca de modo).
2. Espaço de Probabilidade: Interpolação linear das distribuições preditivas diretamente. Isso corresponde a uma média aritmética (comportamento de cobertura de modo).

Garantias Teóricas

O artigo fornece provas teóricas de que essa atualização baseada em âncora admite um limite superior linear de divergência KL por iteração.

• Espaço de Probabilidade: A divergência KL entre a âncora e o modelo atual é limitada por $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• Espaço de Logits: A divergência é limitada por $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

Esses limites garantem que o modelo transite entre distribuições de maneira estável e controlada, transformando efetivamente o ajuste fino global em uma sequência de atualizações locais de região de confiança. A análise teórica indica que, sob projeção exata, o modelo converge geometricamente para a referência SFT enquanto mantém um desvio passo a passo limitado.

3. Contribuições Principais

1. Proposta de Framework: Introdução do Aprendizado Ancorado, um framework simples que impõe controle local sobre atualizações distribucionais no ajuste fino offline via uma âncora móvel, evitando a necessidade de interação online ou pipelines complexos de RL.
2. Estabilidade Teórica: Derivação de limites explícitos de divergência KL por iteração para tanto a ancoragem no espaço de probabilidade quanto no espaço de logits, fornecendo garantias formais sobre a estabilidade distribucional.
3. Validação Empírica: Demonstração de que o método alcança um trade-off superior entre ganhos de desempenho e estabilidade em múltiplos benchmarks, situando-se consistentemente na fronteira de Pareto em comparação com bases fortes.

4. Resultados Experimentais

O método foi avaliado em três tarefas-alvo (iGSM, MedCalc, IFEval) usando modelos Qwen2.5 (1.5B–14B) e Llama-3.2-3B. O desempenho foi medido contra SFT padrão e várias bases de mitigação de esquecimento (por exemplo, Low-SFT, KL-SFT, Self-SFT, Iter-SFT).

• Trade-off Ganho-Estabilidade: O SFT padrão alcançou alto desempenho de domínio, mas sofreu degradação severa nas capacidades gerais (por exemplo, queda de desempenho >53% em iGSM e MedCalc). O Aprendizado Ancorado reduziu essa degradação para menos de 5% enquanto mantinha ganhos quase ótimos (por exemplo, 75,2% em iGSM).
• Optimalidade de Pareto: Em todos os tamanhos de modelo e tarefas, o Aprendizado Ancorado posicionou-se consistentemente perto da fronteira de Pareto, superando bases que sacrificavam desempenho de domínio por estabilidade (por exemplo, Low-SFT) ou falhavam em prevenir o esquecimento (por exemplo, SFT Padrão).
• Escalonamento: Os benefícios do Aprendizado Ancorado foram robustos em diferentes escalas de modelo (1.5B a 7B), preservando capacidades gerais significativamente mais altas que o Low-SFT sem sacrificar a precisão de domínio.
• Sensibilidade a Hiperparâmetros:
  • Coeficiente de Interpolação ($\alpha$): Um intervalo intermediário de $\alpha$ forneceu o melhor trade-off.
  • Agendamento de Atualização: O estudo destacou que o desempenho geral exibe degradação não monotônica com o aumento das iterações de treinamento, mesmo quando a precisão-alvo satura. Isso sugere que "mais treinamento" não garante estabilidade, reforçando a necessidade de controle explícito de trajetória.
  • Espaço de Interpolação: A interpolação no espaço de logits (média geométrica) favoreceu a estabilidade e a retenção de capacidades gerais, enquanto a interpolação no espaço de probabilidade (média aritmética) favoreceu a plasticidade e a adaptação de domínio.

5. Significado e Alegações

O artigo alega que o Aprendizado Ancorado oferece uma alternativa prática aos mecanismos de estabilidade implícitos encontrados no RL on-policy. Ao moldar explicitamente distribuições-alvo intermediárias, transforma a otimização global em uma sequência de atualizações locais conservadoras.

Os autores enfatizam que sua abordagem:

• Opera em um cenário puramente offline, não exigindo acesso a dados de domínio geral para replay ou treinamento conjunto.
• Fornece garantias teóricas sobre estabilidade distribucional, abordando a causa raiz do esquecimento (deriva excessiva) em vez de apenas os sintomas.
• Alcança desempenho quase ótimo em tarefas-alvo enquanto reduz substancialmente o esquecimento catastrófico, superando métodos existentes de regularização estática e destilação.

Limitações: Os autores reconhecem que o Aprendizado Ancorado incorre em sobrecarga computacional adicional (aproximadamente 1,5×–2× de latência de treinamento e uso de memória) em comparação com o SFT padrão, devido à necessidade de construir âncoras e passadas forward extras para destilação. No entanto, eles observam que isso é substancialmente menor que o custo do RL on-policy.