Resumo Técnico: Ajuste Fino Supervisionado com Preservação de Rotação (RPSFT)

1. Declaração do Problema

O Ajuste Fino Supervisionado (SFT) é uma etapa padrão de pós-treinamento para Modelos de Linguagem de Grande Escala (LLMs) utilizada para adaptar modelos a tarefas específicas. No entanto, trabalhos anteriores indicam que o SFT pode degradar a generalização Fora de Domínio (OOD), um fenômeno frequentemente atribuído ao "esquecimento catastrófico". Estudos recentes sugerem que essa degradação está ligada a uma deriva geométrica nas matrizes de pesos pré-treinados, especificamente à rotação excessiva dos subespaços singulares dominantes. Essas direções dominantes estão associadas a estruturas de alta variância e alta curvatura que codificam capacidades de propósito geral.

Identificar e preservar diretamente direções sensíveis à perda usando informações de Hessiana ou de Fisher é computacionalmente proibitivo na escala dos LLMs modernos. Consequentemente, há uma necessidade de um método de regularização eficiente que limite a deriva geométrica desnecessária durante o SFT, mantendo a capacidade de adaptação à tarefa-alvo, melhorando assim o compromisso entre desempenho Intra-Domínio (ID) e retenção OOD.

2. Metodologia: Ajuste Fino Supervisionado com Preservação de Rotação (RPSFT)

Os autores propõem o Ajuste Fino Supervisionado com Preservação de Rotação (RPSFT), uma técnica de regularização que ancora os subespaços singulares dominantes das matrizes de pesos pré-treinados.

Mecanismo Central

O RPSFT opera sob a hipótese de que os $k$ vetores singulares superiores das matrizes de pesos pré-treinados se sobrepõem significativamente às direções sensíveis à Fisher (direções onde atualizações causam grandes aumentos na perda OOD). Em vez de congelar parâmetros ou projetar gradientes (o que pode ser rígido ou caro), o RPSFT adiciona um termo de penalidade à função de perda padrão do SFT.

Para uma matriz de pesos selecionada $W$ com inicialização pré-treinada $W_0$, o método pré-computa as bases dos $k$ vetores singulares esquerdos e direitos, $U^{(k)}_0$ e $V^{(k)}_0$, via Decomposição em Valores Singulares (SVD). O termo de regularização penaliza a mudança no bloco projetado da matriz de pesos dentro dessa base:

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

Onde:

• $\mathcal{L}_{SFT}$ é a perda padrão de verossimilhança negativa.
• $\lambda$ é a força de regularização.
• O termo $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ mede a deriva da matriz de pesos dentro do subespaço singular dos $k$ maiores.
• $\mathcal{M}$ é o conjunto de camadas selecionadas (tipicamente todas as camadas no ajuste fino de parâmetros completos).

Fundamentação do Design

• Proteção Parcial: Diferentemente da ancoragem de posto completo (equivalente à regularização $L_2$ ao redor dos pesos iniciais), o RPSFT ancora apenas o bloco dos $k$ maiores. Direções complementares permanecem livres para adaptação, permitindo aprendizado específico da tarefa.
• Eficiência Computacional: O método requer o pré-cálculo e armazenamento em cache das bases singulares ($O((m+n)k + k^2)$ de memória por camada) e o cálculo do bloco projetado durante o treinamento ($O(mnk)$ FLOPs por avaliação). Os autores observam que isso adiciona uma sobrecarga mínima em comparação ao SFT padrão, especialmente quando a projeção é computada a cada $s$ passos.
• Justificativa Teórica: Os autores analisam a expansão de segunda ordem local da perda. Eles argumentam que, enquanto o termo de primeira ordem impulsiona a adaptação, o termo de segunda ordem (curvatura) impulsiona o esquecimento. Como a informação de Fisher (um proxy para curvatura) é cara de calcular, eles demonstram empiricamente que os blocos singulares superiores dos pesos pré-treinados capturam uma parte significativa (aprox. 20%) da energia do gradiente projetado pela Fisher, tornando-os um proxy estrutural válido e de baixo custo para direções sensíveis à perda.

3. Configuração Experimental

Os autores avaliaram o RPSFT em três famílias e escalas de modelos: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct e Qwen2.5-3B-Instruct.

• Dados de Treinamento: O ajuste fino supervisionado foi realizado no OpenR1-Math (dados de raciocínio matemático).
• Baselines: As comparações foram feitas contra SFT padrão de parâmetros completos, Ajuste Fino Dinâmico (DFT), SFT Ponderado por Importância (IW) e ancoragem de inicialização $L_2$.
• Avaliação:
  • Intra-Domínio (ID): Benchmarks de matemática (AIME, AMC, MATH-500, etc.).
  • Fora de Domínio (OOD): Benchmarks de raciocínio geral, segurança e conhecimento (GPQA, MMLU-Pro, TruthfulQA, etc.).
  • RL a jusante: Os checkpoints de SFT serviram como inicializações para Ajuste Fino por Aprendizado por Reforço (RLFT) usando DAPO (uma variante do GRPO).

4. Resultados Chave

Compromisso Intra-Domínio e Fora de Domínio

• O RPSFT melhora consistentemente o compromisso ID/OOD. Em todos os tamanhos de modelo, o RPSFT alcançou o melhor desempenho ID (Avg@k e Pass@k) ou desempenho competitivo, enquanto reduzia significativamente o esquecimento OOD em comparação ao SFT padrão.
• Comparação com Baselines: Embora o DFT e o IW mostrassem alguma retenção OOD, eles frequentemente sofreram de subajuste na tarefa ID. O RPSFT manteve uma forte adaptação ID enquanto preservava melhor as capacidades OOD do que o SFT padrão. Por exemplo, no Llama-8B, o RPSFT melhorou o Avg@k OOD em +1,83% sobre o modelo base, enquanto o SFT padrão o melhorou em +1,73%, mas com menos robustez em outras métricas.
• Sensibilidade ao Posto: Experimentos variando o posto protegido $k$ mostraram que postos intermediários (por exemplo, $k=768$) oferecem o melhor equilíbrio. Postos excessivamente grandes (aproximando-se da ancoragem de posto completo) dificultaram a adaptação à tarefa, enquanto $k=0$ reverteu para o SFT padrão.

Desempenho de RL a Jusante

• Inicializações Mais Fortes: Os checkpoints do RPSFT serviram como inicializações superiores para o RLFT a jusante. Modelos inicializados com RPSFT alcançaram desempenho final de RL mais alto tanto nos benchmarks ID quanto OOD em comparação com aqueles inicializados com SFT padrão ou outras baselines.
• Preservação de Capacidades: As melhorias na retenção OOD na etapa de SFT não foram diluídas pela etapa subsequente de RL; pelo contrário, elas foram transferidas, levando a pontuações finais consistentemente mais altas.

Análise Geométrica e de Representação

• Redução de Rotação: A análise da deriva no espaço de pesos mostrou que o RPSFT reduziu significativamente a rotação dos subespaços singulares esquerdos dominantes em comparação ao SFT padrão, DFT e IW.
• Estabilidade do Estado Oculto: O RPSFT preservou melhor a geometria das representações ocultas. Os centróides dos estados ocultos para modelos ajustados com RPSFT permaneceram mais próximos dos centróides do modelo base em vários benchmarks, enquanto o SFT padrão e o DFT exibiram derivas maiores. Isso sugere que restringir a rotação no espaço de pesos se traduz diretamente na preservação do espaço de representação interna do modelo.

5. Significado e Alegações

O artigo alega que o RPSFT fornece um regularizador simples e computacionalmente eficiente que mitiga efetivamente o esquecimento de capacidades de propósito geral durante o ajuste fino supervisionado.

• Mecanismo: O trabalho fornece evidências empíricas e teóricas de que preservar os subespaços singulares pré-treinados dominantes reduz a rotação geométrica, protege representações de estado oculto e melhora o compromisso entre esquecimento e adaptação.
• Praticidade: Diferentemente de métodos que exigem estimativa de Hessiana ou projeções complexas de gradientes, o RPSFT integra-se diretamente em pipelines padrão de SFT de parâmetros completos, sem exigir dados adicionais ou limites de tarefa.
• Generalidade: O método demonstra melhorias consistentes em diferentes arquiteturas de modelo (Llama e Qwen) e escalas (3B a 8B parâmetros).

Os autores concluem que controlar a deriva nos subespaços singulares pré-treinados é uma estratégia prática e eficaz para manter a generalização OOD enquanto permite adaptação rápida a tarefas, oferecendo uma base mais sólida para etapas subsequentes de aprendizado por reforço.

6. Limitações

Os autores reconhecem que o RPSFT atualmente aplica uma regra uniforme de posto protegido em todas as matrizes de pesos. Eles sugerem que trabalhos futuros poderiam investigar regularização seletiva por camada (por exemplo, focando em camadas iniciais de atenção auto-referencial) para reduzir ainda mais a sobrecarga. Além disso, os experimentos atuais focam em conjuntos de dados de treinamento matemático e modelos na faixa de 3B–8B; a extensão para dados não matemáticos e escalas de modelo maiores é identificada como uma direção para pesquisa futura.