Resumo Técnico: DualSFT – Um Algoritmo, Dois Objetivos para o Ajuste Fino de LLMs

1. Declaração do Problema

O ajuste fino de Modelos de Linguagem Grandes (LLMs) enfrenta custos proibitivos em escalas modernas, impulsionando a pesquisa em duas estratégias distintas de eficiência: Ajuste Fino Eficiente em Parâmetros (PEFT) e Ajuste Fino Eficiente em Dados (DEFT). Os métodos PEFT (por exemplo, seleção de parâmetros, LoRA) reduzem a memória do estado treinável, enquanto os métodos DEFT (por exemplo, seleção de dados, reponderação) reduzem a carga de trabalho de otimização.

Atualmente, essas estratégias operam independentemente. Quando tanto uma máscara de parâmetros quanto um subconjunto de dados são aplicados para restringir atualizações, as abordagens existentes geralmente empregam mecanismos de pontuação separados. Essa separação incorre em sobrecarga computacional redundante e cria uma incompatibilidade de coordenação: uma máscara de parâmetros selecionada sem considerar o subconjunto de dados específico (e vice-versa) pode levar a um desempenho conjunto subótimo. O artigo postula que, como máscaras de parâmetros e subconjuntos de dados determinam conjuntamente as atualizações restritas, eles devem ser selecionados por meio de uma regra de pontuação compartilhada em vez de mecanismos desconectados.

2. Metodologia: DualSFT

Os autores propõem o DualSFT (Ajuste Fino de Dupla Seleção), um algoritmo de um único passo que extrai conjuntamente a importância dos parâmetros e a utilidade dos dados a partir de estatísticas de gradiente compartilhadas. A principal percepção teórica é enquadrar a seleção de parâmetros e dados como duas visões de um único problema de surrogato de resposta local sob um objetivo de validação comum.

2.1 Fundamentação Teórica: Formulação Bilevel e Surrogatos

O processo de seleção é formulado como dois problemas de otimização bilevel que compartilham um objetivo de validação externo $\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$, onde $\mathcal{L}_{new}$ é a perda da tarefa-alvo e $\mathcal{L}_{prior}$ preserva as capacidades pré-treinadas.

• Nível Externo: Seleciona uma máscara restrita por orçamento (máscara de parâmetros $\mathbf{m}_\theta$ ou máscara de dados $\mathbf{m}_D$).
• Nível Interno: Calcula a atualização ótima de parâmetros $\delta^*$ induzida pela máscara selecionada.

Resolver esses problemas exatamente é intratável para LLMs. Os autores aproximam a resposta interna usando uma atualização de gradiente de um único passo em um checkpoint de aquecimento comum $\bar{\theta}$. Isso produz surrogatos locais onde a direção de atualização depende do subconjunto selecionado.

2.2 A Matriz de Interação Compartilhada

Ao expandir o objetivo de validação em torno de $\bar{\theta}$ usando aproximações de Taylor de primeira e segunda ordem, os autores derivam uma matriz de interação de gradiente $\mathbf{M} \in \mathbb{R}^{N \times D}$ (onde $N$ é o número de amostras e $D$ é a dimensão dos parâmetros).

• Importância dos Parâmetros: Surge como a agregação por coluna de $\mathbf{M}$.
• Utilidade dos Dados: Surge como a agregação por linha de $\mathbf{M}$.

Essa estrutura revela uma dualidade linha-coluna: ambos os sinais são derivados do mesmo objeto algébrico. As pontuações de forma fechada admitem uma interpretação de valor de Shapley, tratando a seleção como um jogo cooperativo onde a matriz de interação fornece a atribuição de crédito.

2.3 O Pipeline do Algoritmo DualSFT

O algoritmo executa em três etapas:

1. Aquecimento Piloto: Um aquecimento leve (1 época, 5% dos dados) estabelece um checkpoint estável $\bar{\theta}$ e estima a curvatura diagonal $\hat{c}$ usando o buffer de segundo momento do AdamW.
2. Pontuação Dupla de Único Passo:
   • Um vetor de projeção de melhoria de validação $\mathbf{u}$ é construído: $\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$, onde $\mathbf{G}$ é o gradiente de treinamento acumulado.
   • Pontuações de Parâmetros: $s_{\theta, d} = u_d G_d$ (agregação por coluna).
   • Pontuações de Dados: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$ (agregação por linha, computada via Produto Escalar Fantasma para evitar a materialização de gradientes por amostra).
   • Os $k$ parâmetros superiores e as $b$ amostras superiores são selecionados com base nessas pontuações assinadas.
3. Ajuste Fino Restrito: O modelo é ajustado fino no subconjunto de dados selecionado usando apenas os parâmetros selecionados.

2.4 Mecanismo de Preservação

Para mitigar o esquecimento catastrófico sem acesso a dados de pré-treinamento, o DualSFT emprega Distilação Self-Ponderada por Confiança (CWSD). Isso constrói a direção de preservação $\nabla \mathcal{L}_{prior}$ minimizando a divergência KL entre o modelo atual e o modelo pré-treinado original em um conjunto de âncora, ponderado pela confiança das previsões do modelo original.

3. Principais Contribuições

1. Teoria de Pontuação Unificada: A derivação de uma regra de pontuação de surrogato de resposta compartilhada que transforma problemas separados de seleção de parâmetros e dados em agregações por linha e por coluna de uma única matriz de interação de gradiente, apoiada por uma interpretação localizada de Shapley.
2. Algoritmo DualSFT: Um algoritmo prático de pontuação dupla de único passo que coordena a seleção de parâmetros e dados simultaneamente, eliminando passagens de pontuação redundantes e lacunas de coordenação encontradas em baselines híbridas sequenciais.
3. Direção de Preservação: Uma direção de preservação sem corpus usando CWSD que mitiga efetivamente o esquecimento durante o ajuste fino restrito.
4. Validação Empírica: Experimentos abrangentes em LLMs de 3B a 9B (Llama-3.2, Gemma-3, Qwen-3.5) em tarefas de geração de código e raciocínio matemático.

4. Resultados Experimentais

Os experimentos foram conduzidos no Magicoder (código) e MetaMathQA (matemática) com orçamentos correspondentes (10% de dados, 5% de parâmetros).

• Desempenho: O DualSFT supera baselines de eixo único (por exemplo, LESS, S2FT, NanoAdam) e híbridos sequenciais (por exemplo, LESS + S2FT, SPICE + NanoAdam).
  • No Llama-3.2-3B (Magicoder), o DualSFT completo alcançou uma pontuação Geral de 47,10%, superando o híbrido sequencial mais forte (SPICE + NanoAdam com 44,71%) em 2,39 pontos.
  • Variantes do DualSFT lideraram consistentemente seus respectivos grupos de comparação tanto em plasticidade (desempenho na tarefa-alvo) quanto em estabilidade (retenção de capacidades gerais).
• Eficiência: O DualSFT reduz os custos de ajuste fino. O DualSFT completo alcançou seus resultados com 7,4 horas de GPU e 28,5 GB de memória de pico de seleção, superando híbridos sequenciais no trade-off de restrições conjuntas.
• Ablações:
  • Remover a etapa de aquecimento prejudicou significativamente a plasticidade.
  • Remover o CWSD prejudicou significativamente a estabilidade.
  • Usar apenas pontuação de primeira ordem (ignorando a curvatura diagonal) causou a maior queda no desempenho Geral, validando a aproximação de segunda ordem.
• Análise Diagnóstica: O artigo confirma que a pontuação de único passo captura a maior parte da estrutura conjunta, pois a re-seleção de lado fixo (re-pontuar um eixo após fixar o outro) produz ganhos marginais (<0,12 pontos) ao custo de um aumento significativo no cálculo.

5. Significado e Alegações

O artigo afirma que o DualSFT representa uma mudança de tratar a seleção de parâmetros e dados como heurísticas independentes para vê-los como recursos de adaptação acoplados. Ao derivar ambos os sinais de um único surrogato de melhoria de validação, o método:

• Reduz Redundância: Elimina a necessidade de mecanismos de pontuação separados e passagens condicionais repetidas.
• Melhora a Coordenação: Alinha os eixos de seleção antes da atualização conjunta, evitando a "lacuna de coordenação" onde seleções independentes misturam sinais não verificados.
• Equilibra Trade-offs: Alcança uma fronteira de estabilidade-plasticidade-eficiência mais favorável do que métodos sequenciais ou de eixo único existentes sob orçamentos correspondentes.

Os autores notam modestamente que o método depende de um surrogato local, o que significa que a fidelidade da pontuação pode decair à medida que a otimização se afasta do checkpoint de aquecimento. Eles sugerem a re-pontuação dinâmica como uma direção futura para horizontes de adaptação mais longos, mas enfatizam que a abordagem de único passo é altamente custo-efetiva para os orçamentos estudados.