Resumo Técnico: Esquecimento Espectral via DG-Hard

Declaração do Problema

O ajuste fino de modelos de linguagem grandes (LLMs) para tarefas específicas de destino induz rotineiramente o esquecimento catastrófico, onde capacidades presentes no modelo base pré-treinado ($W_{base}$) são degradadas ou destruídas, mesmo que os dados de treinamento nunca tenham ameaçado explicitamente essas capacidades. Este fenômeno manifesta-se como uma "mudança colateral" na atualização de pesos $\Delta = W_{ft} - W_{base}$: enquanto a atualização contém um sinal estruturado de baixo rank alinhado com a nova tarefa, ela também acumula um resíduo de ruído tipo IID (independente e identicamente distribuído) proveniente de etapas de descida de gradiente estocástica (SGD). Este resíduo de ruído distorce características pré-treinadas, levando a colapsos de desempenho em benchmarks retidos (por exemplo, um ajuste fino médico reduzindo drasticamente o raciocínio matemático).

Métodos de reparo post-hoc existentes tentam recuperar essas capacidades perdidas operando no espaço de coordenadas (por exemplo, interpolação escalar como WiSE-FT, descarte aleatório como DARE, ou poda de magnitude/sinal como TIES e FAPM). No entanto, essas abordagens enfrentam um problema fundamental de representação: entradas relevantes para a tarefa e entradas residuais nocivas estão intercaladas por magnitude, sinal e posição, tornando difícil separar o sinal do ruído sem sacrificar tanto os ganhos da tarefa-alvo quanto as capacidades recuperadas.

Metodologia: DG-Hard

O artigo propõe o DG-Hard, um método de reparo post-hoc, sem dados e sem gradientes que opera no espaço de valores singulares em vez do espaço de coordenadas. A hipótese central é que a atualização de ajuste fino $\Delta$ segue um modelo de sinal mais ruído:
$$\Delta = \Delta_{sinal} + \Delta_{ruído}$$
onde $\Delta_{sinal}$ é uma atualização de baixo rank alinhada à tarefa, e $\Delta_{ruído}$ é um resíduo IID que a descida de gradiente não tem incentivo para remover.

A Abordagem Espectral

1. Decomposição Sinal-Mais-Ruído: O método trata o delta de pesos $\Delta$ para cada matriz de pesos 2D como uma soma de um componente estruturado de baixo rank e um componente de ruído de matriz aleatória. Evidências empíricas sugerem que o espectro do componente de ruído segue a distribuição de Marchenko-Pastur (MP), enquanto o sinal aparece como um número finito de picos de valores singulares fora da curva.
2. Limiarização Rígida Ótima: Em vez de poda ou interpolação arbitrárias, o DG-Hard aplica o limiar rígido ótimo de valores singulares de Donoho-Gavish à Decomposição em Valores Singulares (SVD) de $\Delta$.
   • O limiar $\tau^*$ é derivado para minimizar o Erro Quadrático Médio Assintótico (AMSE) do sinal reconstruído.
   • É calculado como $\tau^* = \omega(\beta) \hat{\sigma} \sqrt{\max(m, n)}$, onde $\hat{\sigma}$ é estimado a partir da mediana dos valores singulares, e $\omega(\beta)$ é uma constante dependente da razão de aspecto da matriz $\beta$.
3. Reparo de Forma Fechada: O procedimento envolve:
   • Calcular a SVD de $\Delta = U \text{diag}(s) V^\top$.
   • Aplicar limiarização rígida aos valores singulares: $s'_i = s_i \cdot \mathbb{1}\{s_i > \tau^*\}$.
   • Reconstruir o delta podado $\Delta^* = U \text{diag}(s') V^\top$.
   • Formar o ponto de verificação reparado: $W^* = W_{base} + \Delta^*$.

Este processo não requer dados de treinamento adicionais, nem computação de gradientes, e é executado em minutos em uma única GPU, reduzindo o reparo a uma etapa de filtragem SVD de forma fechada.

Contribuições Principais

1. Formulação do Reparo Post-Hoc: Os autores enquadram a recuperação do esquecimento catastrófico como um problema de recuperação-preservação: recuperar capacidades retidas danificadas enquanto se preservam os ganhos da tarefa-alvo e melhorias incidentais retidas.
2. Identificação de Estrutura Espectral: O artigo demonstra empiricamente que resíduos danosos concentram-se no volume de valores singulares (correspondendo a previsões de matriz aleatória), enquanto atualizações relevantes para a tarefa aparecem como picos de valores singulares. Isso explica por que métodos no espaço de coordenadas lutam com o compromisso entre recuperação e preservação.
3. Algoritmo DG-Hard: A introdução de um método de reparo sem dados que aplica o limiar rígido estatisticamente ótimo de Donoho-Gavish a deltas de ajuste fino, separando efetivamente o sinal estruturado do resíduo de ruído.
4. Avaliação Condicional por Partição: Os autores introduzem um conjunto de métricas inovador que rastreia separadamente a cura (recuperação em benchmarks danificados), a preservação (retenção de benchmarks melhorados), a não-danificação (estabilidade em benchmarks inalterados) e a retenção na tarefa. Isso evita as armadilhas da precisão média, que pode ocultar falhas por benchmark ou recompensar simples reversion ao modelo base.

Resultados Experimentais

O método foi avaliado em 14 configurações (modelo, tarefa) (usando Qwen3.5-4B e Llama-3.2-3B-Instruct) e nove benchmarks retidos de domínio cruzado.

• Desempenho Equilibrado: O DG-Hard alcança o reparo equilibrado mais forte entre as linhas de base post-hoc. É o único método a pontuar $\ge 80$ tanto em Limpeza (cura + não-danificação) quanto em Retenção (preservação + retenção na tarefa), alcançando uma pontuação combinada de 83,3.
• Comparação com Linhas de Base:
  • FAPM e V-SoftMask representam extremos: o FAPM cura bem os danos (91,9 Limpeza) mas destrói a preservação (0,0 Retenção); o V-SoftMask preserva ganhos (97,1 Retenção) mas falha em curar (24,9 Limpeza).
  • WiSE-FT (interpolação linear) chega mais perto, mas fica aquém na Retenção (71,0) comparado ao DG-Hard.
  • LoRA e CoFi-Tune sofrem de baixa retenção ou preservação não positiva em coortes específicas.
• Alinhamento de Segurança: O DG-Hard restaura o alinhamento de segurança degradado por ajuste fino benigno em três eixos independentes (HarmBench, XSTest, StrongREJECT) sem usar dados de alinhamento. Isso sugere que a degradação da segurança também é um subproduto do resíduo de ruído removido pelo corte espectral.
• Cognição vs. Conhecimento: O método mostra força particular na coorte de Cognição (tarefas de raciocínio), onde outras linhas de base frequentemente colapsam na preservação.

Significado e Afirmações

O artigo afirma que uma parte da perda de capacidade induzida pelo ajuste fino não é uma consequência inevitável da especialização, mas sim um resíduo espectral removível dentro da própria atualização de pesos.

• Mecanismo: Os resultados sugerem que o "ruído" acumulado durante o ajuste fino é funcionalmente inerte e prejudicial, enquanto o "sinal" está concentrado em um subespaço de baixa dimensão. Ao remover o volume espectral, o DG-Hard recupera capacidades sem retreinamento.
• Generalidade: O método funciona sem acesso a dados de pré-treinamento, dados de alinhamento ou hiperparâmetros originais de treinamento, dependendo exclusivamente dos pontos de verificação base e ajustados.
• Segurança: A recuperação inesperada do alinhamento de segurança implica que segurança e capacidade estão ligadas através da mesma estrutura espectral, e que o ajuste fino "benigno" pode inadvertidamente erodir a segurança através do mesmo mecanismo de ruído que corrói o raciocínio.

Os autores concluem que o esquecimento espectral oferece um caminho principiado, eficiente e sem dados para mitigar o esquecimento catastrófico, desafiando a noção de que a especialização necessariamente requer a perda permanente de capacidades gerais.