Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

Resumo Técnico: Fora: Da Proteção no Espaço de Pesos para a Proteção no Espaço de Funções no Ajuste Fino com Preservação de Capacidades

1. Declaração do Problema

O ajuste fino completo (full fine-tuning) de grandes modelos de linguagem (LLMs) oferece alta expressividade para adaptar-se a novas tarefas, mas carrega um passivo significativo: gradientes não restringidos podem sobrescrever os caminhos funcionais das capacidades que o modelo já possui. As estratégias de remediação existentes — variando de regularização (ex: EWC, L2-SP) a destilação e projeção de gradiente — protegem as capacidades por meio de proxies. Esses proxies incluem distâncias de parâmetros, penalidades de importância, correspondência de saída ou as direções singulares dominantes da matriz de pesos ($V_1$ via SVD).

O artigo argumenta que esses proxies falham em responder à questão operativa: de quais direções de ativação a capacidade preservada realmente depende? Os vetores singulares dominantes de uma matriz de peso pré-treinada ($W_0$) resumem onde o peso é grande (um agregado sobre todas as capacidades aprendidas), o que pode não se alinhar com os padrões de ativação específicos exigidos para uma única capacidade (ex: a tradução pode depender de componentes singulares moderados ou orientações diagonais). Consequentemente, proteger $V_1$ frequentemente restringe um subespaço desalinhado com a capacidade, levando a uma preservação subótima.

2. Metodologia: Fora (Adaptação de Resíduo Ortogonal no Espaço de Funções)

O método proposto, Fora, reformula a preservação de capacidade como proteção no espaço de funções. Em vez de proteger a geometria da matriz de pesos, o Fora protege o subespaço de ativação induzido pela própria capacidade.

Mecanismo Central:

1. Projeção no Espaço de Funções ($P_Q$):

   • Utilizando entradas de calibração sem rótulos da capacidade preservada ($D_{pres}$), o método coleta ativações de entrada para cada camada.
   • Ele computa a covariância dessas ativações e extrai os $k$ autovetores superiores ($Q$), representando as direções principais da assinatura funcional da capacidade.
   • Um projetor à direita é formado: $P_Q = I - QQ^\top$. Este projetor impede que a atualização "leia" (atue sobre) as direções funcionais da capacidade.

2. Projeção no Espaço de Pesos ($P_U$):

   • Derivado da SVD do peso pré-treinado $W_0 = U\Sigma V^\top$, um projetor à esquerda $P_U = I - U_1U_1^\top$ é construído para bloquear escritas nas direções de saída principais do peso original.

3. A Regra de Atualização:
   A atualização de posto total $\Delta W$ é decomposta em dois canais complementares:
   $$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{Alta capacidade, função protegida}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{Canal espectral controlado}}$$

   • Ramo de Alta Capacidade ($P_U M P_Q$): Uma matriz densa $M$ que retém pleno poder expressivo para todas as direções, exceto as direções de entrada da capacidade ($P_Q$) e as direções de saída dominantes do peso ($P_U$).
   • Canal Espectral ($U_2 D_\delta V_2^\top$): Um canal estreito de baixos graus de liberdade derivado dos valores singulares residuais de $W_0$. Crucialmente, este é o único componente permitido para responder a entradas no subespaço protegido ($\text{span}(Q)$). Isso fornece plasticidade calibrada, permitindo ajustes controlados sem congelar a capacidade inteiramente.

4. Extensão de Baixo Posto:
   O método se estende ao ajuste fino eficiente em parâmetros (PEFT) substituindo a matriz densa $M$ por um produto de baixo posto $\frac{\alpha}{r} BA$, resultando no Fora-LR.

3. Principais Contribuições

1. Reformulação da Preservação: O artigo propõe que a preservação de capacidade é melhor alcançada protegendo o subespaço de ativação ($Q$) induzido pela capacidade, em vez da geometria singular da matriz de peso ($V_1$).
2. Design Estrutural (Fora): Introduz uma atualização de posto total estruturalmente restrita que separa proteção e plasticidade. O ramo de alta capacidade é estruturalmente impedido de ler direções sensíveis à capacidade, enquanto um canal espectral dedicado fornece adaptação controlada nessas direções específicas.
3. Insight Mecanístico: Através de ablações controladas, o artigo demonstra que o ganho de desempenho vem especificamente da fonte da projeção (derivada da capacidade vs. derivada do peso), e não meramente do ato de projetar.
4. Validação Empírica: O método é instanciado no Qwen3-1.7B em três configurações, mostrando superioridade consistente sobre a projeção de espaço de pesos e a regularização padrão.

4. Resultados Experimentais

Os experimentos foram conduzidos no Qwen3-1.7B usando três configurações distintas:

• Trans $\to$ COGS: Aprendendo análise semântica composicional enquanto preserva a tradução.
• Trans $\to$ GSM8K: Aprendendo matemática de nível escolar enquanto preserva a tradução.
• Math $\to$ Trans: Aprendendo tradução enquanto preserva o raciocínio matemático.

Principais Descobertas:

• Preservação Superior: O Fora supera consistentemente a projeção de espaço de pesos ($P_V$), a regularização (EWC, L2-SP) e a destilação (LwF) na preservação da capacidade original.
  • Exemplo: Em Trans $\to$ COGS, o Fora manteve a perplexidade (PPL) de tradução em 4.39 (próximo ao baseline de 4.35), enquanto a projeção de espaço de pesos degradou para 4.86 (pior que o ajuste fino completo sem proteção).
  • Exemplo: Em Math $\to$ Trans, o Fora reteve a precisão do GSM8K dentro de 0.86 pontos do baseline, comparado a uma queda de 2.27 pontos para o ajuste fino completo.
• Desempenho na Nova Tarefa: O Fora alcança desempenho competitivo ou superior na nova tarefa. Na configuração Trans $\to$ GSM8K, o Fora obteve o maior Exact Match (EM) de GSM8K (46.87%) entre todos os métodos.
• Insights de Ablação:
  • Fonte de Projeção: Trocar o projetor à direita de $P_V$ (derivado do peso) para $P_Q$ (derivado da função) foi o fator decisivo para a melhoria na preservação.
  • Canal Espectral: A adição do canal espectral ($\delta$) proporcionou ganhos pequenos, mas consistentes, no desempenho da nova tarefa (ex: +0.21 EM no GSM8K) sem prejudicar a preservação, validando o design de "plasticidade limitada".
• Generalização de Baixo Posto: A variante Fora-LR demonstrou que o mecanismo de proteção se transfere para configurações eficientes em parâmetros, superando variantes de LoRA de espaço de pesos (OPLoRA) em métricas de preservação.

5. Significância e Alegações

O artigo alega que os subespaços de função derivados de ativação são alvos de proteção mais fiéis do que as direções singulares derivadas de pesos. Ao deslocar o alvo de proteção da geometria da matriz de peso para a pegada de ativação real da capacidade, o Fora evita o desalinhamento que aflige os métodos existentes de projeção de espaço de pesos.

Os autores enfatizam que esta é uma solução estrutural: a proteção é garantida pela parametrização ($P_U M P_Q$) e não depende da trajetória de otimização ou de estados de gradiente específicos. Embora o método exija dados de calibração sem rótulos, ele não requer o armazenamento de dados ou rótulos da tarefa durante o treinamento, distinguindo-se de abordagens baseadas em replay. O artigo conclui que a proteção no espaço de funções oferece uma maneira fundamentada de equilibrar plasticidade e estabilidade, alcançando forte preservação com o mínimo de compromisso no aprendizado da nova tarefa.