Resumo Técnico: Não Quantos, Mas Quais: Posicionamento de Parâmetros na Adaptação de Baixo Rango

1. Declaração do Problema

O artigo aborda o Problema de Posicionamento de Parâmetros dentro da Adaptação de Baixo Rango (LoRA). Embora trabalhos recentes tenham demonstrado que adaptadores LoRA podem funcionar com contagens de parâmetros drasticamente reduzidas (por exemplo, bases aleatórias compartilhadas ou parametrizações espectrais), esses métodos assumem implicitamente que o desempenho depende principalmente da quantidade de parâmetros treináveis, e não da sua identidade.

Os autores formalizam a questão: Dado um orçamento fixo de $k$ entradas treináveis dentro da matriz $B$ de um adaptador LoRA (onde $A$ está congelado e inicializado aleatoriamente), a escolha específica de quais $k$ entradas treinar impacta significativamente o desempenho downstream? O estudo isola a seleção de parâmetros da contagem de parâmetros, mantendo $A$ congelado e restringindo o treinamento a um subconjunto de $B$.

2. Metodologia

2.1 Estratégia de Posicionamento de Parâmetros

Os autores propõem um procedimento de seleção baseado em gradiente para identificar os parâmetros mais críticos antes do início do treinamento.

• Inicialização: $B$ é inicializado como zero, e $A$ é extraído de uma distribuição aleatória.
• Fase de Pontuação: O modelo realiza $N$ passagens de forward-backward na distribuição de treinamento. Como $B=0$, a saída do modelo corresponde ao modelo pré-treinado, e os gradientes $\nabla_B L$ medem diretamente a utilidade de cada entrada $B$ para reduzir a perda.
• Funções de Pontuação: Duas métricas são definidas para cada elemento $(i, j)$ de $B$:
  1. Pontuação de Magnitude do Gradiente ($\hat{S}$): Estima a magnitude da média populacional do gradiente ($|\mathbb{E}[g_{ij}]|$). Isso seleciona elementos com gradientes direcionalmente consistentes entre exemplos.
     $$\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$$
  2. Pontuação Diagonal de Fisher ($\hat{F}$): Estima a diagonal da informação de Fisher empírica ($\mathbb{E}[g_{ij}^2]$). Isso seleciona elementos onde a perda é mais sensível a perturbações, capturando tanto a média quanto a variância.
     $$\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$$
• Seleção: Os $k$ elementos superiores globalmente em todas as camadas são selecionados com base nessas pontuações para formar um "circuito".

2.2 Análise Teórica da Estrutura do Gradiente

O artigo postula que a eficácia do posicionamento de parâmetros depende da estrutura do gradiente do regime de treinamento:

• Ajuste Fino Supervisionado (SFT): Os gradientes são de baixo rango, direcionalmente estáveis e altamente alinhados entre os passos. Consequentemente, qualquer subconjunto aleatório de parâmetros acumula atualizações coerentes, tornando o posicionamento menos crítico.
• Aprendizado por Reforço (GRPO): Os gradientes são de alto rango, quase ortogonais entre os passos e exibem alta variância. Neste regime, atualizações em parâmetros aleatórios tendem a se cancelar (passeio aleatório), enquanto apenas parâmetros com gradientes consistentemente assinados e grandes acumulam deslocamento significativo.

2.3 Configuração Experimental

• Modelos: Qwen2.5 (1.5B, 3B, 7B), Llama-3.2 (3B) e Llama-3.1 (8B).
• Tarefas:
  • SFT: Seguimento de instruções (Alpaca, Bespoke-Stratos) e Visão-Linguagem (MathVista).
  • RL: Otimização de Política Relativa de Grupo (GRPO) em conjuntos de dados de raciocínio matemático (GSM8K, MATH-500).
• Baselines: Posicionamento aleatório, LoRA completo e o posicionamento informado proposto ($\hat{S}$ e $\hat{F}$).

3. Resultados Principais

3.1 Dependência do Regime

• Sob SFT: Posicionamentos aleatórios e informados alcançam desempenho comparável. A lacuna é modesta (por exemplo, <1% em benchmarks de seguimento de instruções), confirmando que os gradientes do SFT são distribuídos o suficiente para que subconjuntos arbitrários capturem sinais úteis.
• Sob GRPO (Modelos Base): O posicionamento aleatório falha completamente, performando no nível ou próximo ao nível do modelo base (por exemplo, ~9.5% de precisão no GSM8K para modelos de 1.5B versus ~64% para LoRA completo). Em contraste, o posicionamento informado ($\hat{S}$ e $\hat{F}$) recupera a precisão padrão do LoRA, frequentemente igualando ou superando-a com menos de 0,1% dos parâmetros do adaptador.
• Sob GRPO (Modelos Instruídos): Embora o posicionamento aleatório performe melhor do que em modelos base (devido a sinais de recompensa preexistentes), o posicionamento informado ainda oferece uma vantagem consistente, particularmente na generalização fora da distribuição (OOD).

3.2 Eficiência e Estabilidade

• Custo: A descoberta do circuito requer apenas $N=50$ passagens de forward-backward, levando <10 segundos em uma única GPU (<0,5% do custo do treinamento completo de SFT).
• Estabilidade: Os circuitos selecionados são altamente estáveis entre diferentes sementes aleatórias e subconjuntos de dados. Os Top-10K elementos mostram >95% de sobreposição com circuitos de referência usando tamanhos de amostra pequenos.
• Generalização: Circuitos descobertos em um conjunto de dados de matemática (por exemplo, MATH) transferem-se efetivamente para outros (por exemplo, GSM8K, AMC, AIME), frequentemente superando o LoRA completo em configurações OOD. Isso sugere que o método identifica uma sub-rede estável e geral para a tarefa, em vez de artefatos específicos do conjunto de dados.

3.3 Anatomia do Circuito

A análise dos parâmetros selecionados revela uma concentração não aleatória:

• Módulos: Os parâmetros selecionados concentram-se pesadamente em projeções de escrita do fluxo residual ($V$, $O$ e $Down$).
  • $V$ (Valor) e $K$ (Chave) atuam como "leitores de atenção", alinhando-se com os vetores singulares dominantes do peso pré-treinado.
  • $O$ (Saída) e $Down$ atuam como "escritores residuais", produzindo atualizações de baixo rango e concentradas espectralmente.
• Camadas: Em modelos base, os circuitos concentram-se nas camadas iniciais (0–4), absorvendo 70–98% do orçamento.
• Validação por Knockout: Zerar os parâmetros de maior classificação em um adaptador treinado degrada o desempenho significativamente mais rápido do que o knockout aleatório, confirmando causalmente que esses parâmetros específicos medeiam o efeito do adaptador.

4. Contribuições Principais

1. Formalização do Posicionamento de Parâmetros: O artigo separa os efeitos da contagem de parâmetros da identidade dos parâmetros, demonstrando que o posicionamento é crítico sob RL, mas menos sob SFT.
2. Procedimento de Seleção Leve: Propõe um método de pontuação baseado em gradiente ($\hat{S}$ e $\hat{F}$) que identifica subconjuntos esparsos eficazes em segundos com sobrecarga negligenciável.
3. Validação Empírica: Mostra que o posicionamento informado recupera o desempenho completo do LoRA sob GRPO em modelos base com esparsidade extrema (por exemplo, 10K parâmetros em um adaptador de 20M parâmetros), enquanto o posicionamento aleatório falha.
4. Insight Mecanístico: Fornece evidências de que a falha do posicionamento aleatório em RL deve-se ao ruído do gradiente e à ortogonalidade, o que impede a acumulação coerente em subconjuntos arbitrários, enquanto o posicionamento informado visa o sinal esparsamente consistente.

5. Significado e Alegações

O artigo alega que a suposição de "quantos" no ajuste fino eficiente de parâmetros é insuficiente; "quais" parâmetros são treinados é o fator determinante em regimes de treinamento de alta variância como o Aprendizado por Reforço.

• Para SFT: As descobertas sugerem que, embora o posicionamento aleatório seja uma linha de base razoável, o posicionamento informado oferece ganhos marginais e benefícios potenciais de regularização em cenários de orçamento extremo.
• Para RL: O trabalho demonstra que a adaptação esparsa bem-sucedida em RL requer seleção informada de parâmetros. O posicionamento aleatório é estruturalmente incapaz de aprender neste regime porque o sinal do gradiente é muito ruidoso e distribuído para que subconjuntos aleatórios acumulem atualizações coerentes.
• Impacto Prático: O método proposto permite o treinamento de adaptadores eficazes com menos de 0,05% dos parâmetros do adaptador, reduzindo significativamente os requisitos de memória e computação para o ajuste fino em RL sem sacrificar o desempenho.

Os autores concluem que sua abordagem identifica um "circuito" de parâmetros que são funcionalmente críticos para a aprendizagem, atuando como um regularizador implícito que preserva as capacidades de generalização frequentemente perdidas em adaptadores densos.