Resumo Técnico: Recuperável, mas Não Estacionário: Estruturas Lineares Locais em Pesos e Ativações

1. Declaração do Problema

Abordagens recentes para editar e adaptar modelos pré-treinados — como vetores de tarefas, LoRA, direcionamento de ativação (activation steering) e busca aleatória em torno de pesos — baseiam-se em uma suposição geométrica compartilhada: que comportamentos aprendidos correspondem a direções lineares de baixa dimensão fixas, seja no espaço de pesos ou no espaço de ativações. A hipótese predominante sugere que um "plano de tarefa" existe como um subespaço estático através de um checkpoint, e mover-se ao longo deste plano permite a adição ou remoção de comportamentos específicos de uma tarefa sem necessidade de retreinamento.

No entanto, permanece incerto se essas estruturas lineares são verdadeiramente globais e estáticas, ou se são locais e evolutivas. Além disso, a eficácia da busca aleatória em espaços de alta dimensão (ex: $10^9$ parâmetros) é contraintuitiva; se direções úteis fossem agulhas raras em um palheiro, a amostragem aleatória deveria teoricamente falhar. Este artigo investiga a verdadeira natureza dessas estruturas lineares: sua dimensionalidade, estacionariedade e a relação entre perturbações de peso e direcionamento de ativação.

2. Metodologia

Os autores utilizam um loop experimental de "recuperação após esquecimento" para gerar um vetor de adaptação de verdade fundamental ($\Delta_{GD}$) contra o qual subespaços candidatos são medidos. O loop consiste em três fases:

1. Treinamento Multitarefa: Treinar um modelo em uma mistura de tarefas para atingir um checkpoint $\theta_{mt}$.
2. Esquecimento: Continuar o treinamento em uma única tarefa até que o desempenho em outras tarefas degrade, atingindo $\theta_{forg}$.
3. Recuperação: Retreinar brevemente na mistura original para recuperar as tarefas perdidas, atingindo $\theta_{rec}$.

O deslocamento $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ serve como o alvo da adaptação. Os autores avaliam subespaços candidatos medindo quanto de $\Delta_{GD}$ eles capturam e realizando busca aleatória dentro desses subespaços.

Escalas Experimentais

• Transformers Sintéticos: Um Transformer causal controlado de 4 camadas e 128 dimensões treinado em tarefas de sequências de dígitos (copiar, inverter, ordenar, mod-add).
• Adaptadores LoRA: Ajuste fino em backbones DistilGPT-2 e GPT-2 usando adaptadores de posto reduzido (rank-deficient).
• Grandes Modelos de Linguagem (LLMs): Experimentos no Qwen2.5 (0.5B, 3B, 7B) e OLMo-7B.

Estrutura Teórica

O artigo desenvolve um arcabouço teórico para explicar a eficácia da busca aleatória e a seleção de subespaços:

• Teorema Best-of-N: Prova que, em um regime de linearidade local, a busca aleatória gaussiana isotrópica captura um sinal útil com variância independente da dimensão ambiente $D$. O ganho esperado escala com $\sqrt{\log N}$ (onde $N$ é o orçamento de busca), mas não com $D$.
• Densidade de Sinal vs. Massa: Uma proposição demonstra que, para um passo de tamanho fixo, um subespaço menor e bem alinhado produz um sinal de busca maior do que um subespaço maior que meramente contém a direção alvo, devido à diluição da densidade de sinal ($\|P_U a\|/\sqrt{r}$).
• Recuperação de Krylov: Um lema mostrando que o deslocamento de recuperação reside em um subespaço de Krylov gerado pelo Hessiano e pelo gradiente inicial, em vez de uma direção fixa. Isso implica que o subespaço relevante evolui conforme a trajetória se desenrola.
• Identidade Pushforward: Estabelece um vínculo teórico entre perturbações de peso ($\delta\theta$) e mudanças de ativação ($\Delta h$) via Jacobiana $D_\theta h$, sugerindo que movimentos de peso úteis possuem "sombras" no espaço de ativação que podem servir como vetores de direcionamento.

3. Contribuições Principais e Resultados

A. Estruturas Lineares são Locais e Móveis, Não Estáticas

A descoberta central é que a hipótese do "plano de tarefa" está incorreta.

• Planos Estáticos Falham: Subespaços medidos no checkpoint de esquecimento (plano de tarefa local) ou antes do esquecimento (plano pré-interferência) capturam apenas uma pequena fração do deslocamento de recuperação (ex: ~15% e <2% respectivamente em experimentos LoRA).
• Alinhamento de Trajetória: A direção de recuperação é melhor capturada por um prefixo de trajetória — uma base formada pelos primeiros passos do caminho de recuperação. Em experimentos LoRA, os primeiros 10 passos de recuperação capturaram ~77% do deslocamento total $\Delta_{GD}$, e os primeiros 20 passos capturaram ~90%.
• Deriva (Drift): A orientação do subespaço de tarefa local deriva significativamente durante a recuperação (a sobreposição do ângulo principal cai de 1.0 para ~0.12–0.17 ao longo de 100 passos), confirmando que a geometria relevante é um feixe móvel, não um plano fixo.

B. Eficácia da Busca Aleatória e Independência de Dimensão

O artigo fornece uma justificativa teórica para o porquê da busca aleatória funcionar em altas dimensões:

• Independência de Dimensão: A projeção de uma perturbação gaussiana isotrópica sobre uma direção útil tem uma variância independente do número total de parâmetros.
• Janela de Escala: A busca aleatória é eficaz apenas dentro de uma escala de perturbação específica onde o cenário de perda é localmente linear (ex: $\sigma \approx 10^{-4}$ no Qwen2.5-0.5B). Fora desta janela, a curvatura domina e os movimentos aleatórios tornam-se destrutivos.
• Qualidade da Busca: A busca aleatória realizada dentro do subespaço de prefixo de trajetória supera significativamente a busca em planos de tarefa estáticos ou no espaço isotrópico, confirmando a previsão teórica de que a "densidade" do sinal importa mais do que a "massa" do subespaço.

C. Conexão Entre Perturbações de Peso e Direcionamento de Ativação

Os autores validam o vínculo entre edições de peso e direcionamento de ativação:

• Passo de Gradiente como Vetor de Direcionamento: Um único passo de gradiente no Qwen2.5-0.5B produz uma perturbação de peso cuja aplicação pushforward para o espaço de ativação se alinha com um vetor de direcionamento de adição contrastiva de ativação (CAA) (similaridade de cosseno $\approx 0.58$) em camadas de decodificador tardias (19–20).
• Reutilização: Injetar esse deslocamento de ativação induzido pelo gradiente em um modelo limpo melhora a precisão em dados não vistos (até +10 pontos no BoolQ), comparável a vetores de direcionamento derivados de pares contrastivos rotulados.
• Ponte de Busca Aleatória: Perturbações de peso aleatórias selecionadas (Best-of-N) também podem ser convertidas em vetores de direcionamento que melhoram o desempenho, embora o efeito seja mais ruidoso e dependente da tarefa.

D. Geometria de Baixo Posto (Low-Rank) em Escala

• Sintético/LoRA: Uma estrutura clara de baixo posto (posto efetivo 2–8) é observada nos gradientes de tarefa.
• LLMs: A afirmação de baixo posto é apenas parcialmente confirmada em escalas de bilhões de parâmetros. Enquanto algumas configurações (ex: Qwen-3B MLP) mostram postos distinguíveis do ruído, outras (ex: Qwen-7B) mostram postos efetivos indistinguíveis do ruído de amostragem, sugerindo que a estimativa de posto ingênua é difícil nesta escala.

4. Significância e Alegações

O artigo afirma oferecer uma compreensão geométrica corrigida da adaptação em redes treinadas:

1. Refutação de Vetores de Tarefa Estáticos: As estruturas lineares relevantes não são direções de tarefas globais e fixas, mas geometrias locais evolutivas (feixes de trajetória do tipo Krylov) que persistem parcialmente através dos espaços de parâmetros e ativações.
2. Unificação de Métodos: O trabalho unifica atualizações de gradiente, busca aleatória de parâmetros e direcionamento de ativação sob uma única perspectiva de geometria diferencial. Ele postula que perturbações de parâmetros bem-sucedidas induzem direções reutilizáveis no espaço de ativação, e que a busca aleatória funciona porque amostra eficientemente dentro desses regimes lineares locais.
3. Implicações Práticas:
   • Treinamento Multitarefa: A especialização sequencial é frágil porque o plano de tarefa local deriva; cronogramas simultâneos são mais robustos.
   • Estratégia de Busca: Para encontrar direções úteis, deve-se buscar dentro do início da trajetória do caminho de adaptação, em vez de subespaços de tarefas estáticos.
   • Direcionamento (Steering): Vetores de direcionamento de ativação podem ser derivados de perturbações de peso (mesmo de um único passo de gradiente), aproximando a edição no espaço de pesos do controle no espaço de ativação.

Os autores mantêm a modéstia, observando que, embora a busca aleatória possa superar o gradiente descendente em tarefas específicas e controladas, ela é instável e não é um substituto para o gradiente descendente. Os resultados são apresentados como um ponto de partida para uma análise mais profunda das estruturas lineares locais, com limitações quanto à escala da evidência (mais forte em modelos sintéticos e pequenos modelos LoRA) e à natureza parcial das descobertas de baixo posto em modelos de bilhões de parâmetros.