🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Este artigo demonstra que analisar gradientes de perda em vez de atualizações do otimizador revela um forte acoplamento, anteriormente oculto, entre a sensibilidade à direção do gradiente e as características da hipótese do centróide linear, mostrando que restringir as atualizações de atenção a subespaços de baixo posto acelera a compreensão, enquanto as atualizações naturais de posto completo são altamente redundantes em termos de posto.

Autores originais: Yongzhong Xu

Publicado 2026-04-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongzhong Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Observar um Carro Dirigir vs. Olhar para a Estrada

Imagine que você está tentando entender como um carro autônomo aprende a navegar em uma cidade complexa. Você quer saber: Quais curvas e faixas específicas estão realmente ajudando o carro a aprender a rota?

Por muito tempo, os pesquisadores têm observado o movimento real do carro (a trajetória do otimizador) para descobrir isso. Eles olham para o caminho que o carro percorreu nos últimos minutos, traçam uma linha pelo meio desse caminho e dizem: "Aha! O carro está aprendendo ao se mover nesta direção específica."

Este artigo argumenta que observar o movimento do carro é enganoso.

Os autores afirmam que o movimento do carro é uma mistura confusa de:

Momento: O carro ainda está seguindo o impulso de curvas que fez há 10 segundos.
Escala Adaptativa: O carro está ajustando sua velocidade com base em quão escorregadia a estrada parece.
Decaimento de Peso: O carro está tentando permanecer no centro da faixa, mesmo quando não precisa.
Objetivos Conflitantes: Em um cenário de múltiplas tarefas, o carro está tentando ir à mercearia, à academia e ao escritório ao mesmo tempo. O caminho que ele percorre é um compromisso, não uma rota clara para qualquer destino único.

O artigo afirma que, para entender verdadeiramente o que o carro está aprendendo, você não deve observar para onde o carro foi. Em vez disso, você deve olhar para as placas de trânsito e o mapa (os gradientes) que o carro estava observando agora mesmo.

A Descoberta Central: O "Caminho Bagunçado" vs. O "Sinal Claro"

Os pesquisadores testaram isso em um modelo de computador aprendendo problemas matemáticos (como adição e multiplicação). Eles usaram um "teste" para ver se o modelo estava formando características específicas (como uma regra mental para somar números).

1. O Jeito Antigo (Observar o Carro):
Quando analisaram o caminho que o modelo percorreu (a "Atualização"), os resultados do teste foram fracos e confusos.

O Resultado: O modelo parecia estar aprendendo, mas a "direção" da aprendizagem parecia aleatória. Em tarefas complexas onde o modelo tinha que fazer quatro coisas ao mesmo tempo, o teste falhou completamente. Parecia que o modelo não estava aprendendo nada específico de forma alguma.
A Analogia: É como tentar descobrir o destino de um caminhante olhando para suas pegadas lamacentas. As pegadas são uma bagunça emaranhada de escorregões, paradas e mudanças de direção, então você não consegue dizer para onde eles realmente tentavam ir.

2. O Novo Jeito (Olhar para o Mapa):
Os pesquisadores mudaram para analisar os gradientes (o sinal matemático bruto que diz ao modelo para onde se mover antes que os passos confusos do otimizador interfiram).

O Resultado: De repente, o sinal tornou-se incrivelmente claro. A "direção" da aprendizagem foi de 30 a 100 vezes mais forte do que antes.
A Analogia: Em vez de olhar para as pegadas lamacentas, eles olharam para as coordenadas de GPS para as quais o caminhante estava mirando naquele segundo exato. A direção era nítida, clara e perfeitamente alinhada com o destino.

Conclusão Chave: O "otimizador" (o algoritmo que atualiza o modelo) adiciona tanto ruído e história que esconde o verdadeiro sinal de aprendizagem. Você precisa remover o momento e a história para ver o que o modelo está realmente aprendendo.

O Problema de Múltiplas Tarefas: A "Reunião de Comitê"

O artigo também analisou um modelo tentando aprender quatro problemas matemáticos diferentes ao mesmo tempo (Somar, Subtrair, Multiplicar e uma fórmula complexa de quadrado).

A Visão Antiga: Quando olharam para o caminho combinado do modelo, parecia um desastre. O modelo estava tentando satisfazer quatro "comitês" diferentes, e o caminho resultante era um compromisso que não satisfazia nenhum deles bem. A ferramenta de diagnóstico disse: "Este modelo não está aprendendo nenhuma característica específica."
A Nova Visão: Quando olharam para o "mapa" de cada comitê separadamente (calculando o gradiente para a adição, depois para a subtração, etc.), descobriram que o modelo estava realmente aprendendo muito bem para todas as quatro tarefas.
A Analogia: Imagine um comitê de quatro pessoas tentando decidir um pedido de almoço.
- O Jeito Antigo: Você olha para o compromisso final e bagunçado (ex: "Vamos pegar uma salada com coberturas de pizza"). Parece uma má decisão que não satisfaz ninguém.
- O Novo Jeito: Você ouve o que cada pessoa individualmente queria pedir. Você percebe que a Pessoa A realmente queria uma salada e a Pessoa B realmente queria pizza. O "compromisso bagunçado" foi apenas o resultado de eles discutirem, mas seus desejos individuais eram claros e fortes.

Conclusão: No treinamento de múltiplas tarefas, o "caminho de compromisso" esconde o fato de que o modelo está aprendendo com sucesso características distintas para cada tarefa. Você deve separar as tarefas para ver a aprendizagem.

A Surpresa "Rank-3": Trata-se do Tamanho, Não da Direção

Os pesquisadores fizeram mais um experimento. Perguntaram: "Precisamos que o modelo aprenda nessas direções específicas que encontramos, ou apenas em qualquer direção de baixa dimensão?"

Eles forçaram o modelo a aprender apenas usando um "subespaço" muito pequeno e simples (um pequeno corte tridimensional de seu cérebro massivo).

O Resultado: O modelo aprendeu mais rápido (cerca de 2,3 vezes mais rápido) quando forçado a usar esse pequeno corte.
O Revesamento: Não importava qual corte eles usavam. Se usassem o corte "inteligente" encontrado com seu novo método, ou um corte completamente aleatório, o modelo aprendia tão rápido quanto.
A Analogia: Imagine que você está tentando encaixar uma mala grande no porta-malas pequeno de um carro.
- Você pode pensar: "Preciso dobrar as roupas desta forma específica para encaixá-las."
- Mas o experimento mostrou que, desde que você apenas comprima a mala (reduza o rank), ela cabe e chega lá mais rápido. Não importa se você dobra as camisas ou as calças primeiro; o ato de comprimir o espaço é o que importa.

Conclusão: As "direções" específicas que o modelo aprende são apenas um sintoma do processo de aprendizagem, não a causa. A verdadeira magia é que o modelo não precisa de todo o seu cérebro confuso para aprender esses truques matemáticos; ele precisa apenas de uma versão pequena e comprimida dele.

Resumo para o Público Geral

Pare de observar as pegadas: Se você quer entender como a IA aprende, não olhe para o caminho que ela percorreu (as atualizações do otimizador). Esse caminho é muito bagunçado com história e compromissos.
Olhe para o mapa: Olhe para as instruções brutas (gradientes) que a IA está seguindo agora mesmo. Isso revela as verdadeiras "direções" de aprendizagem, que são muito mais fortes e claras.
Separe as tarefas: Se uma IA está fazendo muitas coisas ao mesmo tempo, o caminho combinado parece um fracasso. Você precisa olhar para cada tarefa individualmente para ver que ela está realmente tendo sucesso.
A simplicidade vence: A IA aprende mais rápido quando forçada a ser simples. Ela não precisa de direções complexas e específicas para aprender; ela apenas precisa ser restrita a um espaço menor e mais simples.

O artigo essencialmente nos diz que nossas ferramentas atuais para "interpretar" a IA estão olhando para a coisa errada. Ao mudar para uma visão mais limpa dos dados, podemos ver que a IA está aprendendo de forma muito mais eficaz e simples do que pensávamos.

1. Declaração do Problema

Na interpretabilidade mecânica, uma questão central é identificar quais direções no espaço de parâmetros correspondem à formação de características específicas (circuitos). Uma abordagem diagnóstica comum envolve analisar a estrutura de baixo posto das trajetórias do otimizador (atualizações de parâmetros, $\Delta \theta$ ) usando Decomposição em Valores Singulares (SVD) sobre janelas deslizantes. Este método, conhecido como Update SED (Diagnósticos de Borda Espectral), assume que as direções nas quais o otimizador se move refletem fielmente as direções relevantes para a formação de características.

Os autores argumentam que essa suposição é falha em pipelines de treinamento modernos (usando AdamW com momento, escalonamento adaptativo e decaimento de peso) e especialmente em cenários multitarefa. Eles postulam que as atualizações do otimizador agregam e distorcem o sinal de gradiente subjacente, potencialmente obscurecendo ou destruindo o alinhamento entre diagnósticos baseados em trajetória e a formação real de características.

2. Metodologia

O estudo investiga essa hipótese usando grokking em tarefas de aritmética modular (adição, subtração, multiplicação e $a^2+b^2$ ) dentro de uma arquitetura Transformer de 2 camadas. Os autores comparam duas classes de estimadores espectrais contra a Hipótese dos Centroides Lineares (LCH), que postula que as características são formadas ao longo de direções que maximizam a sensibilidade dos centroides específicos da tarefa.

Estimadores Chave Comparados:

Update SED: Realiza SVD em uma janela deslizante de atualizações reais de parâmetros AdamW ( $\Delta \theta_t$ ). Isso captura o "caminho" percorrido pelo otimizador.
Gradient SED: Realiza SVD em uma janela deslizante de gradientes brutos ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) avaliados nos parâmetros atuais. Isso captura a direção de "descida mais íngreme" da paisagem de perda, desprovida de artefatos do otimizador (momento, escalonamento adaptativo, decaimento de peso).
- Extensão Multitarefa: Em cenários multitarefa, os autores calculam gradientes por operação ( $g_{op}$ ) retropropagando a perda de cada tarefa separadamente, em vez de usar o gradiente da perda total agregada.

Métrica Diagnóstica:

O acoplamento entre uma direção espectral $v_k$ e a formação de características é medido pela razão perturbativa $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{mediana}_j A(r_j, t)}$
Onde $A(v, t)$ mede a mudança no centróide da tarefa quando os parâmetros de atenção são perturbados ao longo da direção $v$ . Um $R_k$ alto indica que a direção $v$ é altamente sensível à formação de características.

Intervenções Causais:

Os autores realizam intervenções causais restringindo atualizações de atenção a subespaços de baixo posto (Rank-3) definidos pela base SED ou por uma base aleatória. Eles testam dois métodos de projeção:

Projeção de Atualização: Projetar a atualização final do AdamW.
Projeção de Gradiente: Projetar o gradiente antes do otimizador AdamW calcular seus momentos de momento e escalonamento adaptativo.

3. Resultados Chave

A. Resultados de Tarefa Única: Gradiente vs. Atualização

Falha do Update SED: Em modelos de tarefa única, o Update SED produz razões de acoplamento modestas ( $\bar{R}_k \approx 3\text{--}9\times$ ). A adição parece anormalmente acoplada, enquanto a multiplicação é fraca.
Sucesso do Gradient SED: Substituir atualizações por gradientes brutos aumenta as razões de acoplamento em 30–100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- A multiplicação torna-se a tarefa mais fortemente acoplada, invertendo a classificação do Update SED.
- A "dispersão de operações" (variância entre tarefas) encolhe significativamente.
Papel da Janela Deslizante: O alto acoplamento em $W=1$ (gradiente instantâneo) sugere que a própria direção do gradiente é o principal motor. A janela deslizante ( $W=20$ ) atua principalmente como um mecanismo de remoção de ruído, reduzindo a razão monotonicamente, mas mantendo um sinal ordens de magnitude maior que o aleatório.

B. Resultados Multitarefa: A Falha Crítica da Agregação

Colapso do Update SED: No treinamento multitarefa, o Update SED falha completamente, produzindo $\bar{R}_k \le 1$ (pior que o aleatório). A atualização agregada do otimizador, que equilibra quatro objetivos concorrentes, torna-se ortogonal ao subespaço relevante para características de qualquer tarefa única.
Recuperação do Gradient SED: Usar gradient SED por operação recupera um acoplamento forte ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Crucialmente, o sinal do gradient SED multitarefa é mais forte que o sinal do Update SED de tarefa única.
- Isso prova que a formação de características é robusta em cenários multitarefa, mas está oculta pela agregação de gradientes concorrentes na etapa de atualização do otimizador.

C. Intervenções Causais: Rank vs. Direção

Aceleração: Restringir atualizações a um subespaço Rank-3 acelera o grokking em aproximadamente 2.3 $\times$ .
Independência de Direção: Essa aceleração ocorre independentemente de o subespaço ser a base SED (alinhada a características) ou uma base aleatória.
- Projeção de Gradiente: Ao projetar o gradiente antes da otimização, remover o subespaço SED (mantendo aleatório) não tem efeito negativo, e manter apenas rank-3 aleatório acelera o treinamento tanto quanto manter a base SED.
- Projeção de Atualização: Experimentos iniciais sugeriram que remover o SED ajudava, mas isso foi um artefato do momento interno e escalonamento adaptativo do AdamW vazando informações de volta para a trajetória. A projeção de gradiente elimina esse artefato.
Conclusão: A restrição de rank (reduzindo redundância) é o fator causal para a aceleração, não a direção específica. A atualização natural do AdamW em atenção é "redundante em rank", contendo principalmente movimento não funcional para a transição de grokking.

4. Contribuições Chave

Mudança Metodológica: Demonstra que a estrutura do gradiente, e não as trajetórias do otimizador, é o objeto correto para análise espectral da formação de características. Atualizações do otimizador introduzem distorções qualitativas que escondem direções relevantes para características.
Interpretabilidade Multitarefa: Identifica a agregação de gradientes entre tarefas concorrentes como um obstáculo geral à interpretabilidade em nível de circuito. A análise de gradientes resolvida por tarefa é necessária para recuperar a estrutura de características no treinamento multitarefa.
Esclarecimento Causal: Mostra que, embora direções derivadas de gradientes sejam fortes diagnósticos de formação de características, elas não são unicamente causais. O fator chave é a natureza de baixo rank da atualização, não o alinhamento específico com a base do gradiente.
Identificação de Artefatos: Revela que observações anteriores de "variedade rank-1" no grokking foram parcialmente obscurecidas pelo ruído e distorção inerentes às atualizações do AdamW.

5. Significado

Para Interpretabilidade: Este trabalho desafia a prática padrão de analisar trajetórias de atualização de parâmetros (por exemplo, PCA em diferenças de pesos) para encontrar circuitos. Argumenta que tais métodos subestimam sistematicamente a formação de características, especialmente em cenários multitarefa complexos ou de grande escala (como Mistura de Especialistas).
Para Dinâmicas de Treinamento: Sugere que o "caminho natural" percorrido por otimizadores como AdamW é frequentemente ineficiente e redundante. Restringir a otimização a ranks mais baixos pode acelerar significativamente a aprendizagem sem sacrificar o desempenho.
Direções Futuras: As descobertas implicam que, para modelos de grande escala (LLMs, ajuste de instruções), analisar gradientes por tarefa (ou aproximações como Lanczos na Fisher empírica) é essencial para entender como circuitos específicos se formam, em vez de confiar em análise de trajetória agregada.

Em resumo, o artigo argumenta que o gradiente é o sinal, e o otimizador é o ruído. Para entender como redes neurais aprendem características, deve-se analisar a paisagem de gradiente bruta, particularmente decomposta por tarefa, em vez do caminho distorcido que o otimizador percorre pelo espaço de parâmetros.