🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

Este artigo propõe um método para extrair mecanismos de peso interpretáveis diretamente de camadas lineares de redes neurais usando SVD por blocos de colunas para definir características como triplas de gatilho-escrita-força, demonstrando desempenho perfeito em todos os locais testados em um modelo Gemma-2-2B ao liberar o código associado e a suíte de avaliação.

Autores originais: Ash Manvi, Samreena Tajreen

Publicado 2026-08-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ash Manvi, Samreena Tajreen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como o cérebro de um robô gigante e superinteligente funciona. Por muito tempo, os cientistas foram como detetives tentando descobrir o que o robô está pensando ao observar suas "notas" (ativações) enquanto ele resolve problemas. Eles construíram dicionários especiais para rotular essas notas, dando nomes como "gato" ou "justiça" a padrões específicos de atividade. É um pouco como ter um tradutor que lhe diz: "Ah, certo, agora o robô está pensando em um gato!". Mas há um porém: esse tradutor é uma ferramenta separada, não faz parte do cérebro real do robô. É como ter um manual que explica a máquina, em vez de ver as engrenagens e alavancas se movendo dentro dela.

A grande questão que este artigo aborda é: Podemos encontrar as "engrenagens" reais dentro do cérebro do robô que realizam o pensamento, sem precisar de um manual separado? Os autores estão olhando para os "fios" (pesos) que conectam diferentes partes do cérebro. Eles querem encontrar interruptores específicos e utilizáveis que ligam e desligam ideias. Se pudermos encontrar esses interruptores diretamente na fiação, não estaremos apenas adivinhando o que o robô está pensando; seremos capazes de ver exatamente como ele constrói seus pensamentos, passo a passo. Isso é crucial porque, se entendermos a mecânica real, poderemos corrigir erros ou guiar o robô em direções mais seguras, em vez de apenas adivinhar o que ele significa.

A História do Artigo: Encontrando as Engrenagens Reais

Os autores, Ash Manvi e Samreena Tajreen, da Aquin Labs, decidiram parar de olhar para as "notas" do robô e começar a olhar diretamente para seus "diagramas de fiação". Eles se concentraram em um tipo específico de cérebro de robô chamado Gemma-2-2B e perguntaram: "Se cortarmos a fiação em pedaços pequenos e gerenciáveis, podemos encontrar os interruptores exatos que controlam os pensamentos do robô?"

Para fazer isso, eles usaram uma ferramenta matemática chamada SVD (Decomposição de Valor Singular). Pense na SVD como uma forma superpoderosa de pegar um novelo de lã bagunçado e emaranhado e desenredá-lo em fios retos e organizados. Geralmente, os cientistas desenredam o novelo de lã inteiro de uma só vez para encontrar os fios maiores. Mas os autores tiveram o palpite de que os fios mais úteis poderiam estar escondidos em seções menores e específicas. Então, eles tentaram um novo truque: SVD em Blocos (Tiled SVD).

Imagine a fiação do robô como uma parede gigante de interruptores. Em vez de tentar desenredar toda a parede de uma só vez, eles a cortaram em pequenos blocos quadrados (como um mosaico). Eles desenredaram cada pequeno bloco separadamente. De cada bloco, eles extraíram um "suporte de mecanismo" (mechanism mount), que é apenas um nome chique para um pacote triplo:

O Gatilho (v): O sinal específico que aciona o interruptor.
A Escrita (u): A direção para a qual o interruptor empurra os pensamentos do robô.
A Força (σ): O quão forte esse interruptor empurra.

Os autores não apenas adivinharam se esses interruptores funcionavam; eles construíram um teste rigoroso para ver se eram mecanismos reais ou apenas ruído aleatório. Eles verificaram três coisas principais:

Elevação de Energia: Será que acionar este interruptor realmente faz o cérebro do robô realizar mais trabalho de uma forma útil? Eles descobriram que sua abordagem "em blocos" (cortando a parede em pedaços pequenos) foi muito melhor para encontrar esses interruptores poderosos do que olhar para a parede inteira de uma só vez.
Cobertura: Esses interruptores cobrem parte suficiente do cérebro do robô? Eles descobriram que apenas alguns interruptores por bloco foram suficientes para explicar quase tudo o que o robô estava fazendo.
Direcionamento Causal: Se eles acionassem manualmente esses interruptores, o robô realmente mudaria de ideia de uma forma previsível? Eles testaram isso injetando sinais no "fluxo residual" do robô (a rodovia principal por onde os pensamentos viajam) e verificando se as respostas finais do robô mudavam conforme o esperado.

O Que Eles Descobriram

Os resultados foram surpreendentemente bem-sucedidos. Eles testaram sete tipos diferentes de fiação em cada camada do cérebro do robô (26 camadas no total). Isso representa 182 pontos diferentes que eles verificaram.

Os Interruptores "Grandes": Para os dois tipos principais de interruptores que realmente escrevem novos pensamentos na memória do robô (chamados de mlp.down e attn.o), eles usaram um teste completo que incluía verificar se o robô mudava de ideia corretamente. Todos os 52 desses pontos passaram.
Os Interruptores "Auxiliares": Para os outros cinco tipos de interruptores que ajudam a processar informações, mas não escrevem diretamente na memória, eles usaram um teste um pouco mais simples. Todos os 130 desses pontos passaram.

No total, 182 de 182 pontos passaram no teste. Isso significa que eles encontraram com sucesso mecanismos reais e utilizáveis em cada parte do cérebro do robô que examinaram.

O Que Isso Significa (e o Que Não Significa)

Os autores são muito claros sobre o que eles não fizeram. Eles não encontraram um dicionário de palavras como "gato" ou "amor". Eles não substituíram os antigos métodos de "tomada de notas" (como autoencoders esparsos) para descobrir novos conceitos. Em vez disso, eles provaram que, se você olhar para a fiação em pequenos blocos, pode encontrar as regras físicas reais que o robô usa para pensar.

Eles também descobriram que, para algumas partes do cérebro, você não pode apenas olhar para a fiação bruta; você deve olhar para o "caminho efetivo" (como o sinal realmente flui quando o robô está trabalhando). Uma vez que ajustaram isso, os interruptores funcionaram perfeitamente.

O artigo sugere que esta abordagem "em blocos" é uma maneira melhor de encontrar as engrenagens internas do robô do que olhar para o sistema inteiro de uma só vez. É um teste reprodutível e honesto que mostra que podemos encontrar as "regras de peso" (a matemática real dentro do cérebro) que impulsionam o comportamento do robô, sem precisar de um tradutor separado para nos dizer o que está acontecendo. Embora tenham testado isso apenas em um modelo de robô específico e um tipo de texto, o método que construíram agora está disponível para que qualquer pessoa possa usar para explorar outros cérebros.

Resumo Técnico: Encontrando Mecanismos de Peso Utilizáveis com SVD em Ladrilhos (Tiled SVD)

Declaração do Problema
As abordagens dominantes atuais em interpretabilidade mecanística baseiam-se no treinamento de dicionários de aproximação, como autoencoders esparsos (SAEs), para rotular características com base na ativação máxima de texto. Embora esses atlas identifiquem conceitos com sucesso, a "identidade" de uma característica reside no dicionário aprendido, e não nos próprios pesos da rede. Consequentemente, as regras de peso específicas que realmente escrevem no fluxo residual permanecem implícitas. Além disso, os métodos existentes frequentemente utilizam a Decomposição de Valores Singulares (SVD) meramente como uma lente ou primitiva de circuito, em vez de como um teste rigoroso para determinar qual fragmentação específica de uma matriz de pesos ( $W$ ) produz mecanismos utilizáveis e dentro da distribuição.

Metodologia
Os autores propõem extrair "montagens de mecanismos" (mechanism mounts) diretamente de sítios lineares na rede usando SVD em ladrilhos de colunas (column-tiled SVD).

Montagens de Mecanismos (Mechanism Mounts): Uma montagem é definida como uma tríade $(v, u, \sigma)$ representando um gatilho, uma direção de escrita e uma força. A identidade de um mecanismo é a própria regra de peso, não um rótulo verbal.
Estratégia de Ladrilhamento (Tiling Strategy): Em vez de realizar a SVD em toda a matriz de pesos, as colunas de entrada de $W$ são particionadas em ladrilhos (tiles). Cada ladrilho é fatorado de forma independente ( $B_t = U_t \Sigma_t V_t^\top$ ). Os modos top-k de cada ladrilho são retidos para formar as montagens.
Métricas de Avaliação: Os autores introduzem uma pilha de medição julgada pelo ganho de energia de escrita total (full-write energy lift) em vez do ganho local do ladrilho.
- Ganho de Energia de Escrita Total ( $L_{full}$ ): Mede o quão bem uma direção $u$ explica a energia do tensor de escrita real $\Delta h_t$ através do conjunto de dados. Esta métrica evita a vantagem tautológica de ladrilhos de uma única coluna que inflam métricas locais.
- Saturação de Cobertura (Coverage Saturation): Avalia a fração da norma de Frobenius de $W$ recuperada pelas reconstruções de rank- $k$ por ladrilho. Requer que o ganho sature precocemente (dentro de 1–2 modos) e não colapse significativamente.
- Teste de Direcionamento Causal (Experimento C): Para escritas residuais, os autores injetam a direção de direcionamento (steer direction) após o RMSNorm pós-subcamada e medem a correlação de Spearman ( $\rho$ ) entre as mudanças de logit resultantes e o unembedding da direção de escrita.
Montagens de Caminho Eficaz (Effective-Path Mounts): Para sítios não residuais como mlp.up e attn.v, os pesos brutos dos módulos frequentemente falham em testes causais. O método constrói "mapas eficazes" (por exemplo, ponderando mlp.up pela média das ativações de porta ou usando regressão de mínimos quadrados com regularização de Ridge para attn.v) para capturar o uso real na distribuição.

Configuração Experimental

Modelo: Google Gemma-2-2B (26 camadas).
Dados: Dados de treinamento brutos do WikiText-2, subamostrados para 16.384 tokens.
Sítios: Todos os sete mapas lineares por camada são avaliados:
- Escritas Residuais (verificações A/B/C): mlp.down, attn.o.
- Não Residuais (apenas verificações A/B): mlp.gate, mlp.up, attn.q, attn.k, attn.v.
Baselines: A abordagem de SVD em ladrilhos é comparada com SVD de matriz completa, amostragem de colunas e baselines aleatórios.

Resultos Principais
A suíte proposta foi aplicada a todos os 182 sítios-camadas (7 sítios $\times$ 26 camadas).

Experimento A (Fragmentação/Chunking): O SVD em ladrilhos alcançou consistentemente um maior ganho de energia de escrita total do que a SVD de matriz completa, amostragem de colunas e baselines aleatórios em todas as profundidades para escritas residuais. Isso indica que a estrutura local de colunas em $W$ não é bem resumida por uma única SVD global.
Experimento B (Cobertura): O ganho de cobertura saturou rapidamente, atingindo o desempenho máximo com apenas 1 ou 2 modos por ladrilho. Modos adicionais adicionaram principalmente redundância.
Experimento C (Profundidade Causal): Para escritas residuais, o alinhamento entre os logits direcionados e o unembedding da direção de escrita aumentou com a profundidade. Camadas iniciais (0–5) mostraram alinhamento fraco (justificando uma isenção para a verificação C1), enquanto as camadas finais atingiram altas correlações ( $\rho \approx 0,91$ para mlp.down, $\rho \approx 0,75$ para attn.o).
Veredito Agregado: A suíte passou em 182/182 sítios-camadas.
- Sítios residuais (mlp.down, attn.o) passaram nas verificações A, B e C (52/52).
- Sítios não residuais passaram nas verificações A e B (130/130), desde que mlp.up e attn.v utilizassem montagens de caminho eficaz.

Significância e Alegações
Os autores posicionam este trabalho não como um substituto para autoencoders esparsos na descoberta de conceitos, nem como um método para gerar nomes de conceitos legíveis por humanos. Em vez disso, a significância reside em:

Fragmentação Justa (Fair Chunking): Demonstrar que o SVD em ladrilhos é um método superior para extrair mecanismos de peso utilizáveis em comparação com a SVD global ou amostragem de colunas sob um orçamento correspondente.
Resultado Negativo sobre Métricas Locais: Destacar que métricas de ganho local de ladrilho são tautológicas e que o ganho de energia de escrita total é um critério necessário para a utilidade.
Protocolo Reprodutível: Fornecer um "protocolo de múltiplos sítios honesto" que valida a extração de mecanismos em todos os mapas lineares de um bloco Transformer, incluindo uma verificação causal condicionada à profundidade.
Definição de Identidade: Estabelecer que a "identidade" de um mecanismo é a própria regra de peso, independente de dicionários externos.

O artigo conclui que, com montagens de caminho eficaz para camadas específicas, uma suíte simples e reprodutível de verificações pode validar mecanismos utilizáveis em toda a arquitetura de um modelo. Os autores disponibilizam o código da biblioteca, o construtor de corpus e os pontos de entrada do experimento para apoiar este protocolo.

A História do Artigo: Encontrando as Engrenagens Reais

O Que Eles Descobriram

O Que Isso Significa (e o Que Não Significa)

Mais como este