💬 NLP

Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects

Este artigo introduz a Análise de Geometria de Característica-Efeito (FEGA) para demonstrar que, embora as características de autoencoders esparsos possam ser causalmente relevantes, elas raramente funcionam como direções de controle estáveis, exibindo, em vez disso, padrões geométricos distintos onde características do tipo "valor" produzem efeitos estruturados e características do tipo "ponteiro" geram mudanças difusas e dependentes de contexto.

Autores originais: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Phu Gia Hoang, Anwoy Chatterjee, Tanmoy Chakraborty, Iryna Gurevych, Subhabrata Dutta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender uma biblioteca mágica e gigante onde os livros se escrevem sozinhos. Esta biblioteca é um "Grande Modelo de Linguagem", um tipo de inteligência artificial que leu quase tudo na internet e aprendeu a prever a próxima palavra em uma frase. Dentro desta biblioteca, existem milhões de pequenos interruptores invisíveis chamados "neurônios" que se acendem quando o modelo pensa em algo. Por muito tempo, cientistas tentaram entender o modelo apenas observando quais interruptores se acendiam. Eles pensavam: "Se um interruptor acende quando o modelo fala sobre 'Paris', então esse interruptor deve ser o 'interruptor de Paris'".

Mas aqui está a parte complicada: só porque um interruptor acende não significa que ele esteja realmente fazendo o trabalho. Ele pode estar apenas observando. Para saber realmente o que um interruptor faz, você tem que entrar lá, desligá-lo e ver se a história muda. Isso é chamado de "intervenção". Recentemente, cientistas construíram uma ferramenta especial chamada "Autoencoder Esparso" (ou SAE) para ajudar a encontrar esses interruptores. Pense no SAE como um arquivo superorganizado que separa os interruptores bagunçados e brilhantes em pastas organizadas e rotuladas. A esperança era que, se encontrássemos uma pasta rotulada como "Paris", poderíamos simplesmente ligar ou desligar essa pasta para fazer o modelo falar de Paris ou parar de falar de Paris. Essa ideia é chamada de "direcionamento" (steering).

No entanto, havia uma dúvida persistente. Às vezes, quando os cientistas ligavam uma pasta "Paris", o modelo não falava de Paris de forma alguma. Às vezes, falava da França, às vezes ficava confuso e, às vezes, fazia exatamente o oposto do esperado. Era como ter um controle remoto onde o botão "Aumentar Volume" às vezes desligava a TV ou mudava de canal. A grande questão era: Por que isso acontece? O controle remoto está quebrado ou nossa compreensão de como os botões funcionam está errada?

Este artigo, intitulado "Sparse Autoencoders Encode Both Concepts and Functions", parte em uma missão de detetive para resolver este mistério. Os autores, uma equipe de pesquisadores da Alemanha e da Índia, decidiram parar de apenas olhar para os rótulos nas pastas e começar a observar o que acontece com a história depois que eles acionam um interruptor. Eles inventaram um novo método chamado "Análise de Geometria de Efeito de Característica" (FEGA). Imagine o FEGA como uma câmera de alta tecnologia que tira uma instantânea da biblioteca toda vez que eles acionam um interruptor, não apenas uma vez, mas em milhares de histórias diferentes. Eles então olham para a "nuvem" de todas essas instantâneas para ver se o interruptor sempre empurra a história na mesma direção.

O que eles descobriram foi uma surpresa. Eles descobriram que os interruptores dentro do modelo caem em duas categorias muito diferentes, que eles nomearam como "Semelhantes a Valores" (Value-like) e "Semelhantes a Ponteiros" (Pointer-like).

Primeiro, existem os interruptores Semelhantes a Valores. Estes são como os "fatos" na biblioteca. Se um interruptor está ligado ao fato de que "Paris fica na França", ele age como uma informação estática. Quando você aciona este interruptor, a saída do modelo muda de uma forma um tanto organizada, como um grupo de pessoas caminhando em uma formação frouxa. Não é uma única linha reta, mas também não é uma bagunça total. Esses interruptores são confiáveis para manter fatos específicos.

Depois, existem os interruptores Semelhantes a Ponteiros. Estes são os verdadeiros problemáticos para a ideia do "controle remoto". Esses interruptores não contêm um fato específico; eles contêm um trabalho ou uma função. Pense neles como um botão "Copiar" em um teclado. Um botão "Copiar" não se importa com o que você está copiando; ele apenas faz a cópia. No modelo, um interruptor semelhante a um ponteiro pode ser responsável por "copiar a palavra que apareceu anteriormente na frase". Se a frase diz "O gato é grande", o interruptor copia "grande". Se a frase diz "O gato é pequeno", o interruptor copia "pequeno". Porque o trabalho é copiar o que quer que esteja lá, acionar este interruptor não empurra a história em uma única direção previsível. Em vez disso, o efeito se espalha por toda parte, como uma nuvem de poeira.

O artigo mostra que, para esses interruptores "Semelhantes a Ponteiros", a antiga ideia de "direcionamento" é majoritariamente errada. Você não pode apenas ligar um interruptor de "Copiar" e esperar que o modelo sempre diga "Copiar". O efeito depende inteiramente do que o modelo está observando naquele exato momento. Os autores descobriram que, embora alguns interruptores (os Semelhantes a Valores) tenham um efeito um tanto estruturado, a maioria dos interruptores funcionais interessantes (os Semelhantes a Ponteiros) cria um efeito "difuso". Eles são essenciais para o funcionamento do modelo — são a razão pela qual o modelo consegue seguir regras ou copiar palavras — mas não apontam para uma única direção previsível.

Em suma, o artigo sugere que precisamos mudar a forma como pensamos sobre esses interruptores de IA. Não podemos tratá-los todos como simples botões de liga/desliga para tópicos específicos. Alguns são como arquivos para fatos, mas outros são como ferramentas dinâmicas que mudam seu efeito dependendo da situação. Se quisermos controlar esses modelos de IA no futuro, não podemos apenas procurar por um botão único de "Paris" ou um botão único de "Copiar" e esperar que funcione da mesma forma todas as vezes. Temos que entender que, para muitas dessas ferramentas, o efeito é uma nuvem complexa que muda de forma dependendo da história que está sendo contada. Os autores não afirmam que resolveram o problema ainda, mas forneceram um novo mapa que mostra exatamente onde reside a confusão, provando que o "controle remoto" para a IA é muito mais complicado do que pensávamos.

Resumo Técnico: Autoencoders Esparsos Codificam Tanto Conceitos Quanto Funções: A Geometria de Jusante dos Efeitos de Features

1. Declaração do Problema

A adoção generalizada de Autoencoders Esparsos (SAEs) para interpretabilidade mecanística é atualmente limitada por uma ligação inconsistente entre as features do SAE e o comportamento do modelo. Embora as features frequentemente possuam descrições de ativação claras (ex: "Paris" ou "copiar"), seus efeitos causais são frequentemente instáveis. Trabalhos anteriores demonstraram que os efeitos de direcionamento (steering) podem variar entre prompts, opor-se às direções pretendidas ou falhar em produzir as mudanças de saída desejadas, apesar de uma forte ativação.

Os fluxos de trabalho de interpretabilidade existentes dependem de evidências de ativação (exemplos de alta ativação, descrições automatizadas, leituras do decodificador) para associar features a conceitos. No entanto, a ativação por si só não estabelece contribuição causal. Existe uma lacuna crítica na compreensão da geometria das mudanças nos logits do modelo causadas pela intervenção em features. Especificamente, permanece incerto se o efeito de jusante de uma feature constitui uma direção estável e reutilizável (um "vetor de direcionamento") ou se exibe estruturas geométricas complexas e dependentes de contexto. Este artigo aborda a questão: Quão comparáveis são os efeitos de jusante de uma feature quando essa feature é submetida a intervenção em diferentes contextos?

2. Metodologia

2.1 Análise da Geometria do Efeito da Feature (FEGA)

Os autores introduzem a Análise da Geometria do Efeito da Feature (FEGA), um framework não supervisionado e offline projetado para medir e classificar a geometria das mudanças nos logits de jusante resultantes da ablação de features.

Protocolo de Intervenção:

Baseline Relativo à Reconstrução: Para isolar o efeito de uma feature específica $j$ $j$ do erro de reconstrução do SAE, o método compara dois caminhos:
- Baseline: A reconstrução do SAE $\bar{h}^{(c)}_\ell = D(E(h^{(c)}_\ell))$ .
- Intervenção: A reconstrução com a feature $j$ zerada: $\hat{h}^{(c)}_{\ell,j\downarrow} = D(z^{(c)} - z^{(c)}_j e_j)$ .
Propagação de Jusante: Ambos os caminhos são propagados através da cauda congelada do modelo (camadas subsequentes) até a leitura final de logits $\phi(\cdot)$ .
Nuvem de Efeito: A diferença de logit $\Delta^{(c)}_j = \phi(\hat{h}^{(c)}_{\ell,j\downarrow}) - \phi(\bar{h}^{(c)}_\ell)$ é computada para um conjunto de contextos válidos $C$ . A coleção dessas diferenças forma a nuvem de efeito da feature $E_j$ .

Diagnósticos Geométricos:
A FEGA analisa a forma de $E_j$ no espaço de logit usando uma série de diagnósticos baseados nos vetores de direção normalizados $v^{(i)}_j$ :

Concentração de Raio Direcionado ( $C_{ray}$ ): Testa se todos os efeitos apontam na mesma direção com sinal definido.
Estrutura de Eixo ou Antipodal ( $B_{axis}$ ): Testa se os efeitos se alinham com um único eixo, mas se dividem entre sinais positivos e negativos (ex: $u$ e $-u$ ).
Mistura Direcional: Utiliza um modelo de mistura de von Mises-Fisher para detectar múltiplos modos direcionais distintos e coerentes.
Espectro de Abrangência Global: Utiliza PCA sobre a matriz de kernel para determinar se os efeitos residem em um subespaço de baixa dimensão (ex: 2D ou 3D).
Espectro de Resíduo Centrado: Analisa a variação em torno da direção média para detectar desvios de baixa dimensão.

O framework atribui um rótulo de geometria primário (ex: "Raio Direcionado", "Eixo", "Difuso") e flags secundárias (ex: heterogeneidade de magnitude) com base nesses diagnósticos.

2.2 Configuração Experimental

Modelo: Gemma-2-2B.
Variantes de SAE: ReLU, TopK e Matryoshka Batch TopK (largura $\approx$ 65k) aplicados ao fluxo residual pós-camada-12.
Espectro de Tarefas:
- Tipo-Valor (Factual): RAVEL (desentranhamento de atributos Cidade-País). As features aqui representam informação estática (ex: "Paris está na França").
- Tipo-Ponteiro (Operacional): Cópia de Sequência Literal (LSC), Conteúdo de Palavra (WC), PrOntoQA (seguimento de regras) e Tradução de Tokens (TT). Estas tarefas requerem operações dependentes de contexto (copiar, vincular, aplicação de regras) sem significados fixos de tokens.
- Isolamento de Feature:
  - Tipo-Valor: Selecionadas via mascaramento binário diferencial do SAEBench para controle de atributos.
  - Tipo-Ponteiro: Selecionadas com base na frequência de ativação em famílias de prompts em tarefas de ICL, seguidas de ablação para verificar a contribuição causal.

3. Resultados Principais

3.1 Efeitos de Features Raramente São Direções Únicas

Em todas as variantes de SAE e tarefas, os efeitos de jusante das features raramente colapsam para um único vetor de logit invariante ao contexto. A hipótese de que as features atuam como direções de direcionamento reutilizáveis é a exceção, não a regra. A maioria das nuvens de efeito não exibe alta concentração de raio direcionado.

3.2 Distinção Entre Features Tipo-Valor e Tipo-Ponteiro

O artigo distingue dois papéis funcionais com propriedades geométricas distintas:

Features Tipo-Ponteiro: Associadas a operações locais do prompt (cópia, seguimento de regras).
- Recorrência: Um conjunto pequeno e compacto de features recorre através de diferentes tarefas de ICL (ex: LSC, WC, PrOntoQA), particularmente nas arquiteturas TopK e Matryoshka Batch TopK.
- Geometria: Estas features apresentam predominantemente efeitos difusos. Mesmo quando recorrem entre tarefas, elas não atuam como direções de logit reutilizáveis; seus efeitos se espalham pelo espaço de saída, consistente com o alvo mudando com base no valor específico sendo copiado ou traduzido.
- Causalidade: A ablação conjunta desses conjuntos selecionados causa quedas significativas de precisão, confirmando seu papel causal, apesar da falta de uma direção geométrica estável.
Features Tipo-Valor: Associadas a atributos fatuais estáticos (ex: RAVEL Cidade-País).
- Geometria: Estas features exibem efeitos mais estruturados e de baixa dimensão em comparação com as features tipo-ponteiro.
- Estrutura: No entanto, mesmo esses efeitos estruturados tipicamente abrangem múltiplas direções de saída em vez de colapsar para um único vetor de direcionamento.

3.3 Conjuntos de Features Disjuntos

Os conjuntos de features identificados para tarefas tipo-ponteiro (ICL) e tarefas tipo-valor (RAVEL) são disjuntos. Nenhuma feature selecionada para tarefas de ICL aparece nos conjuntos de atributos fatuais de RAVEL, sugerindo que o dicionário do SAE separa esses papéis funcionais, mesmo que suas manifestações geométricas sejam complexas.

4. Contribuições e Significância

Contribuição Primária:
O artigo introduz a FEGA, um framework que desloca o foco da interpretabilidade da descrição de ativação para a geometria do efeito de intervenção. Ele fornece um diagnóstico computável de como os efeitos das features são organizados, distinguindo entre direções reutilizáveis, espaços de baixa dimensão estruturados e nuvens difusas.

Alegações de Significância:

Desafiando a Suposição de Direcionamento: Os resultados desafiam a suposição comum de que uma feature com uma descrição clara e efeito causal pode servir como uma variável de controle confiável de vetor único. Uma feature pode ser interpretável e causalmente importante sem fornecer uma direção estável para o direcionamento (steering).
Refinando Papéis de Features: Ao distinguir entre features "tipo-valor" (informação estática) e "tipo-ponteiro" (operações dependentes de contexto), o artigo explica por por que o comportamento de direcionamento varia. As features tipo-ponteiro, que suportam operações em vez de conceitos estáticos, produzem naturalmente efeitos difusos e dependentes de contexto.
Mudança Metodológica: O trabalho argumenta que a interpretabilidade ao nível de feature deve distinguir três aspectos: o que uma feature detecta, se ela importa causalmente e como seus efeitos variam entre contextos. A FEGA fornece a "auditoria do lado do efeito" necessária para avaliar este terceiro aspecto.

Modéstia das Alegações:
Os autores declaram explicitamente que suas descobertas sugerem que a estabilidade na direção do espaço de logit é "frequentemente limitada". Eles não alegam que os SAEs são inúteis para o direcionamento, mas sim que a expectativa de um único vetor de direcionamento reutilizável é frequentemente incorreta. O artigo não propõe novos algoritmos de direcionamento, mas sim fornece uma ferramenta de diagnóstico para entender as limitações das abordagens atuais de direcionamento. Os rótulos geométricos (ex: "Difuso", "Eixo") são descritos como resumos descritivos da nuvem de efeito, em vez de explicações mecanísticas da computação neural subjacente.