Resumo Técnico: Tamanho Não Importa: Autoencoders Esparsos com Pontuação de Cosseno

1. Definição do Problema

Autoencoders Esparsos (SAEs) são ferramentas padrão para interpretabilidade mecanística, projetados para decompor ativações de modelos em um dicionário de características interpretáveis por humanos. Os SAEs padrão detectam características via uma pontuação de produto interno, $\langle w_i, x \rangle$, que escala tanto com o alinhamento direcional da entrada $x$ quanto com a magnitude da entrada $\|x\|$.

Esta geometria de pontuação é fundamentalmente incompatível com as arquiteturas modernas de Transformers que empregam normalização pré-subcamada (especificamente RMSNorm). Nesses modelos, a subcamada lê a ativação normalizada $x/\|x\|$, efetivamente descartando a informação de magnitude antes da computação. No entanto, o codificador do SAE, conectado ao fluxo residual, ainda observa a magnitude total. Consequentemente, a pontuação de produto interno confunde alinhamento de conteúdo com norma de token.

Sob a seleção BatchTopK (o mecanismo de esparsidade padrão), este descompasso cria uma pressão de seleção patológica: tokens de alta norma inflam as pré-ativações para todas as características simultaneamente, independentemente de seu alinhamento direcional. Esses tokens reivindicam desproporcionalmente as vagas do dicionário, fazendo com que o SAE aprenda "detectores de norma" (características que disparam com base na magnitude do token) em vez de "detectores de conteúdo". Isso resulta em dicionários dominados por características que codificam uma quantidade que o próprio modelo ignora, prejudicando a confiabilidade da sondagem esparsa, da manipulação de características (feature steering) e da análise de circuitos.

2. Metodologia

Os autores propõem substituir a pontuação do codificador de produto interno padrão por uma pontuação de cosseno com expoente aprendido. A nova pré-ativação $s_i(x)$ é definida como:

$$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$$

Onde:

• $x_c = x - b_{dec}$ é a entrada centrada no viés do decodificador.
• $w_i$ são linhas do codificador com normalização unitária.
• $a$ é um expoente aprendível que controla a dependência da magnitude da entrada.
• $b$ é um parâmetro de escala aprendível.
• O termo $e^b \|x_c\|^a$ interpola entre a similaridade de cosseno pura ($a=0$) e o produto interno ($a=1$).

O artigo investiga dois regimes de parâmetros:

1. $a$ Global: Um único escalar de expoente compartilhado por todas as características.
2. $a_i$ Por Característica: Uma extensão onde cada característica aprende seu próprio expoente ($a_i = a_{base} + \delta_i$), permitindo heterogeneidade na dependência de norma.

Escolhas de Design Chave:

• Normalização Unitária: As linhas do codificador são normalizadas unitariamente em cada passagem direta para garantir que a pontuação seja uma verdadeira similaridade de cosseno quando $a=0$.
• Inicialização: $a$ é inicializado em 0 (cosseno puro) e $b$ em $\log \sqrt{d_{model}}$.
• Estabilidade: Para evitar cascatas de "vencedor leva tudo" onde características com gradientes iniciais ligeiramente maiores crescem seus expoentes para dominar tokens de alta norma, a variante por característica utiliza uma parametrização base+delta ($a_i = a_{base} + \delta_i$). Isso ancora a escala global enquanto permite desvios individuais.

3. Principais Contribuições

Arquitetura

O artigo introduz os SAEs de pontuação de cosseno, uma substituição direta para o codificador padrão que remove a suposição padrão de que a magnitude é um sinal útil para detecção de características. Ao permitir que o otimizador aprenda o expoente de dependência de norma $a$, a arquitetura pode recuperar o produto interno se a magnitude for genuinamente útil, mas por padrão adota a pontuação apenas de direção.

Resultados Empíricos

Experimentos no Qwen3-8B (Camada 18, 500M tokens) e Gemma-2-2B demonstram que os SAEs de pontuação de cosseno alcançam:

• Reconstrução Correspondente: A Fração de Variância Explicada (FVE) e a preservação do comportamento do modelo (escores KL/CE) são estatisticamente indistinguíveis dos SAEs padrão.
• Ganhos Significativos de Interpretabilidade: Com reconstrução equivalente, a variante de cosseno por característica melhora a acurácia de sondagem esparsa top-1 em +14,9% através de oito conjuntos de dados do SAEBench.
• Descoberta de Características: A melhoria não se deve à codificação superior de características compartilhadas, mas sim à descoberta de novas características interpretáveis. Os SAEs padrão falham em aprender essas características porque suas vagas de dicionário são ocupadas por detectores de norma.
• Geometria Aprendida: O treinamento consistentemente direciona o expoente aprendido $a$ para zero. No regime global, $a \approx 0,26$; no regime por característica, a média de $a_i \approx 0,08$. Nenhuma característica se aproxima do limite do produto interno ($a=1$), confirmando que a direção, e não a magnitude, é o sinal útil.

Identificação de Mecanismo

O artigo isola a causa da falha do SAE padrão: a seleção TopK na passagem direta sob inflação de norma.

• O Reponderamento de Gradiente Falha: Tentativas de equalizar as magnitudes de gradiente entre quartis de norma no SAE padrão (via reponderamento de perda) fecham apenas 1,9–6,8% da lacuna de desempenho. Isso confirma que o problema é a geometria de seleção (quais características vencem a competição TopK), e não o fluxo de gradiente na passagem de retorno (backward-pass).
• Características Condicionadas à Norma: SAEs padrão alocam a maior parte de sua capacidade para características que disparam excessivamente em tokens de alta norma (86% das ativações no quartil superior). Essas características codificam magnitude, não conteúdo.
• Patologia de Reconstrução: Em tokens de alta norma, os SAEs padrão reconstroem com uma norma de saída 9,5$\times$ maior que a entrada, enquanto os SAEs de cosseno mantêm uma razão de 1$\times$, alinhando-se com a leitura real do modelo.

4. Significância e Alegações

O artigo argumenta que a pontuação de cosseno deve ser o padrão para aprendizado de dicionário em representações normalizadas. O modo de falha identificado — onde SAEs de produto interno sistematicamente subcontam características de conteúdo em favor de detectores de norma — provavelmente afeta qualquer SAE treinado em locais pós-RMSNorm.

• Impacto Prático: A mudança proposta é uma modificação arquitetônica mínima (adicionando um ou dois parâmetros escalares) que gera dicionários mais interpretáveis sem custo de reconstrução.
• Escopo e Limitações:
  • A vantagem é mais pronunciada sob RMSNorm. Em modelos com LayerNorm (ex: Pythia, Falcon), o benefício diminui ou desaparece em camadas profundas, sugerindo que a subtração da média da LayerNorm preserva uma estrutura correlacionada com a magnitude que a pontuação de produto interno pode explorar.
  • Sentimento é a única tarefa onde o SAE padrão supera a variante de cosseno, consistente com a hipótese de que a magnitude carrega sinal relevante para a tarefa em análise de sentimento.
  • Os resultados são robustos através de camadas e modelos, mas não são universais; a magnitude do ganho escala com a dimensão e profundidade do modelo.

Os autores concluem que o princípio "tamanho não importa" se mantém: para representações normalizadas, a magnitude da ativação é ruído para detecção de características, e a geometria de pontuação do codificador deve refletir isso para recuperar conceitos significativos e reconhecíveis por humanos.