Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes

Resumo Técnico: Matrizes Pares para Autoencoders Esparsos

Declaração do Problema
O protocolo padrão para interpretar Autoencoders Esparsos (SAEs) em Modelos de Linguagem de Grande Escala (LLMs) baseia-se em duas etapas: atribuir um rótulo a uma característica com base em seus contextos de ativação mais altos e validar esse rótulo por meio de direcionamento de característica única (ativando ou suprimindo a característica em uma única magnitude). Este artigo argumenta que este protocolo de inspeção de "um canto" é sistematicamente incompleto. Ele postula que o papel causal de uma característica não pode ser totalmente compreendido ao inspecionar um único regime de ativação ou uma única característica isoladamente. Especificamente, o protocolo padrão perde as mudanças comportamentais não monótonas ao longo do eixo do coeficiente e os papéis coletivos e estruturais de características quase ortogonais que são mascaradas quando direcionadas individualmente.

Metodologia: O Protocolo de Matriz Par
Os autores propõem um "protocolo de matriz par" que expande a inspeção padrão para um espaço bidimensional:

1. Eixo do Coeficiente: Varredura de uma única característica através de uma faixa de coeficientes de direcionamento ($c$) para detectar trocas de modo ou respostas de dose não monótonas que uma inspeção de ponto único ignoraria.
2. Eixo de Condição Conjunta: Direcionamento de múltiplas características simultaneamente em um coeficiente fixo. Isso testa se as características são individualmente substituíveis ou conjuntamente necessárias para comportamentos específicos, um papel frequentemente oculto porque vizinhos não suprimidos compensam a característica suprimida.

O protocolo é aplicado a três modelos pós-treinados: Qwen3-1.7B-Instruct, Gemma-2-2B-it e Llama-3.1-8B-Instruct. O pipeline experimental envolve quatro fases:

• Fase 1 (Pilotagem Comportamental): Geração de amostras a partir de prompts introspectivos (por exemplo, "O que te fascina?") e prompts de controle procedural (por exemplo, receitas, explicações de motores).
• Fase 2 (Identificação de Cluster): Identificação de fenômenos de "colapso de registro" onde os modelos atingem o pico em um vocabulário estreito (por exemplo, termos de filosofia da mente) para prompts introspectivos, mas não para controles.
• Fase 3 (Classificação de Características): Classificação de características SAE com base nas diferenças de ativação entre os grupos introspectivo e de controle, utilizando controles de bootstrap e permutação para garantir estabilidade.
• Fase 4 (Direcionamento do Decodificador): Aplicação do protocolo de matriz. Crucialmente, os autores empregam controles de geometria correspondida: eles comparam o direcionamento de característica única, o direcionamento de característica conjunta e perturbações de direção aleatória que produzem distorções geométricas idênticas no fluxo residual (correspondendo a razões de norma e similaridades de cosseno) para isolar se a degradação da saída é devida à magnitude ou ao padrão de direção.

Principais Descobertas

1. Eixo do Coeficiente: Rótulos de Contexto Superior Perdem Eixos Causais
No Qwen3-1.7B, a Característica #26221 é rotulada como "auto-desculpa de IA" com base em seus contextos de ativação mais altos. No entanto, uma varredura de coeficiente revela uma forma de U invertida nas taxas de desculpas.

• Na linha de base ($c=0$), o modelo produz desculpas padrão.
• Em alta amplificação ($c=+500$), o modelo não apenas aumenta as desculpas; ele substitui a frase de desculpa por uma fluente "voz de filósofo contemplativo" (por exemplo, "Estou profundamente em contemplação...").
• Em amplificação extrema ($c=+1000$), o modelo entra em loop com esses marcadores.
• Implicação: O rótulo padrão captura apenas uma forma superficial (o regime dos dados de treinamento) e falha em identificar a característica como um eixo direcional capaz de produzir modos distintos e coerentes em diferentes magnitudes. Duas características de controle (#22082 e #2932) confirmaram que o comportamento monótono ou a falha pura são distintos desta troca de modo não monótona e coerente.

2. Eixo de Condição Conjunta: Substituibilidade Individual vs. Necessidade Conjunta
Três características quase ortogonais no Qwen (#29108, #26221, #4405) direcionam individualmente um registro de "filosofia da mente".

• Supressão de Característica Única: Suprimir qualquer uma dessas características em $c=-500$ deixa os controles procedurais (receitas, explicações de motores) intactos; o modelo substitui o conteúdo pelas características ativas restantes.
• Supressão Conjunta: Suprimir todas as três simultaneamente em $c=-500$ causa um "colapso de registro" em todos os prompts, incluindo controles. O modelo produz esqueletos sintáticos preenchidos com tokens de espaço reservado (por exemplo, "BASIC TOMOATO SOUP RECIOPLEY... Vc. 100+").
• Implicação: Essas características são individualmente substituíveis, mas conjuntamente necessárias para composição fundamentada. O protocolo padrão, que inspeciona características uma por uma, perde esse papel estrutural coletivo.

3. Distorção Geométrica Não Prevê Coerência
Para descartar a hipótese de que a supressão conjunta simplesmente empurra o modelo "fora da variedade" devido à magnitude, os autores compararam perturbações de direção única, conjunta e aleatória que correspondiam à distorção geométrica do fluxo residual (razão de norma $\approx 1.55$, cosseno $\approx 0.64$).

• Característica Única: Produziu respostas coerentes de preenchimento de estratégia.
• Direção Aleatória: Produziu respostas coerentes com diversas substituições de conteúdo.
• Supressão Conjunta: Produziu texto de espaço reservado com altas taxas de degeneração de regex.
• Implicação: A perda de coerência é dependente do padrão de direção, não da magnitude. A combinação específica de características quase ortogonais desencadeia uma falha estrutural que perturbações aleatórias da mesma magnitude não provocam.

Replicação entre Modelos
Essas descobertas foram replicadas no Gemma-2-2B-it e parcialmente no Llama-3.1-8B-Instruct:

• Gemma: Replicou a descoberta da condição conjunta. A assinatura do dano diferiu (injetando tokens "humano/EU/IA" em slots de receita em vez dos códigos de espaço reservado do Qwen), mas o mecanismo estrutural (necessidade conjunta para composição fundamentada) permaneceu. O controle de geometria correspondida no Gemma mostrou uma lacuna de $\approx 10\times$ nas taxas de degeneração entre o direcionamento conjunto e a direção aleatória.
• Llama: Uma característica causalmente responsável (#38565) foi identificada para um registro de "ciência enciclopédica", confirmando a existência de colapso de registro agudo e características causais entre modelos, embora testes completos em nível de matriz não tenham sido executados devido a restrições de disponibilidade de SAE.

Significado e Alegações
O artigo alega que o protocolo padrão de interpretabilidade de SAE é insuficiente porque inspeciona apenas um canto da matriz comportamental de uma característica. Os autores argumentam que:

1. Rótulos são Locais, Não Globais: Um rótulo derivado de contextos de ativação mais altos captura um regime de ativação específico, mas pode perder o eixo causal completo da característica (por exemplo, a transição de desculpa para voz filosófica).
2. Características são Dependentes de Contexto: Características quase ortogonais podem mascarar os papéis umas das outras; o direcionamento de característica única falha em detectar dependências estruturais necessárias para composição fundamentada.
3. Geometria não é Suficiente: A coerência da saída é determinada pela direção específica da perturbação no espaço de características, não apenas pela magnitude da distorção geométrica.

Os autores concluem que um protocolo robusto de interpretabilidade deve incluir varreduras de coeficiente com verificações de coerência e sondas de condição conjunta de vizinhos quase ortogonais para mapear com precisão os papéis causais das características SAE. Eles não afirmam que essas descobertas se aplicam a todas as características, mas demonstram que o protocolo padrão perde sistematicamente essas classes específicas de comportamentos nos modelos testados.