Do Sparse Autoencoders Identify Reasoning Features in Language Models?

Declaração do Problema
Avanços recentes em modelos de linguagem de grande escala (LLMs) demonstraram fortes capacidades de raciocínio multi-etapa, frequentemente elicidas por meio de prompts de cadeia de pensamento (CoT). Um corpo crescente de pesquisas em interpretabilidade mecânica utiliza Autoencoders Esparsos (SAEs) para identificar características internas associadas a esses processos de raciocínio. A abordagem predominante envolve seleção contrastiva: identificar características do SAE que exibem ativação significativamente maior em textos de raciocínio (por exemplo, traços de CoT) em comparação com textos sem raciocínio. No entanto, os autores argumentam que esse método sofre de ambiguidades fundamentais. Como as respostas de CoT diferem das respostas diretas não apenas no raciocínio subjacente, mas também no uso léxico superficial (por exemplo, marcadores discursivos como "Espere", "Mas", "Vamos"), métodos contrastivos podem identificar características que capturam confusões léxicas superficiais em vez de computações genuínas de raciocínio. A questão central abordada é se os SAEs podem identificar de forma confiável características monossêmicas que representam o próprio processo interno de raciocínio, ou se elas meramente capturam correlatos linguísticos de baixa dimensão que co-ocorrem com o raciocínio.

Metodologia
O artigo propõe um framework de avaliação baseado em falsificação, projetado para testar a robustez das "características de raciocínio" selecionadas contrastivamente. A metodologia prossegue em três etapas:

1. Motivação Teórica: Os autores apresentam uma análise estilizada mostrando que a decodificação regularizada por esparsidade em SAEs favorece inerentemente correlatos estáveis de baixa dimensão em detrimento da variação de alta dimensão dentro do comportamento. Em um cenário onde um comportamento de alto nível (raciocínio) co-ocorre com uma pista léxica estável, a decodificação esparsa pode reter preferencialmente a coordenada da pista, suprimindo a variação distribuída e de alta dimensão do próprio traço de raciocínio. Isso sugere que métodos contrastivos podem isolar estruturas semelhantes a pistas em vez de computações de raciocínio.

2. Injeção Causal de Tokens: Para testar dependências léxicas superficiais, os autores realizam experimentos de injeção causal de tokens. Eles identificam os tokens ou n-gramas de maior ativação para uma característica candidata e os inserem em textos sem raciocínio. Se a característica ativar significativamente após a injeção desses poucos tokens, ela é classificada como "impulsionada por tokens", indicando que captura uma pista léxica em vez de um processo de raciocínio.

3. Falsificação Guiada por LLM: Para características que permanecem "dependentes de contexto" após a injeção de tokens, os autores empregam um processo adversarial guiado por LLM. Um LLM gera hipóteses sobre quais padrões linguísticos ou estruturais uma característica detecta. Em seguida, ele constrói dois tipos de contraexemplos:

   • Falsos Positivos (FP): Textos sem raciocínio que instanciam o padrão hipotetizado (por exemplo, marcadores discursivos específicos ou estruturas sintáticas) para desencadear ativação sem raciocínio.
   • Falsos Negativos (FN): Paráfrases dos traços de raciocínio de maior ativação que preservam o significado semântico e a intenção de raciocínio, mas alteram a forma superficial (vocabulário, sintaxe, estilo) para suprimir a ativação.
     Uma característica é considerada uma "verdadeira característica de raciocínio" apenas se resistir a essas tentativas de falsificação (ou seja, não ativar em FPs e ativar em FNs).

4. Verificação de Sanidade por Direcionamento: Como verificação suplementar, os autores realizam experimentos de direcionamento de características para ver se a amplificação das características candidatas melhora benchmarks de raciocínio downstream, observando que mudanças de desempenho por si só são insuficientes como prova de representação de raciocínio.

Principais Contribuições

• Insight Teórico: O artigo fornece um mecanismo teórico que explica por que a esparsidade em SAEs cria uma assimetria que favorece a retenção de pistas léxicas estáveis de baixa dimensão em detrimento da variabilidade de raciocínio de alta dimensão, mesmo quando o dicionário é perfeito.
• Framework de Avaliação: Introduz um pipeline rigoroso e orientado à falsificação, combinando injeção causal de tokens e geração de contraexemplos guiada por LLM para distinguir entre características genuínas de raciocínio e correlatos linguísticos.
• Evidência Empírica: O estudo aplica sistematicamente esse framework em 22 configurações envolvendo múltiplas famílias de modelos (Gemma-3, DeepSeek-R1-Distill-Llama, Llama-3.1), camadas e conjuntos de dados de raciocínio.

Resultados

• Sensibilidade a Tokens: Em todas as configurações, uma maioria significativa (45%–90%) das características candidatas selecionadas contrastivamente mostrou-se altamente sensível a intervenções em nível de token. A injeção de apenas alguns tokens associados em textos sem raciocínio foi suficiente para desencadear aumentos substanciais de ativação, classificando-as como impulsionadas por tokens ou parcialmente impulsionadas por tokens.
• Falsificação de Características Dependentes de Contexto: Para as características restantes que não foram explicadas pela simples injeção de tokens, o processo de falsificação guiado por LLM construiu com sucesso contraexemplos direcionados. O LLM gerou textos sem raciocínio que ativaram as características (Falsos Positivos) e paráfrases de textos de raciocínio que suprimiram a ativação (Falsos Negativos).
• Zero Características Genuínas: Em todas as 248 características dependentes de contexto analisadas, zero foram classificadas como características genuínas de raciocínio. Toda característica examinada mostrou-se um confundidor, tipicamente detectando modelos sintáticos específicos (por exemplo, "Primeiro, preciso de..."), marcadores discursivos ou enquadramento acadêmico formal, em vez da computação de raciocínio subjacente.
• Impacto do Direcionamento: Experimentos de direcionamento produziram desempenho mínimo ou ligeiramente degradado em benchmarks (AIME, GPQA), consistente com a descoberta de que essas características não codificam o próprio mecanismo de raciocínio.

Significado e Alegações
O artigo conclui que, nos cenários estudados, as decomposições esparsas tendem a favorecer correlatos de baixa dimensão que co-ocorrem com o raciocínio, em vez de isolar o próprio processo de raciocínio. Os autores afirmam que correlações contrastivas isoladas são evidências insuficientes para a existência de características monossêmicas de raciocínio. Eles enfatizam que atribuir comportamentos de alto nível a características individuais de SAEs requer validação causal e falsificação para descartar confundidores linguísticos superficiais. O trabalho não afirma que os SAEs não podem representar estrutura relevante para o raciocínio, mas sim que os pipelines contrastivos atuais identificam de forma confiável características que são melhor explicadas como correlatos linguísticos. Os autores defendem tratar correlações contrastivas como hipóteses que devem passar por testes causais e adversariais rigorosos antes de serem interpretadas como representações de computações cognitivas específicas.