Do Sparse Autoencoders Capture Concept Manifolds?

1. Declaração do Problema

Os Autoencoders Esparsos (SAEs) são a ferramenta padrão para extrair características interpretáveis de Modelos de Linguagem de Grande Escala (LLMs). Sua operação baseia-se na Hipótese da Representação Linear (LRH), que assume que conceitos abstratos correspondem a direções independentes e lineares (raios) no espaço de ativação.

No entanto, evidências recentes sugerem que muitos conceitos (por exemplo, tempo, temperatura, cor, viés político) não são lineares, mas organizados ao longo de variedades curvas de baixa dimensão. O artigo aborda uma lacuna crítica:

• O Descompasso: Os SAEs são projetados para encontrar direções lineares, mas a geometria subjacente dos conceitos é frequentemente não linear e contínua.
• A Questão Central: Os SAEs capturam essas variedades? Se sim, como? E se o fizerem, por que a estrutura da variedade é frequentemente invisível ao inspecionar características individuais?

2. Metodologia

Os autores desenvolvem um quadro teórico e validam-no através de benchmarks sintéticos e análise empírica no Llama 3.1-8B.

A. Quadro Teórico: Mistura Aditiva de Variedades

Os autores formalizam um modelo onde as representações são uma superposição aditiva de variedades ($x = \sum f_i(m_i)$). Eles definem três regimes distintos para como um SAE pode representar uma variedade:

1. Captura de Subespaço (Ideal): Um pequeno grupo fixo de átomos abrange toda a variedade. Os mesmos átomos ativam-se para cada ponto na variedade, e seus coeficientes variam continuamente.
2. Ladrilhamento (Fragmentação): A variedade é particionada em regiões disjuntas. Diferentes átomos ativam-se para diferentes regiões (mutuamente exclusivos), atuando como detectores localizados.
3. Ladrilhamento (Diluição): A variedade é coberta por um grande conjunto redundante de átomos. Múltiplos átomos ativam-se para a mesma região, mas nenhum grupo compacto único abrange toda a variedade. Isso resulta em "seletividade mista".

B. Validação Sintética

Os autores construíram um benchmark controlado com 48 variedades sintéticas (círculos, esferas, toros, faixas de Möbius, hélices, etc.) embutidas em espaço de alta dimensão. Eles treinaram SAEs com orçamentos de esparsidade variados ($k$) para observar qual regime emerge.

• Métrica: Eles introduziram uma pontuação $R^2$ Restrita para medir quão bem um pequeno subconjunto de átomos reconstrói uma variedade específica.
• Descoberta: Eles constataram que os SAEs raramente alcançam a "Captura de Subespaço". Em vez disso, frequentemente caem em um regime de Diluição, onde muitos átomos redundantes ladrilham a variedade.

C. Descoberta Não Supervisionada via Modelos de Ising

Para recuperar a estrutura da variedade oculta a partir das características fragmentadas do SAE, os autores propõem usar um modelo de Ising par a par sobre ativações de características binarizadas.

• Lógica: Em vez de olhar para a similaridade geométrica (direções do decodificador), eles analisam estatísticas de co-ativação.
• Mecanismo: Átomos que ladrilham a mesma variedade exibirão fortes dependências estatísticas (ou acoplamento positivo se ativarem em conjunto, ou acoplamento negativo se forem mutuamente exclusivos/fragmentados).
• Algoritmo: Ajustar um modelo de Ising aos códigos binários para extrair uma matriz de acoplamento $J$. A detecção de comunidades em $|J|$ revela grupos de átomos que coletivamente representam uma variedade.

D. Análise Empírica em LLMs

O quadro foi aplicado ao Llama 3.1-8B (Camada 19) usando cinco arquiteturas diferentes de SAE (Padrão, JumpReLU, TopK, BatchTopK, Matryoshka).

• Variedades Testadas: Conceitos contínuos como Idade, Temperatura, Dias da Semana, Cores e Viés Político.
• Experimentos de Direcionamento: Os autores verificaram que o direcionamento entre centróides dessas variedades produz mudanças suaves e previsíveis nas probabilidades de tokens, confirmando que as variedades são causalmente relevantes.

3. Resultados Principais

A. SAEs Operam no Regime de "Diluição"

Contrariando o ideal de "Captura de Subespaço", os resultados empíricos mostram que os SAEs atuais não alocam um grupo compacto de átomos para abranger uma variedade.

• Fragmentação: As variedades são representadas por um grande conjunto parcialmente redundante de características.
• Aproximação Linear por Partes: Características individuais de SAE atuam como detectores localizados (curvas de sintonia) cobrindo pequenos trechos da variedade. A união desses trechos aproxima a geometria suave, mas nenhuma característica única captura a estrutura global.
• Ponto Ideal de Esparsidade: Existe um nível específico de esparsidade onde a "Captura" é possível, mas o treinamento padrão de SAEs frequentemente opta por "Diluição" ou "Fragmentação" devido a restrições arquitetônicas e dinâmicas de otimização.

B. Curvas de Sintonia de Características

A análise das ativações de características revela "curvas de sintonia" reminiscentes da codificação populacional biológica (por exemplo, células de lugar).

• Para a variedade "Ano", as características ativam-se periodicamente (por exemplo, a cada 10 anos para o dígito das "unidades") ou cobrem décadas específicas.
• Nenhuma característica única codifica o conceito completo; o conceito é codificado pelo código populacional do grupo.

C. Sucesso na Descoberta Não Supervisionada

O pipeline baseado em Ising recuperou com sucesso variedades conhecidas (Temperatura, Cores, Dias) e descobriu variedades novas (por exemplo, uma variedade codificando incerteza epistêmica em textos científicos) sem supervisão.

• Superioridade sobre a Similaridade de Cosseno: O agrupamento baseado em similaridade de cosseno do decodificador falhou em recuperar variedades porque átomos que abrangem uma variedade podem ser ortogonais. Os acoplamentos de Ising (independência condicional) identificaram com sucesso os grupos funcionais.

4. Contribuições Principais

1. Formalização da Captura de Variedade: Definiu matematicamente o que significa para um SAE capturar uma variedade, distinguindo entre Captura de Subespaço (global) e Ladrilhamento (local/fragmentado/diluído).
2. Identificação do Regime de "Diluição": Demonstrou que os SAEs atuais tipicamente representam variedades através de coleções fragmentadas e redundantes de átomos, em vez de subespaços coerentes. Isso explica por que características individuais frequentemente parecem "mistas" ou carecem de significado semântico claro.
3. Método de Descoberta Baseado em Ising: Propôs e validou um método não supervisionado post-hoc usando modelos de Ising para agrupar características em variedades coerentes, superando as limitações da interpretabilidade baseada em direções.
4. Reenquadramento da Interpretabilidade: Argumentou que a unidade de interpretabilidade deve mudar de direções individuais para objetos geométricos (variedades).

5. Significado e Implicações

• Explicando a Instabilidade dos SAEs: O artigo explica por que dicionários aprendidos são instáveis entre execuções. Se conceitos são variedades, existem múltiplos "ladrilhamentos" (bases) válidos para representar a mesma geometria. Diferentes inicializações levam a decomposições diferentes, mas igualmente válidas.
• Limitações de Direcionamento: Explica por que o direcionamento via características individuais é frequentemente frágil. Intervir em uma única característica empurra a representação para fora da variedade, em vez de movê-la suavemente ao longo dela.
• Direções Futuras:
  • Featurização: Futuras arquiteturas de SAE devem tratar objetos geométricos como primitivos, não apenas direções.
  • Análise: Ferramentas de interpretabilidade devem analisar grupos de características (subespaços) em vez de átomos isolados.
  • Solução Alternativa: Até que novas arquiteturas sejam desenvolvidas, a análise post-hoc baseada em Ising é o método mais confiável para recuperar estruturas conceituais significativas de SAEs existentes.

Em resumo, o artigo argumenta que, embora os SAEs preservem com sucesso a geometria das representações neurais, eles o fazem de uma maneira fragmentada e diluída. Para entender verdadeiramente esses modelos, os pesquisadores devem ir além da "Hipótese da Representação Linear" e adotar uma perspectiva geométrica que trata conceitos como variedades de baixa dimensão ladrilhadas por populações de características.