Resumo Técnico: Características Instáveis, Subespaços Reprodutíveis

Declaração do Problema

Os Autoencoders Esparsos (SAEs) são uma ferramenta primária para a interpretabilidade mecanística, visando decompor ativações de redes neurais em características esparsas e interpretáveis por humanos. No entanto, uma limitação crítica é a dependência de semente (seed dependence): SAEs treinados com dados e hiperparâmetros idênticos, mas com diferentes sementes aleatórias, frequentemente aprendem conjuntos de características substancialmente diferentes. Isso levanta uma questão fundamental: quando uma característica específica falha em reaparecer em um novo treinamento, a direção subjacente está ausente do novo dicionário ou o SAE simplesmente aprendeu uma base diferente para a mesma região do espaço de ativação? Distinguir entre essas possibilidades é vital porque métodos de interpretação automática podem atribuir explicações plausíveis até mesmo a configurações não canônicas ou aleatórias, o que significa que uma característica com "aparência interpretável" pode não ser uma unidade de análise reprodutível.

Metodologia

Os autores investigam este problema através da estabilidade de características, definida como a probabilidade de uma característica reaparecer em um SAE treinado independentemente sob uma regra de correspondência de similaridade de cosseno.

1. Estimativa de Estabilidade: Os autores treinam $N+1$ SAEs em dados idênticos com diferentes sementes. Uma execução serve como âncora. Para cada característica âncora, eles contam quantas outras execuções contêm uma característica com similaridade de cosseno $\ge \theta$ (padrão $\theta=0,7$). Isso gera uma probabilidade de reaparecimento empírica $\hat{p}_i$ para cada característica.
2. Classificação: As características são categorizadas como estáveis ($\hat{p} \ge 1-\epsilon$) ou instáveis ($\hat{p} \le \epsilon$), com $\epsilon=0,05$.
3. Análise Comparativa: Características estáveis e instáveis são comparadas através de múltiplas dimensões:
   • Impacto Funcional: Medido via qualidade de reconstrução (Variância Explicada) e perda de próximo token (next-token loss) sob patching de ativação.
   • Estatísticas de Ativação: Frequência e magnitude de ativação.
   • Estrutura de Tokens: Entropia de token (diversidade de tokens que disparam a característica).
   • Interpretação Automática: Análise de explicações geradas pelo SAEBench.
4. Análise Geométrica: Os autores analisam a geometria do espaço do decodificador, computando o rank efetivo dos subespaços ocupados por características estáveis vs. instáveis e testando a reprodutibilidade entre sementes desses subespaços usando Decomposição de Valor Singular (SVD) e classificadores de regressão logística.
5. Validação Sintética: Um modelo sintético de baixo rank controlado é construído onde existem características de verdade (ground-truth) em um subespaço de baixo rank compartilhado. SAEs são treinados nesses dados para verificar se a ambiguidade de base dependente de semente dentro de um subespaço compartilhado pode reproduzir os padrões observados de instabilidade.
6. Agrupamento de Características (Feature Pooling): Para testar se a estabilidade pode ser melhorada sem sacrificar a qualidade de reconstrução, os autores constroem novos SAEs agrupando características únicas de múltiplas execuções independentes, selecionando aquelas com as maiores probabilidades de reaparecimento.

Resultados Principais

1. Assimetria Funcional

Existe uma assimetria funcional pronunciada entre características estáveis e instáveis:

• Características Estáveis: Carregam a maior parte do sinal relevante para reconstrução e predição. Elas exibem maiores frequências de ativação, caudas de alta magnitude mais pesadas e maior entropia de token (cobrindo padrões lexicais e conceituais mais amplos).
• Características Instáveis: Têm impacto marginal fraco. Mascarar um grande número de características instáveis causa apenas uma degradação leve na qualidade de reconstrução e na perda de próximo token, enquanto mascarar muito menos características estáveis causa uma degradação substancial. Elas são dominadas por gatilhos de formas superficiais de baixa frequência (ex: pontuação, substrings específicas, padrões de capitalização) e possuem menor entropia de token.

2. Estrutura Geométrica: Subespaços Reprodutíveis

Embora as características instáveis individuais sejam não-reprodutíveis entre sementes, elas não são puro ruído.

• Concentração de Baixo Rank: Características instáveis concentram-se em subespaços de dimensão inferior em comparação com características estáveis (redução de rank efetivo de ~20–27%).
• Reprodutibilidade de Subespaço: Embora os vetores de base específicos (características individuais) mudem entre sementes, os subespaços que eles ocupam são altamente reprodutíveis. Um classificador treinado para distinguir características instáveis em uma semente transfere-se efetivamente para outras sementes, e os principais subespaços singulares de uma semente aproximam precisamente os de outras.
• Confirmação Sintética: O modelo sintético de baixo rank confirma este mecanismo: características de ground-truth de baixo rank são recuperadas ao nível de subespaço, mas falham em alinhar-se como latentes individuais entre sementes devido à ambiguidade de base dentro da região compartilhada.

3. Construção de SAEs Estáveis

Ao agrupar características únicas de múltiplas execuções independentes e selecionar aquelas com as maiores probabilidades de reaparecimento, os autores constroem SAEs "robustos à semente".

• Esses SAEs construídos recuperam uma Variância Explicada (EV) próxima à linha de base após um breve ajuste (tuning).
• Crucialmente, esta abordagem demonstra que estabilidade e qualidade de reconstrução não precisam haver um trade-off nesta configuração de construção; alta estabilidade coincide com alta EV.
• Estes SAEs agrupados permanecem competitivos com os SAEs TopK padrão nas métricas de interpretabilidade do SAEBench.

4. Robustez e Baselines

• Escala de Treinamento: Aumentar os tokens de treinamento reduz a instabilidade inicialmente, mas aproxima-se de um platô não-zero (~8% de características instáveis), indicando que a instabilidade não é meramente um resultado de subtreinamento.
• Modelos Aleatórios: Quando SAEs são treinados em ativações de um transformer inicializado aleatoriamente (um baseline "dead-salmon"), a fração estável colapsa e a instabilidade domina. Isso confirma que as características estáveis em modelos treinados refletem uma estrutura genuína, e não apenas artefatos do objetivo do SAE.
• Variantes de SAE: Diferentes mecanismos de esparsidade (TopK, BatchTopK, JumpReLU, Vanilla) mostram graus variados de estabilidade, mas a distribuição bimodal de características estáveis/instáveis persiste na maioria das variantes.

Significância e Alegações

O artigo argumenta que características instáveis em SAEs não são meramente latentes falhas ou ruidosas. Em vez disso, elas refletem uma estrutura de baixa dimensão reprodutível dentro do espaço de ativação que os SAEs padrão resolvem de forma diferente entre sementes devido à ambiguidade de base.

• Implicações para Interpretabilidade: A existência de características instáveis sugere que um dicionário de SAE único pode obscurecer uma estrutura importante entre sementes. No entanto, essa estrutura é recuperável.
• Contribuição Metodológica: Os autores propõem que o agrupamento de características de alta probabilidade entre execuções é uma estratégia viável para construir SAEs mais estáveis sem sacrificar a qualidade de reconstrução ou o desempenho de interpretabilidade subsequente.
• Insight Teórico: O trabalho esclarece que a dependência de semente frequentemente reflete escolhas de base diferentes dentro de uma região compartilhada do espaço de ativação, em vez da ausência de estrutura compartilhada. Esta distinção é crucial para entender os limites da interpretabilidade ao nível de característica e o potencial para recuperar características individuais identificáveis dentro de subespaços reprodutíveis.

Os autores mantêm-se modestos, observando que sua análise de baixo rank fornece evidência para um mecanismo específico de dependência de semente, mas não prova que cada característica instável em modelos de linguagem reais é produzida unicamente por este mecanismo. Além disso, a ausência de um trade-off entre estabilidade e EV é específica para o método de construção de agrupamento de características, não necessariamente uma propriedade de um único objetivo de treinamento de SAE.