Resumo Técnico: Os Benchmarks de Autoencoders Esparsos São Confiáveis?

Declaração do Problema

Autoencoders Esparsos (SAEs) são uma ferramenta primária para interpretabilidade mecânica em Modelos de Linguagem de Grande Escala (LLMs), visando decompor vetores de ativação em direções de características esparsas e interpretáveis. No entanto, as "características verdadeiras" de um LLM são desconhecidas, tornando impossível a avaliação direta da qualidade do SAE. Consequentemente, o campo depende da biblioteca SAEBench, um conjunto de métricas proxy, para classificar arquiteturas de SAE e orientar o progresso.

O problema central abordado é a confiabilidade dessas métricas proxy. Se os benchmarks forem ruidosos, falharem em correlacionar-se com a verdade fundamental ou não conseguirem distinguir entre melhorias arquiteturais menores, o campo corre o risco de otimizar para artefatos em vez de interpretabilidade genuína. O artigo postula que, sem auditar esses proxies, o progresso arquitetural pode ser ilusório, com esforços fluindo para mudanças que parecem melhores em métricas ruidosas, mas não oferecem melhoria real.

Metodologia

Os autores auditam seis métricas padrão do SAEBench — Sparse Probing, Sae-Probes, Targeted Probe Perturbation (TPP), Spurious Correlation Removal (SCR), Autointerp e RAVEL — através de três lentes complementares projetadas para isolar modos de falha específicos:

1. Ruído de Ressementeio (Estabilidade):

   • Configuração: Um SAE Gemma Scope canônico e fixo (Gemma-2-2b, camada 12, largura 65k) foi avaliado cinco vezes com diferentes sementes aleatórias.
   • Objetivo: Medir a variância nas pontuações para um modelo idêntico. Alta variância indica que comparações de semente única são pouco confiáveis e que a métrica é dominada por ruído em vez de sinal.
   • Métrica: Coeficiente de Variação (CV) e o cálculo de um limiar de "diferença mínima confiável" ($|\Delta|^*$) para 95% de confiança em comparações de semente única.

2. Discriminabilidade entre Trajetórias de Treinamento:

   • Configuração: Dois painéis de SAEs foram treinados e snapshots foram capturados ao longo do treinamento:
     • Um Painel de Arquitetura Cruzada: Quatro arquiteturas distintas (BatchTopK vs. Matryoshka) com grandes diferenças.
     • Um Painel Matryoshka: Quatro variantes da mesma arquitetura diferindo apenas em um único hiperparâmetro ($n$, o número de larguras internas), treinadas com três sementes independentes cada.
   • Objetivo: Determinar se as métricas conseguem distinguir entre SAEs de qualidade variada e se as pontuações melhoram monotonicamente conforme o SAE treina.
   • Análise: Decomposição de variância para separar o sinal (variante do SAE) do ruído (semente de treinamento e jitter de snapshot).

3. Correlação com Verdade Fundamental (Validade):

   • Configuração: SAEs foram treinados no SynthSAEBench-16k, um modelo sintético com um dicionário conhecido de 16k características, onde a qualidade da verdade fundamental é computável via Coeficiente de Correlação Média (GT-MCC) e F1 (GT-F1).
   • Objetivo: Verificar se as pontuações das métricas proxy correlacionam-se monotonicamente com a qualidade da verdade fundamental conhecida do SAE.
   • Restrição: Autointerp e RAVEL foram excluídos desta lente, pois exigem conceitos de linguagem natural ausentes no dicionário sintético.

Principais Resultados

1. Alto Ruído de Ressementeio

• TPP e SCR: Essas métricas exibem ruído extremamente alto. O TPP em valores pequenos de top-$N$ tem um CV de 16–39%, e o SCR em top-$N$ grandes atinge 6,2%. Isso implica que comparações de semente única são frequentemente indistinguíveis do ruído.
• Métricas Confiáveis: Sae-probes (a variante com 113 conjuntos de dados e regularização validada cruzadamente) e Sparse Probing (em $k=5$) mostram baixo ruído (CV $\le$ 0,3%), tornando-os confiáveis para comparações de semente única com uma diferença mínima confiável de $\approx 0,01$.

2. Falha na Discriminabilidade e Tendências de Treinamento

• Falhas do TPP e SCR:
  • TPP: As pontuações frequentemente diminuem conforme o treinamento progride (especialmente em top-$N \ge 50$), sugerindo incorretamente que SAEs não treinados são melhores do que os treinados.
  • SCR: As pontuações diminuem durante o treinamento para configurações canônicas (top-$N=10$) em várias arquiteturas. Em top-$N$ grandes (por exemplo, 500), o SCR torna-se negativamente correlacionado com a verdade fundamental, significando que SAEs melhores recebem pontuações mais baixas.
• Falta de Discriminabilidade: A maioria das métricas falha em distinguir entre pequenas variantes de hiperparâmetros (por exemplo, diferentes $n$ em SAEs Matryoshka). No painel Matryoshka, para muitas métricas, a variância devido a sementes de treinamento e jitter de snapshot domina a variância devido à arquitetura real do SAE.
• Instabilidade de Classificação: Quando os SAEs são semelhantes, diferentes métricas (e até mesmo diferentes hiperparâmetros da mesma métrica) frequentemente os classificam de maneiras contraditórias (por exemplo, Sparse Probing $k=1$ vs. $k=10$ mostrou uma correlação negativa de $\rho = -0,4$).

3. Validade da Verdade Fundamental

• Sae-Probes: Mostra forte correlação com GT-MCC (Spearman $\rho \approx 0,82$ para tarefas mistas booleanas), validando-o como um proxy confiável para recuperação de características.
• TPP: Mostra essencialmente zero correlação com GT-MCC em configurações canônicas ($\rho \approx -0,03$). Parece rastrear a mistura de características em vez da qualidade do SAE.
• SCR: Altamente instável. Em top-$N=10$ canônico, classifica um SAE "oráculo perfeito" mais baixo do que muitos SAEs treinados. Em top-$N=500$, torna-se negativamente correlacionado com a verdade fundamental ($\rho = -0,64$).

Principais Contribuições

1. Auditoria do SAEBench: A primeira auditoria abrangente do conjunto de avaliação de SAE padrão de-facto em ruído, discriminabilidade e validade.
2. Identificação de Métricas Não Confiáveis: O artigo fornece evidências empíricas de que TPP e SCR falham em múltiplos testes de sanidade em suas configurações canônicas e não devem ser usados para avaliação.
3. Quantificação de Ruído: Os autores estabelecem limiares de diferença mínima confiável, demonstrando que muitas comparações atuais na literatura são estatisticamente subdimensionadas devido ao alto ruído das métricas.
4. Validação do Sae-Probes: Identifica Sae-Probes (com seu conjunto de dados maior e regularização validada cruzadamente) como a métrica mais confiável atualmente disponível, oferecendo um caminho concreto para o campo.
5. Framework de Validação Sintética: Demonstra a utilidade do SynthSAEBench para validar métricas proxy contra uma verdade fundamental conhecida, uma capacidade anteriormente indisponível para SAEs padrão de LLM.

Significado e Alegações

O artigo conclui que o campo da interpretabilidade de SAE atualmente carece de benchmarks confiáveis. Os autores alegam que, sem corrigir essas métricas proxy, o progresso arquitetural é prejudicado porque:

• O esforço é desviado para mudanças que parecem melhores em proxies ruidosos ou inválidos.
• Melhorias reais passam despercebidas porque a relação sinal-ruído das métricas atuais é muito baixa para distinguir variantes arquitetônicas pequenas, mas significativas.

Os autores não afirmam ter resolvido o problema de benchmarking, mas argumentam que melhores benchmarks de SAE são um pré-requisito para confiar em arquiteturas de SAE. Eles defendem evitar TPP e SCR, adotar os princípios de design do Sae-Probes (conjuntos de dados maiores, validação cruzada) e priorizar métricas que mostrem baixo ruído de ressementeio e melhoria monotônica com o treinamento. O trabalho serve como uma auditoria cautelar destinada a catalisar mais pesquisas em conjuntos de avaliação mais robustos.