From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

Resumo Técnico: Da Recuperação Geométrica à Validação Causal

Declaração do Problema
O campo da interpretabilidade mecanística depende fortemente de Autoencoders Esparsos (SAEs) para decompor representações neurais sobrepostas em características interpretáveis. As práticas atuais de avaliação utilizam predominantemente métricas de recuperação correlacional, especificamente a similaridade de cosseno não assinada entre uma direção de característica (ground-truth ou sondada) e o átomo do decodificador com melhor correspondência. Este artigo identifica uma lacuna crítica de avaliação: uma alta similaridade de cosseno mede o alinhamento da geometria do decodificador (o quão bem o átomo reconstrói a característica), mas não garante o comportamento de ativação do codificador (se o átmo realmente dispara quando a característica está presente). Os autores argumentam que estas são afirmações empíricas distintas, e uma característica pode ser geometricamente perfeita, mas causalmente inerte.

Metodologia
Os autores conduzem uma auditoria totalmente controlada usando um pequeno modelo sintético de brinquedo (toy model) onde a verdade fundamental (ground truth) é conhecida e totalmente controlável. A metodologia procede em três estágios:

1. Reprodução de Diagramas de Fase: Eles reproduzem o diagrama de fase de superposição de Elhage et al. (2022) e a comparação TopK-versus-L1 de Gao et al. (2024). Isso envolve o treinamento de SAEs em entradas sintéticas com varições nas razões de esparsidade e sobrecompletude.
2. Bateria de Validação Causal: Para cada característica que passa em um padrão de recuperação correlacional padrão (cosseno $\ge$ 0,90), os autores aplicam duas intervenções propagadas através do estágio de saída real do modelo:
   • Ablação: Zerar a entrada do átomo correspondente quando a característica está presente para medir a queda na saída reconstruída da característica (direção de leitura/Read-direction).
   • Direcionamento (Steering): Forçar o átomo correspondente a um valor fixo com o sinal correto quando a característica está ausente para medir o aumento na saída da característica (direção de escrita/Write-direction).
3. Desenvolvimento de Instrumento: Os autores encapsulam esta metodologia no sae-causal-audit, uma ferramenta agnóstica a modelos que impõe uma tipagem de protocolo estrita (exigindo exposição de encode, decode e dicionário) e implementa um pipeline de reprodução determinístico e verificado por hash para garantir a reprodutibilidade.

Principais Contribuições e Resultados

• Artefatos de Diagrama de Fase e Novos Regimes:

  • Identificaram um artefato de convergência em alta esparsidade onde o subtreinamento mascara a superposição; resolvido através do ajuste dos orçamentos de passo (step budgets).
  • Descobriram um regime de compartilhamento difuso anteriormente subdescrito em extrema sobrecompletude (razão 8, esparsidade 0,99), onde as características são substancialmente representadas ($\|W_i\|_2 \approx 1,40$) mas exibem baixa dimensionalidade de característica ($D_i \approx 0,08$) devido à sobreposição simétrica e multidirecional.

• L1 vs. TopK e Encolhimento (Shrinkage):

  • Reproduziram a dominância de Pareto dos SAEs TopK sobre os SAEs L1.
  • Forneceram evidência quantitativa direta de encolhimento L1: O refinamento das magnitudes dos átomos selecionados por L1 (congelando o suporte) recuperou 91,2% da lacuna de reconstrução e aumentou as magnitudes médias em 22,5%, enquanto o TopK mostrou mudança de magnitude negligenciável. Isso confirma que as penalidades L1 enviesam sistematicamente as forças de ativação para zero.

• Inércia Causal:

  • Achado Principal: A recuperação correlacional não implica eficácia causal. Em um SAE TopK degradado, 77% das características que passaram no critério de cosseno $\ge$ 0,90 eram causalmente inertes (o átomo correspondente nunca disparou). Mesmo em um SAE bem treinado, 9% das características correspondentes eram inertes, incluindo correspondências com cosseno $\approx$ 1,000.
  • Mecanismo: A inércia surge porque a geometria do decodificador (usada para reconstrução) pode se alinhar perfeitamente com uma direção de característica, enquanto a não-linearidade de seleção do codificador (TopK/ReLU) nunca seleciona esse átomo.

• Taxonomia da Inércia Causal:
  Os autores decompõem a inércia por causa e direção:

  • Por Causa:
    • Inércia Estrutural: Causada pela geometria de superposição de pares antipodais (duas características compartilhando uma direção com sinais opostos) sob um codificador de passagem positiva. Isso ocorre tanto em SAEs bons quanto ruins e é estável/previsível.
    • Inércia Competitiva: Causada pela patologia de seleção TopK em dicionários degradados onde um átomo perde a competição por pouco. Isso é instável e ligado à sensibilidade de fronteira numérica.
  • Por Direção:
    • Inércia de Leitura (Read-Inertness): O átomo nunca dispara, tornando o monitoramento baseado em ablação cego.
    • Inércia de Escrita (Write-Inertness): Intervenções ao longo do átomo falham em mover a característica.
    • Dissociação: Os autores encontraram cinco pares antipodais que são inertes de leitura, mas direcionáveis de escrita. Um átomo pode ser inmonitorável (nunca dispara), mas altamente direcionável (especificidade 143–310) quando forçado.

• Reprodutibilidade como uma Pilha de Alegações:
  O artigo documenta que a reprodutibilidade byte-a-byte entre plataformas não é disponível por construção para cargas de trabalho de treinamento de ponto flutuante devido a diferenças de compiladores e BLAS. Eles propõem uma garantia de dois níveis: exatidão de bytes SHA-256 dentro de um ambiente fixo, e igualdade semântica (baseada em tolerância) entre plataformas.

• Censo de Modelos Reais:
  Aplicar o instrumento a um SAE de produção (GPT-2-small, 83 conceitos) reproduziu o padrão qualitativo: 14% das características recuperadas eram causalmente inertes. Crucialmente, a auditoria revelou colisões de átomos, onde um único átomo do decodificador serviu como a correspondência mais próxima para dezenas de conceitos semanticamente não relacionados em lotes independentes, sugerindo uma sub-divisão de dicionário em modelos reais.

Significância e Alegações
O artigo alega que a dependência do campo em métricas correlacionais cria um espaço de soluções "geometricamente plausível, mas causalmente enganoso". A significância reside em:

1. Redefinindo a Validação: Estabelecer que uma característica não é "recuperada" até que passe em testes de intervenção causal (ablação e direcionamento), não apenas no alinhamento geométrico.
2. Instrumentalização: Fornecer o sae-causal-audit como uma ferramenta para detectar essas falhas, destacando especificamente que correspondências de cosseno "perfeitas" podem ser causalmente inúteis.
3. Insight Estrutural: Demonstrar que a superposição antipodal cria um modo de falha sistemático (inércia estrutural) que persiste mesmo em SAEs de alta qualidade, necessitando de correspondência sensível ao sinal e validação específica de direção (leitura vs. escrita).
4. Padrões de Reprodutibilidade: Argumentar que a reprodutibilidade deve ser declarada como uma pilha de alegações com escopos explícitos, em vez de um selo binário de "totalmente reprodutível".

Os autores mantêm a modéstia em relação aos números absolutos, observando que o cenário de brinquedo serve como um ponto de calibração para o "caso fácil" e que as taxas de modelos reais não são diretamente transferíveis, embora a divergência qualitativa entre correlação e causalidade seja robusta.