Ablating Archetypes: The Stability of Archetypal SAEs is an Artifact of Initialization and Metric Design

Resumo Técnico: Ablação de Arquétipos

Declaração do Problema
Autoencoders Esparsos (SAEs) são uma ferramenta padrão na interpretabilidade mecanística para decompor ativações de redes neurais em características esparsas e interpretáveis. Um desafio crítico neste domínio é a instabilidade: SAEs treinados em dados idênticos com diferentes sementes aleatórias frequentemente aprendem dicionários substancialmente diferentes, tornando difícil distinguir características computacionais genuínas de artefatos de treinamento.

Trabalhos recentes de Fel et al. (2025) propuseram os SAEs Arquétipais, que restringem os átomos do dicionário a residirem dentro do envelope convexo de um conjunto de "arquétipos" (tipicamente centroides de k-means). Eles relataram que este método produz dicionários significativamente mais estáveis ao final do treinamento em comparação aos SAEs clássicos. Este artigo argumenta que a estabilidade relatada não é um resultado da restrição arquétipica em si, mas sim um artefato de inicialização idêntica entre execuções e de uma falha de métrica dependente de pré-processamento.

Metodologia e Análise
Os autores empregam uma combinação de análise de trajetória, ablações de inicialização e diagnósticos de métrica para desconstruir as alegações de estabilidade dos SAEs Arquétipais.

1. Distinção entre Estabilidade e Estabilização:
   O artigo esclarece uma confusão conceitual na literatura:

   • Estabilidade (Consistência): Acordo entre dois modelos treinados independentemente ao final do treinamento.
   • Estabilização: A convergência de duas execuções partindo de inicializações genuinamente diferentes em direção a uma solução comum.
     Os autores argumentam que os SAEs Arquétipais demonstram a primeira de forma trivial (ao fixar o ponto de partida), mas falham em demonstrar a segunda.

2. Diagnósticos de Trajetória:
   Em vez de medir apenas a similaridade do ponto final, os autores plotam a distância do dicionário inter-execução (distância de cosseno mínima média) como uma função dos passos de treinamento.

   • TopK Clássico (Inicialização Aleatória): Começa com alta distância e diminui monotonicamente, indicando uma estabilização genuína impulsionada por restrições de dados.
   • TopK Arquétipico (Inicialização Fixa por k-means): Permanece plana em zero de distância durante todo o treinamento porque ambas as sementes começam do mesmo dicionário ($D=C$).
   • TopK Arquétipico (Inicialização Aleatória): Quando a restrição arquétipica é aplicada, mas a inicialização é aleatorizada, a distância diminui, mas a aproximadamente metade da taxa do TopK clássico, sugerindo que a restrição na verdade impede a convergência neste cenário.

3. O Efeito "Galáxia Longe Demais" (Patologia da Métrica):
   O artigo identifica um confuso geométrico ao usar a distância de cosseno em ativações não centralizadas. Nos fluxos residuais de LLMs, as ativações possuem uma média ($\mu$) não negligenciável. Os centroides de k-means em dados não centralizados agrupam-se em um cone estreito ao redor de $\mu$. Consequentemente, a distância de cosseno entre quaisquer dois átomos é dominada pelo deslocamento da média, e não por suas diferenças direcionais, inflando artificialmente as pontuações de similaridade. Os autores demonstram que centralizar as ativações (subtrair a média) elimina esse viés, fazendo com que as similaridades de cosseno pré-centralização colapsem de ~0,36 para ~0,00.

4. Estudos de Ablação:
   Usando uma configuração controlada em dados de DinoV2 (visão) e Pythia-160m (linguagem), os autores realizam duas ablações:

   • Desativando a Projeção do Envelope Convexo: Remover a restrição de projeção dos SAEs Arquétipais (mantendo a inicialização por k-means) resulta em uma estabilidade maior (menor distância de Hungarian) do que o SAE Arquétipico completo, ao mesmo tempo que melhora a reconstrução ($R^2$).
   • Fixando a Inicialização do SAE Clássico: Inicializar um SAE TopK padrão com os mesmos centroides de k-means usados nos SAEs Arquétipicos (sem a restrição de envelope convexo) produz métricas de estabilidade idênticas ao SAE Arquétipico ablacionado.

Resultos Principais

• A Inicialização é o Motor: A estabilidade relatada por Fel et al. (2025) deve-se principalmente à inicialização determinística por k-means compartilhada entre as sementes, não à restrição arquétipica. Quando a inicialização é aleatorizada, a restrição arquétipica retarda a estabilização em comparação aos SAEs clássicos.
• Custo de Reconstrução: A restrição de projeção do envelope convexo nos SAEs Arquétipicos reduz a qualidade da reconstrução ($R^2$) sem fornecer um benefício de estabilização nos cenários testados.
• Validade da Métrica: A métrica padrão de estabilidade de cosseno é inválida para ativações não centralizadas devido ao efeito "galáxia longe demais". A centralização é um passo de pré-processamento necessário para garantir que as métricas de estabilidade reflitam diferenças direcionais genuínas.
• Evidência Quantitativa: Em experimentos, um SAE Clássico com inicialização fixa por k-means alcançou uma distância de Hungarian de 0,068 (Visão) e 0,112 (Pythia), correspondendo ao SAE Arquétipico ablacionado e superando significativamente o SAE Arquétipico completo (0,243 e 0,170, respectivamente).

Significância e Alegações
O artigo não afirma que os SAEs Arquétipicos são inúteis para todos os propósitos (ex: visualização ou normas limitadas), mas refuta rigorosamente a afirmação de que eles oferecem uma estabilização superior para a descoberta de características.

• Correção Metodológica: Os autores afirmam que as alegações de estabilidade de SAEs devem ser validadas através de diagnósticos de trajetória (mostrando convergência a partir de diferentes pontos de partida) em vez de apenas o acordo no ponto final.
• Aviso de Reprodutibilidade: Eles destacam que a "estabilidade" dos SAEs Arquétipicos é um artefato de um design experimental que falha em isolar a restrição de sua inicialização.
• Implicações de Interpretabilidade: Se a estabilidade é usada como um proxy para a validade da característica (ou seja, "se ela aparece em várias sementes, ela é real"), então métodos que são estáveis por construção (inicialização fixa) não fornecem tal evidência. A evidência verdadeira requer convergência a partir de pontos de partida diversos.

O estudo conclui que, embora a construção arquétipica possua virtudes geométricas, ela não constitui uma rota viável para a estabilização no cenário atual, e que o campo deve distinguir entre estabilidade (acordo) e estabilização (convergência) para evitar interpretações enganosas de achados mecanísticos.