SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

Resumo Técnico: SAEVerbalizer

Problema
Autoencoders Esparsos (SAEs) são amplamente utilizados para extrair características interpretáveis das representações densas de Grandes Modelos de Linguagem (LLMs), mapeando-as em um espaço esparso de alta dimensão. No entanto, um gargalo crítico permanece: explicar o que essas características extraídas representam em linguagem natural. Os métodos atuais de estado da arte dependem de uma interpretação bottom-up (de baixo para cima), que envolve executar um LLM sobre um grande corpus para identificar os exemplos de maior ativação para uma característica e, em seguida, solicitar que um LLM externo resuma o padrão compartilhado.

Os autores identificam duas limitações primárias neste paradigma existente:

1. Explicações Superficiais: Ao inferir o significado apenas a partir de exemplos de ativação, esses métodos descrevem o que os exemplos têm em comum, em vez de acessar diretamente o conteúdo semântico codificado dentro da própria representação da característica.
2. Ineficiência Computacional: Gerar explicações para milhões de características requer inferência repetida em escala de corpus, computação de ativação e recuperação de exemplos, o que não é escalável.

Metodologia: SAEVerbalizer
O artigo apresenta o SAEVerbalizer, um framework que desloca o processo de explicação da observação do comportamento externo para o processamento direto das representações internas. Em vez de recuperar exemplos de ativação, o SAEVerbalizer trata a direção do decodificador do SAE como a única entrada para gerar uma explicação.

• Mecanismo Central: O framework injeta uma direção do decodificador do SAE (um vetor que representa uma característica específica) diretamente nas representações de tokens de um LLM em uma camada de injeção designada ($L_{inj}$). As camadas subsequentes do LLM são então ajustadas (fine-tuned) para gerar uma explicação em linguagem natural baseada nesta representação injetada.
• Estratégia de Injeção: A direção do decodificador é adicionada às representações de tokens em um intervalo de injeção fixo usando uma injeção aditiva com correspondência de norma:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  onde $\hat{v}$ é a direção normalizada, $\bar{n}_b$ é a norma média das representações pré-injeção, e $\alpha$ controla a força da injeção.
• Treinamento:
  • Ajuste do Verbalizer (Verbalizer Fine-tuning): O LLM é ajustado em pares de característica–explicação de alta qualidade (obtidos do Neuronpedia e filtrados por coerência e especificidade). Apenas as camadas a jusante da camada de injeção são atualizadas, preservando o espaço de representação onde as direções do SAE são definidas.
  • Adaptador para Transferência entre LLMs: Para aplicar um verbalizer treinado em um LLM a características de SAE de um LLM diferente, um adaptador afim leve é treinado. Este adaptador mapeia as direções do decodificador do espaço de representação do LLM de origem para o espaço da camada de injeção do verbalizer de destino, treinado em representações ocultas alinhadas de texto não rotulado.
• Inferência: Uma vez treinado, o verbalizer pode explicar características não vistas injetando a respectiva direção do decodificador e gerando texto de forma autorregressiva, sem a necessidade de recuperar ou processar exemplos de ativação.

Principais Contribuições

1. Um Novo Paradigma para Interpretação: Os autores propõem uma abordagem leve para explicar características de SAE diretamente a partir de direções de decodificador, contornando a necessidade de inferência em escala de corpus e recuperação de exemplos.
2. Capacidade Treinável: Eles demonstram que a capacidade de verbalizar representações internas é uma capacidade treinável que generaliza para características não vistas e se transfere entre dicionários de SAE treinados separadamente dentro do mesmo espaço de representação.
3. Escalabilidade Cross-LLM: Através de adaptadores leves, o framework estende as capacidades de verbalização para características de SAE de diferentes LLMs sem exigir supervisão específica da fonte ou retreinamento do backbone do verbalizer.
4. Análise de Intervenção: O artigo fornece evidência empírica de que o verbalizer captura semântica composicional (quando múltiplas direções são injetadas) e relações de sinal (quando as direções são invertidas), sugerindo que ele aprende a geometria subjacente do espaço de características em vez de apenas memorizar associações.

Resultados Experimentais
Os autores avaliaram o SAEVerbalizer utilizando LLMs Gemma (1B, 4B, 27B) e SAEs Gemma Scope 2.

• Desempenho: O verbalizer alcança pontuações significativas de Acordo de Referência (RA) (ex: 52,3% no conjunto Global Train-Standard para o modelo 27B com 48k pares de treinamento), demonstrando que pode gerar explicações consistentes com referências de alta qualidade curadas por humanos.
• Generalização: O modelo generaliza para características não vistas e transfere diretamente para um dicionário SAE diferente (largura-65k) treinado no mesmo LLM sem ajuste adicional.
• Transferibilidade: Ao usar adaptadores para transferir de modelos 1B e 4B para um verbalizer 27B, o sistema aproveita com sucesso a capacidade de verbalização mais forte do modelo maior, melhorando o desempenho em relação aos verbalizers nativos treinados em modelos menores.
• Robustez: O sistema é robusto a variações no design de prompts e na força de injeção, desde que a injeção seja suficientemente forte.
• Achados Qualitativos:
  • Composicionalidade: A injeção conjunta de duas direções produz explicações que combinam os significados de ambas as características.
  • Reversão de Direção: Inverter o sinal de uma direção do decodificador produz explicações semanticamente relacionadas, mas deslocadas (ex: "lições aprendidas" vs. "plano de aula"), indicando que o verbalizer captura a natureza direcional do espaço de características.

Significância e Alegações
O artigo afirma que o SAEVerbalizer oferece uma rota mais direta e computacionalmente eficiente do aprendizado de representações para explicações de características. Ao fundamentar as explicações na representação interna do LLM em vez de inferi-las de textos de ativação, o método aborda as limitações de superficialidade e ineficiência dos métodos atuais.

Os autores posicionam o SAEVerbalizer não como um substituto para todos os métodos de interpretabilidade, mas como um complemento treinável e parcialmente reutilizável para abordagens existentes. Ele permite a geração de explicações para características não vistas e entre diferentes arquiteturas de modelos com overhead mínimo, facilitando a escala da interpretação de SAE para milhões de características. O trabalho sugere que a verbalização de representação interna é uma capacidade aprendível que pode ser transferida e adaptada, abrindo novos camros para analisar a estrutura semântica de LLMs.

Limitações
Os autores reconhecem diversas limitações:

• Cobertura: Os experimentos estão atualmente limitados aos LLMs Gemma e SAEs Gemma Scope 2; a generalização para outras famílias não foi verificada.
• Validação: A avaliação depende do Acordo de Referência com explicações do Neuronpedia filtradas, que servem como um proxy para qualidade, mas não constituem uma verdade absoluta.
• Supervisão: O pipeline atual depende do filtragem computacionalmente cara de dados do Neuronpedia para criar pares de treinamento, embora os autores notem que outras fontes de supervisão poderiam ser usadas.
• Variabilidade de Execução: Os resultados são reportados a partir de execuções únicas, sem medir a variabilidade entre sementes aleatórias (random seeds).