Resumo Técnico: Particionamento de Exemplares para Interpretabilidade Mecanística

Declaração do Problema

A interpretabilidade mecanística busca reverter a engenharia de redes neurais em algoritmos legíveis por humanos. As abordagens atuais enfrentam limitações distintas:

• Análise de Circuitos: Isola subgrafos específicos de tarefas, mas falha em produzir um inventário de características em todo o modelo.
• Sondagem Supervisionada: Limitada a testar conceitos que os pesquisadores já sabem procurar.
• Autoencoders Esparsos (SAEs): A abordagem não supervisionada dominante, os SAEs aprendem um dicionário de tamanho fixo otimizando um objetivo de reconstrução que agrupa esparsidade, reconstrução e tamanho do dicionário. Este processo de treinamento é computacionalmente caro (requer bilhões de tokens) e introduz compromissos (por exemplo, tamanho fixo do dicionário, aprendizado de base linear) que podem obscurecer propriedades intrínsecas da geometria de ativação do modelo.

A questão central colocada é: quanto da estrutura de características que os SAEs revelam é devida ao próprio objetivo de treinamento, versus quanto já está presente na geometria de ativação do modelo e acessível através de uma construção mais direta, não aprendida?

Metodologia: Particionamento de Exemplares (EP)

O Particionamento de Exemplares é um método não supervisionado para construir dicionários de características interpretáveis a partir de ativações de Modelos de Linguagem de Grande Escala (LLMs) sem treinamento. Ele trata o dicionário como uma partição de Voronoi do espaço de ativação, construída via agrupamento de líderes em uma única passagem de fluxo contínuo.

Construção Central

1. Agrupamento de Líderes em Fluxo Contínuo: Em vez de calcular a média das ativações para formar centróides (o que pode criar direções incoerentes e causar instabilidade no agrupamento), o EP utiliza exemplares fixos. Um exemplar é uma ativação real, observada, do fluxo de dados.
   • Quando uma nova ativação chega, ela é centralizada e normalizada.
   • Se sua distância ao exemplar existente mais próximo estiver abaixo de um limite, ela se junta a essa região.
   • Se exceder o limite, ela se torna um novo exemplar, iniciando uma nova região.
2. Calibração e Limiarização: O limite de distância $\theta_p$ não é um valor absoluto, mas o percentil $p$-ésimo das distâncias pareadas calculadas em um pequeno lote de calibração. Isso permite ajustar a resolução do dicionário (menor $p$ = granularidade mais fina; maior $p$ = mais grosseira) mantendo a comparabilidade entre camadas e modelos.
3. Critério de Saturação: O dicionário cresce até que uma "janela de saturação" passe sem novos exemplares. Isso significa que o tamanho do dicionário não é pré-especificado, mas determinado pela geometria de ativação na resolução escolhida.
4. Inferência: Novas ativações são atribuídas ao seu exemplar mais próximo. O dicionário é nativamente 1-esparso (one-hot), mas pode ser estendido para atribuições $n$-esparsas ou densas com base nas distâncias.

Propriedades Chave

• Observabilidade: Como as regiões são ancoradas por exemplares observados e não por pesos aprendidos, dicionários construídos a partir do mesmo fluxo de dados são diretamente comparáveis entre camadas, modelos e pontos de verificação de treinamento através de correspondência de exemplares.
• Métrica de Estabilidade: O artigo introduz uma estatística $D_i = \log_{10}(N_i c_i^2)$ (onde $N_i$ é a contagem de membros e $c_i$ é a coerência dos membros) para prever a estabilidade entre diferentes sementes de uma região. Regiões com alto $D_i$ têm maior probabilidade de se replicar em diferentes ordens de fluxo contínuo.

Contribuições e Resultados Principais

1. Eficiência e Escalabilidade

O EP constrói dicionários com $\sim 10^3\times$ menos tokens do que SAEs comparáveis.

• Custo de Construção: Um dicionário p1 para Gemma-2-2B é construído em minutos em uma única GPU usando $\sim 3.6 \times 10^6$ tokens, enquanto SAEs comparáveis exigem treinamento em bilhões de tokens.
• Sem Retropropagação: O método requer zero passagens de retropropagação.

2. Interpretabilidade e Intervenção Causal

• Ablação Causal: No Gemma-2-2B-it, o comportamento de recusa concentra-se em uma região específica do EP. Abater a direção do exemplar (a ativação de primeira chegada) dessa região colapsa a recusa em dados não vistos em até $\Delta = -0.96$. Isso demonstra que a "direção de recusa" é um eixo preciso capturado por um único exemplar, que é mais eficaz para intervenção do que a direção média da região.
• Correspondência entre Pontos de Verificação: A correspondência entre dicionários base e ajustados por instrução revela que o ajuste por instrução reancora em grande parte a estrutura direcional do modelo, preservando apenas um pequeno subconjunto universal. Também mostra que a direção de recusa no modelo ajustado é promovida a partir de uma direção de conteúdo prejudicial dentro do prompt presente no modelo base.

3. Desempenho em Benchmarks

• AxBench (Detecção de Conceitos): No Gemma-2-2B-it L20, um dicionário EP na resolução $p=1$ alcança uma AUROC média de 0.881 em 500 conceitos latentes.
  • Isso é +0.126 acima da entrada canônica do GemmaScope SAE (0.755).
  • Está dentro de 0.030 da linha de base mais forte, SAE-A (0.911), apesar de usar um conjunto de candidatos menor e significativamente menos computação.
• SAEBench (Retenção de Informação): Um dicionário EP p10 ($\ell_0=1$) retém $\sim 97\%$ da precisão de sondagem de ativação bruta (0.930 vs. 0.959 para IdentitySAE). Isso sugere que a identidade linearmente decodificável dos conceitos é amplamente preservada pela estrutura de densidade sozinha, mesmo ao descartar quase todas as coordenadas brutas.

4. Insights Geométricos

• Densidade vs. Separabilidade Linear: EP e SAEs fazem compromissos geométricos diferentes. O EP compromete-se com a densidade (regiões são cones reais no espaço de ativação), enquanto os SAEs comprometem-se com a separabilidade linear (reconstrução esparsa).
• Núcleo Compartilhado: Aproximadamente 20% das regiões do EP correspondem a uma característica do SAE com $F1 > 0.5$ (em $p=10$). Eles concordam onde as direções são tanto concentradas em densidade quanto linearmente separáveis.
• Sinal Fora de Distribuição (OOD): A distância ao exemplar mais próximo fornece um sinal OOD gratuito. Tokens aleatórios estão consistentemente mais distantes de seu exemplar mais próximo do que tokens dentro da distribuição, com a lacuna se alargando em resoluções mais finas.

Significado e Afirmações

O artigo afirma que o Particionamento de Exemplares oferece uma nova classe de objetos de interpretabilidade que são:

1. Eficientes: Acessíveis a pesquisadores sem orçamentos de computação de laboratórios de ponta.
2. Diretos: Revelam propriedades da geometria de ativação (densidade, estabilidade, direções causais) que podem ser obscurecidas pelos objetivos de reconstrução dos SAEs.
3. Comensuráveis: O uso de exemplares observados permite o rastreamento direto da evolução das características entre pontos de verificação de treinamento e variantes de modelos sem procedimentos complexos de alinhamento.

Os autores enfatizam que, embora o EP capture um "núcleo compartilhado" com os SAEs, ele também expõe regiões amplas e ancoradas em conteúdo que os SAEs fragmentam, e, inversamente, os SAEs capturam direções lineares esparsas que o EP não resolve em uma dada resolução. O artigo conclui que a estrutura de densidade sozinha carrega grande parte do sinal medido pela sondagem, e que a eficiência do método e sua interface de dicionário aberta o tornam uma adição prática ao conjunto de ferramentas de interpretabilidade.

Limitações Reconhecidas:

• O EP é dependente da semente; a identidade da região muda com a ordem do fluxo contínuo, embora a estabilidade possa ser prevista via $D_i$.
• A implementação atual assume geometria de cosseno centralizada, o que pode não capturar características dependentes da magnitude da ativação.
• Os experimentos são exploratórios; o artigo não afirma que o EP é um substituto completo para os SAEs, mas sim uma alternativa complementar e altamente eficiente para tarefas específicas de interpretabilidade.