Resumo Técnico: Parâmetros Individuais em Transformers de Escassez de Pesos Parecem Interpretáveis

Declaração do Problema

Um objetivo central da interpretabilidade mecanística é compreender a função de componentes individuais dentro de redes neurais. Abordagens dominantes, como a busca de circuitos, realizam engenharia reversa de pesos com base em comportamentos específicos dentro de subdistribuições associadas. No entanto, a literatura existente sugere que os pesos individuais frequentemente participam de múltiplos circuitos, contribuindo de formas distintas através de vários subconjuntos da distribuição de entrada.

Em transformers densos padrão, a compreensão de pesos individuais globalmente é dificultada pela superposição, onde a base de pesos não é uma base interpretável para os parâmetros da rede. Este artigo investiga se os transformers de escassez de pesos (weight-sparse transformers) — modelos treinados com uma alta fração de pesos forçados a zero — oferece um campo de teste tratável para a interpretabilidade global. A questão central é: Pode um único peso não nulo ser compreendido globalmente através de toda a distribuição de treinamento ao caracterizar os inputs específicos nos quais ele é relevante?

Metodologia

Os autores introduzem um pipeline automatizado, baseado em LLM, projetado para gerar e verificar descrições legíveis por humanos de quando um peso específico está ativo. O pipeline opera em três estágios:

1. Computação do Local de Importância:

   • Para um peso alvo $w$, o modelo é executado em um corpus normalmente e com $w$ ablado (definido como zero).
   • A divergência de Kullback–Leibler (KL) por posição entre o modelo original e o modelo ablado é calculada.
   • As posições com a maior divergência KL cumulativa (top 90%) são identificadas como o "local de importância", onde o peso tem o efeito mais significativo.

2. Geração de Predicados Candidatos:

   • Os contextos de tokens que circundam os top posições de impacto são passados para um LLM.
   • O LLM é instruído a gerar $N$ funções Python candidatas (predicados) da forma $f(\text{tokens}, \text{pos}) \to \text{bool}$, descrevendo as semelhanças desses contextos.
   • O prompt enfatiza a cobertura dos contextos afetados sobre a elegância do código.

3. Pontuação e Verificação:

   • Os candidatos são pontuados usando um teste de ablação condicional-zero em um corpus de controle (texto que o LLM nunca viu).
   • Recuperação (Recovery): Mede o quanto do efeito da ablação é restaurado quando o peso é reativado apamente onde o predicado é verdadeiro.
   • Inverso (Inverse): Mede o efeito de restaurar o peso apenas onde o predicado é falso (para evitar predicados excessivamente amplos).
   • Portão de Cobertura (Coverage Gate): Um predicado só é válido se disparar em pelo menos uma posição, mas não mais que 50% do corpus ($0 < p(f) \leq 0.5$).
   • Pontuação de Interpretabilidade: Definida como $\min(\text{recovery}, 1 - \text{inverse})$. Um peso é considerado interpretável se seu melhor candidato ultrapassar um limiar (ex: $T=0.75$) e passar no portão de cobertura.
   • Robustez: Para garantir a generalização, o melhor predicado é re-pontuado em $K=10$ fatias distintas de dados não utilizados; um peso é contado como "robustamente interpretável" apenas se sua pontuação média nessas fatias exceder confiavelmente o limiar.

Configuração Experimental

O pipeline foi avaliado em quatro modelos:

• Modelos Esparsos:
  • Gao et al. (2025): Um transformer de codificação com escassez de pesos (~99% de esparsidade) treinado em código Python.
  • Drori (2026): Um par esparso-denso treinado no corpus SimpleStories (~98% de esparsidade para o núcleo esparso).
• Controles Densos:
  • Drori (2026) Denso: Um contraparte do modelo esparso sem restrições de esparsidade.
  • Pythia-70m: Um modelo pré-treinado denso padrão treinado no The Pile.

Resultados Principais

1. Modelos Esparsos são Significativamente Mais Interpretáveis

A fração de pesos não nulos que admitem uma descrição única, curta e generalizável é substancialmente maior em transformers esparsos do que em densos.

• Taxas de Interpretabilidade Robusta:
  • Gao et al. (2025) Esparso: ~15.0% dos pesos não nulos.
  • Drori (2026) Esparso: ~9.6% dos pesos não nulos.
  • Drori (2026) Denso: ~1.5% dos pesos não nulos.
  • Pythia-70m: ~0.4% dos pesos não nulos.
• A lacuna aumenta significativamente quando descrições não confiáveis (aquelas que falham em dados não vistos) são descartadas.

2. Estabilidade das Pontuações

Em modelos esparsos, a pontuação de interpretabilidade de um peso é uma propriedade estável do próprio peso, não um artefato da fatia específica do corpus usada para teste.

• Confiabilidade: Para modelos esparsos, ~85–90% da variância nas pontuações entre diferentes fatias de dados não vistos reflete diferenças reais entre os pesos.
• Instabilidade Densa: Para modelos densos (especificamente Pythia-70m), apenas ~47% da variância da pontuação é estável; o restante é ruído de amostragem. Isso sugere que a interpretabilidade aparente em modelos densos surge frequentemente do overfitting a padrões superficiais na fatia de treinamento específica, em vez de capturar uma função de peso global.

3. Natureza dos Predicados

Os predicados gerados pelo LLM são geralmente curtos e locais:

• Forma mais comum: Buscas de token único (ex: "o token é um dígito", "está no conjunto {th, ode, b}").
• Forma secundária: Testes de vizinho imediato (ex: "a palavra anterior termina em -ed").
• Os predicados raramente mantêm estado através de prompts longos ou abrangem mais de 2–3 tokens adjacentes.

4. Estudos de Caso

• Detecção de Dígitos: Um neurônio no modelo esparso de Gao se decompõe em nove pesos individualmente interpretáveis, cada um controlando contagens de dígitos específicas (um dígito, dois dígitos, etc.).
• Verbos de Fala: Um neurônio no modelo esparso de Drori, que parece ser um "detector de verbos de fala" no nível de ativação, decompõe-se em cinco papéis funcionais paralelos no nível de peso: ativadores de verbos de fala, supressores de verbos mentais, supressores de verbos modais, portões de pontuação e portões de tokens específicos.

Significância e Alegações

O artigo afirma que uma fração significativa (12–31%) dos pesos em transformers de escassez de pesos pode ser individualmente interpretada com uma única descrição curta e generalizável que se estende pela distribuição de treinamento. Isso contrasta com modelos densos, onde a interpretabilidade global é quase inexistente (0–3%).

Os autores posicionam este trabalho como um passo em direção à compreensão dos "algoritmos" implementados por redes neurais. Ao demonstrar que o treinamento esparso força os pesos sobreviventes a se organizarem em circuitos compactos e legíveis, o artigo sugere que os transformers de escassez de pesos servem como um campo de teste natural para o desenvolvimento de pipelines de interpretabilidade por parâmetro. Os autores observam que, uma vez identificada uma base interpretável para modelos densos, esses pipelines poderiam potencialmente ser aplicados a modelos de linguagem de fronteira.

Limitações

Os autores declaram explicitamente algumas limitações:

• Escopo da Explicação: O método identifica quando um peso está ativo, não o que ele computa uma vez ativo.
• Restrições de Linguagem: A linguagem de predicados (funções Python sobre o contexto de tokens) não pode expressar características semânticas (ex: "refere-se a uma pessoa") ou estruturas complexas dependentes de estado que abrangem múltiplos tokens. Pesos que dependem de tais estruturas são classificados como "não interpretáveis", mesmo que possuam um papel funcional claro.
• Mudança de Distribuição: O corpus de controle é extraído da mesma distribuição de pré-treinamento; a sobrevivência sob mudança de distribuição não é testada.
• Limite Inferior: Os números relatados são um limite inferior do que o método poderia encontrar, limitados pela expressividade da atual linguagem de predicados.