Circuit Insights: Towards Interpretability Beyond Activations

O artigo apresenta o WeightLens e o CircuitLens, dois métodos complementares que superam as limitações das análises baseadas apenas em ativações ao interpretar características diretamente a partir dos pesos e capturar dinâmicas de circuitos, permitindo uma análise mecânica escalável e robusta de redes neurais.

O essencial

Imagine que os grandes modelos de linguagem (como o que você está conversando agora) são como cidades gigantescas e complexas, cheias de milhões de "funcionários" (neurônios) trabalhando juntos para produzir respostas.

O problema é que, até agora, tentar entender o que esses funcionários estão pensando era como tentar adivinhar o conteúdo de uma caixa preta apenas observando quando eles levantam a mão (ativam). Os pesquisadores tentavam olhar para quando o funcionário levantava a mão e perguntavam a uma IA mais inteligente: "O que ele está dizendo?". Mas isso tinha dois problemas:

1. Era lento e dependia de grandes quantidades de dados.
2. Às vezes, a IA que explicava inventava coisas ou não entendia o contexto real.

Neste novo trabalho, os autores (da Fraunhofer HHI e outras instituições) propuseram duas novas ferramentas, chamadas WeightLens e CircuitLens, para olhar dentro da cidade e entender a estrutura dos prédios, não apenas quem levantou a mão.

Aqui está a explicação simples, usando analogias:

1. O Problema: Olhar apenas para a "Ativação"

Antes, os cientistas olhavam apenas para quando um neurônio se acendia.

• Analogia: É como tentar entender o trabalho de um cozinheiro olhando apenas para o momento em que ele pega uma faca. Você sabe que ele pegou a faca, mas não sabe se ele vai cortar um tomate, um bolo ou se está apenas brincando. E se ele pegar a faca em 100 situações diferentes? É difícil saber o que ele realmente faz.

2. A Solução 1: WeightLens (A "Lente de Peso")

Esta ferramenta ignora o que está acontecendo no momento e olha para a estrutura física do modelo (os pesos aprendidos).

• Como funciona: Imagine que cada funcionário tem um mapa de conexões fixo em sua parede. O WeightLens lê esse mapa. Se o funcionário tem uma conexão forte e direta com a palavra "maçã", o WeightLens diz: "Este funcionário é sobre maçãs", sem precisar testar milhares de frases.
• A vantagem: É como olhar para o manual de instruções de uma máquina em vez de tentar adivinhar o que ela faz observando o barulho.
• O resultado: Eles conseguiram descrever cerca de 30% a 58% dos "funcionários" (dependendo do modelo) apenas olhando para o mapa de conexões, sem precisar de grandes bancos de dados ou de outra IA para explicar. É rápido, barato e direto.

3. A Solução 2: CircuitLens (A "Lente de Circuito")

Alguns funcionários só trabalham quando um contexto específico acontece (ex: só cortam carne se houver um bife na mesa). O WeightLens não vê isso. Aqui entra o CircuitLens.

• Como funciona: Em vez de olhar para o funcionário isolado, o CircuitLens olha para a dança entre os funcionários. Ele descobre: "Ah, quando o funcionário A vê a palavra 'banco', ele acende o funcionário B, que por sua vez faz o modelo escrever 'sentar'".
• A inovação: O grande truque deles é que eles não jogam todas as frases para a IA explicadora. Eles primeiro usam a matemática para filtrar a frase, deixando apenas as palavras que realmente importam para aquele momento.
• Analogia: Imagine que você quer explicar uma briga em uma sala cheia de gente. Em vez de mostrar um vídeo de 1 hora com todo mundo gritando, você usa o CircuitLens para cortar o vídeo e mostrar apenas os 5 segundos onde as duas pessoas se olharam e começaram a discutir. Isso torna a explicação muito mais clara para quem está assistindo.
• O resultado: Isso ajuda a entender funções complexas e a lidar com "poli-semântica" (quando um funcionário faz várias coisas diferentes dependendo do contexto), agrupando-os em "clubes" ou "cliques" de comportamento similar.

4. Por que isso é importante?

Até agora, tentar entender essas IAs era como tentar adivinhar o conteúdo de um livro lendo apenas as páginas que estavam mais brilhantes.

• WeightLens é como ler o índice e a estrutura do livro para saber do que trata cada capítulo.
• CircuitLens é como ler os diálogos entre os personagens para entender a trama, mas com a ajuda de um editor que remove o ruído e deixa apenas as falas importantes.

Em resumo:
Os autores criaram métodos que tornam a "caixa preta" das IAs mais transparente. Eles mostram que, combinando a análise da estrutura fixa (os pesos) com a análise das interações dinâmicas (os circuitos), conseguimos entender melhor como essas máquinas pensam, de forma mais rápida, segura e sem depender tanto de dados massivos ou de outras IAs para nos contar o que está acontecendo.

É um passo gigante para tornar a Inteligência Artificial mais confiável e compreensível para todos nós.

Resumo técnico

Visão Geral

O artigo aborda os desafios atuais na interpretabilidade de modelos de linguagem grandes (LLMs), propondo uma mudança de paradigma: sair da análise baseada puramente em ativações (quais tokens ativam um neurônio/feature) para uma análise baseada em pesos e circuitos. Os autores introduzem dois métodos complementares, WeightLens e CircuitLens, que visam tornar a interpretação automática mais robusta, escalável e menos dependente de grandes conjuntos de dados ou de modelos explicadores (LLMs externos).

1. O Problema

As abordagens existentes de interpretabilidade mecânica e IA explicável (XAI) enfrentam limitações significativas:

• Dependência de Análise Manual: A descoberta de circuitos (subgrafos responsáveis por tarefas específicas) ainda exige inspeção manual extensiva e é limitada a tarefas simples ("toy tasks").
• Limitações dos Métodos Automatizados: Métodos atuais (como os baseados em Bills et al., 2023) dependem de passar dados por um modelo, coletar amostras de alta ativação e usar um LLM maior para gerar descrições. Isso introduz problemas:
  • Semântica Polimórfica: Neurônios MLP e até features de Autoencoders Esparsos (SAEs) podem ativar em padrões complexos e específicos que são difíceis de descrever apenas olhando as ativações.
  • Dependência de "Caixas Pretas": A necessidade de LLMs explicadores transfere o problema da caixa preta para outro modelo, gerando riscos de explicações não fiéis ou não confiáveis.
  • Sensibilidade a Dados: A qualidade da explicação depende fortemente da qualidade do dataset e do prompt utilizado.
• Falta de Informação Estrutural: A análise baseada apenas em ativações ignora as conexões estruturais fixas (pesos) que definem como as features interagem independentemente do contexto de entrada.

2. Metodologia

Os autores utilizam Transcoders (uma arquitetura que aproxima camadas MLP de forma esparsa e separa contribuições dependentes e independentes da entrada) como base para suas análises.

A. WeightLens: Interpretabilidade Automática Baseada em Pesos (Invariante ao Contexto)

O WeightLens foca em interpretar features diretamente a partir de seus pesos aprendidos, eliminando a necessidade de datasets ou LLMs explicadores para features independentes do contexto.

• Premissa: Conexões invariantes à entrada (pesos) indicam relações estruturais significativas se forem estatisticamente outliers (magnitude muito superior às outras conexões).
• Processo:
  1. Projeção de Embedding/Unembedding: Projeta os vetores de codificador (encoder) e decodificador (decoder) da feature nos espaços de entrada (vocabulary) e saída (logits) para identificar tokens candidatos.
  2. Análise de Conexões de Pesos: Identifica features contribuintes em camadas anteriores através de produtos de matrizes de pesos.
  3. Validação: Realiza uma passagem direta (forward pass) com os tokens candidatos para validar se eles realmente ativam a feature isoladamente.
  4. Descrição: Gera descrições baseadas em tokens validados, utilizando lematização para consolidar formas flexionadas.
• Vantagem: Funciona sem dataset e sem LLM externo, sendo altamente eficiente para features que respondem a tokens específicos.

B. CircuitLens: Interpretabilidade Automática Baseada em Circuitos (Dependente do Contexto)

O CircuitLens estende a interpretabilidade para features dependentes do contexto, capturando a dinâmica de como as ativações surgem de interações entre componentes.

• Mecanismo: Utiliza a formulação de atribuição dos Transcoders para isolar quais tokens de entrada (via atenção) e quais tokens de saída são influenciados por uma feature específica.
• Processo:
  1. Caching e Amostragem: Cacha ativações em todo o dataset e usa amostragem por quantis de frequência inversa para capturar casos raros mas fortes.
  2. Detecção de Padrões de Circuito:
     • Foco na Entrada: Isola tokens que contribuem fortemente para a ativação via cabeças de atenção.
     • Foco na Saída: Identifica quais tokens gerados pelo modelo foram influenciados pela feature.
  3. Agrupamento (Clustering) Baseado em Circuitos: Agrupa as entradas não apenas por similaridade semântica, mas por similaridade nos circuitos ativadores (quais features e cabeças de atenção contribuíram). Isso lida com a semântica polimórfica, separando conceitos entrelaçados.
  4. Geração de Descrição: O LLM explicador recebe apenas os padrões isolados (máscaras de tokens relevantes) e os clusters, simplificando sua tarefa e reduzindo ruído.

3. Contribuições Principais

1. WeightLens: Um framework que interpreta features de Transcoders usando apenas pesos, alcançando desempenho igual ou superior a métodos baseados em ativação para features independentes de contexto, sem custo computacional de dataset ou LLM.
2. CircuitLens: Um framework que utiliza a estrutura de circuitos para isolar padrões de ativação e influência na saída, permitindo a interpretação de features dependentes de contexto e a resolução de polissignificância através de clustering baseado em circuitos.
3. Robustez e Escalabilidade: A combinação de análise baseada em pesos e circuitos reduz a dependência de grandes datasets e melhora a robustez das explicações, mesmo em datasets menores.
4. Validação Empírica: Demonstração de que conexões baseadas em pesos frequentemente alinham-se com circuitos descobertos via atribuição, validando a premissa de que a estrutura fixa contém informações interpretáveis cruciais.

4. Resultados e Avaliação

Os métodos foram avaliados em modelos como GPT-2 Small, Gemma-2-2B e Llama-3.2-1B, utilizando o framework FADE (com métricas de Clareza, Resposta, Pureza e Fidelidade).

• Desempenho do WeightLens:
  • Em camadas iniciais, onde as features são mais baseadas em tokens, o WeightLens superou ou igualou métodos baseados em ativação (como Neuronpedia e MaxAct*) nas métricas de Clareza e Resposta.
  • Cerca de 32,7% a 58,8% das features (dependendo do modelo) receberam descrições válidas apenas com base em pesos.
  • A validação por forward pass foi crucial para filtrar conexões de peso que não se traduzem em ativação real.
• Desempenho do CircuitLens:
  • Métodos baseados em circuitos mostraram-se menos sensíveis ao tamanho do dataset do que métodos puramente baseados em ativação.
  • O clustering baseado em circuitos revelou padrões ocultos que a análise de ativação bruta não conseguia capturar (ex: distinção entre diferentes conceitos dentro de uma feature polissêmica).
  • A combinação de WeightLens + CircuitLens produziu as descrições mais robustas, mitigando as fraquezas de cada abordagem individual.
• Limitações Observadas:
  • A métrica de Fidelidade (Faithfulness) permaneceu baixa em todos os métodos, possivelmente devido à redundância do modelo e à arquitetura dos Transcoders (que escrevem no residual stream de forma similar a MLPs, dificultando o "steering" de uma única feature).
  • Features em camadas intermediárias (ex: camada 12 no Gemma) mostraram-se altamente dependentes de contexto e difíceis de interpretar apenas com pesos.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interpretabilidade mecânica ao:

• Desacoplar a Interpretação de Dados: Demonstrar que é possível extrair insights estruturais valiosos diretamente dos pesos do modelo, reduzindo a necessidade de datasets massivos e LLMs explicadores.
• Resolver a Polissignificância: Oferecer uma abordagem sistemática (clustering de circuitos) para lidar com features que ativam em múltiplos conceitos, algo que métodos baseados apenas em "top-k ativações" falham em fazer.
• Fornecer uma Ponte entre Estrutura e Dinâmica: Unir a análise estática (pesos) com a análise dinâmica (circuitos/ativações) para fornecer uma visão mais completa e escalável do funcionamento interno de LLMs.

Em suma, o paper propõe que a "lente" para entender redes neurais deve ir além do que os neurônios "acendem" (ativações) e olhar para como eles estão "conectados" (pesos e circuitos), permitindo uma análise mais profunda, eficiente e confiável.