Resumo Técnico: Aprendizado de Circuitos Escalável para Interpretação de Grandes Modelos de Linguagem

1. Definição do Problema

A interpretabilidade mecanística visa descobrir o "porquê" por trás dos comportamentos de Grandes Modelos de Linguagem (LLMs) ao identificar circuitos: subgrafos compactos que conectam componentes fundamentais (ex: cabeças de atenção, neurônios) que impulsionam capacidades específicas. No entanto, os métodos existentes de aprendizado de circuitos enfrentam dois gargalos primários:

1. Polissemantismo: Os neurônios brutos em LLMs são polissemânticos, o que significa que um único neurônio ativa para múltiplos conceitos não relacionados. Isso resulta em circuitos aprendidos que são densos, ruidosos e difíceis de interpretar para humanos.
2. Escalabilidade: Embora os Autoencoders Esparsos (SAEs) ofereçam uma solução ao decompor ativações em características de alta dimensão e monossêmanticas (conceito único), os métodos existentes de aprendizado de circuitos baseados em intervenção (ex: rastreamento causal, patch de atribuição) não escalam para a alta dimensionalidade das características de SAE. Esses métodos exigem intervenções contrafatuais computacionalmente caras (passagens para frente e para trás) para cada componente, tornando-os proibitivos para modelos grandes e espaços de características de alta dimensão.

2. Metodologia: CircuitLasso

Os autores propõem o CircuitLasso, uma abordagem de aprendizado de circuitos escalável que substitui pipelines custosos baseados em intervenção por um framework de regressão linear esparsa.

Formulação Central

Em vez de estimar efeitos causais via intervenções, o CircuitLasso trata o grafo computacional do LLM como um Modelo de Equação Estrutural (SEM) linear esparso. Dado $N$ componentes (neurônios ou características de SAE) e $M$ observações, o método busca uma matriz de adjacência ponderada $A$ tal que:
$$X \approx A^\top X$$
onde $X$ é a matriz de ativações. O objetivo é aprender um Grafo Acíclico Dirigido (DAG) representando dependências ao minimizar o erro de reconstrução sujeito a esparsidade (penalidade $\ell_1$) e restrições de aciclicidade:
$$\hat{A} = \arg \min_{A} \|X - A^\top X\|_F^2 + \lambda \|A\|_1$$

Tratamento de Restrições e Escalabilidade

• Aciclicidade: Em vez de impor restrições de aciclicidade contínuas complexas (que são computacionalmente pesadas), o CircuitLasso aproveita a arquitetura feed-forward conhecida dos Transformers. Ele assume uma estrutura triangular superior em blocos onde a camada $i$ depende apenas de camadas $j < i$. Isso transforma o problema em uma série de subproblemas de Lasso (regressão linear esparsa) independentes, solucionáveis eficientemente via algoritmo FISTA.
• Dados Observacionais: O método opera exclusivamente com dados observacionais (ativações de uma passagem para frente), evitando a necessidade das múltiplas passagens para frente/trás exigidas pelos métodos baseados em intervenção.
• Integração com SAE: O framework é estendido para operar diretamente em características de SAE ($z \in \mathbb{R}^D$, onde $D \gg d$). Ele aprende dependências camada a camada entre características de SAE e também pode conectar características da camada final a alvos de predição downstream ($y$).

Análise de Complexidade

A análise teórica (Proposição 3.2) demonstra que o CircuitLasso oferece ganhos de eficiência garantidos sobre os métodos de intervenção de última geração (como EAP-ig) sob regimes específicos, particularmente quando o número de localizações de componentes ($L$) é moderado em relação ao comprimento da sequência e dimensões do modelo. O custo escala com $O(M L^2 d^2)$, enquanto os métodos de intervenção escalam com o custo de passagens adicionais para frente/trás através de todo o modelo.

3. Principais Contribuições

1. Algoritmo CircuitLasso: Um substituto de regressão esparsa para descoberta de circuitos que substitui pipelines pesados em intervenção por uma abordagem observacional baseada em Lasso.
2. Escalabilidade para SAEs: O primeiro método capaz de aprender eficientemente circuitos em características de SAE de alta dimensão e monossêmanticas, superando as proibições computacionais de técnicas anteriores.
3. Eficiência Teórica: Uma análise formal estabelecendo condições sob as quais a abordagem baseada em regressão é comprovadamente mais rápida que as linhas de base de intervenção.
4. Validação Empírica: Demonstrações em neurônios de modelos e características de SAE mostrando que o CircuitLasso atinge precisão estrutural comparável aos baselines de estado da arte (SOTA) com uma fração do custo computacional.

4. Resultados Experimentais

Desempenho de Benchmark (Neurônios do Modelo)

Avaliado no InterpBench (86 transformers semi-sintéticos e a tarefa de Identificação de Objeto Indireto):

• Precisão: O CircuitLasso (variante linear) alcançou uma Distância de Hamming Estrutural (SHD) média de 3.16, estatisticamente indistinguível do baseline de intervenção SOTA EAP-ig (2.98) e melhor que o EAP (3.61).
• Eficiência: Foi 3.0x mais rápido que o EAP-ig (16.3s vs. 49.1s por caso) e 2.1x mais rápido que o EAP.
• Não Linearidade: Uma extensão não linear do CircuitLasso ofereceu melhorias marginais na precisão, mas com um tempo de execução significativamente maior, sugerindo que o substituto linear é suficiente para recuperar o esqueleto de dependência.

Estudo de Caso de Interpretabilidade (Características de SAE)

Aplicado ao GPT-2 Small no dataset CoLA (Corpus de Aceitabilidade Linguística):

• Circuitos Monossêmanticos: O método recuperou circuitos em forma de árvore onde os nós correspondem a conceitos interpretáveis por humanos (ex: "-self", "fome/sede", "pontuação final").
• Propagação Semântica: Os circuitos revelaram como conceitos persistem através das camadas, fundem-se (combinando conceitos de múltiplos pais) ou caem (ignorando certas entradas).
• Causal vs. Espúrio: Os grafos aprendidos capturaram tanto relações semânticas causais (ex: "fome" levando a "comer") quanto correlações espúrias provavelmente introduzidas por vieses de dataset (ex: coocorrência de "-self" e "fome").

Utilidade Downstream (Generalização de Domínio)

Avaliado na tarefa Bias-in-Bios (predição de profissão enquanto mitiga viés de gênero):

• Desempenho: O CircuitLasso alcançou precisão de predição de profissão comparável, e em alguns casos ligeiramente superior, ao baseline não-Oracle mais forte (SHIFT), mantendo o vazamento de gênero próximo ao nível ideal de 50%.
• Eficiência: Como mostrado na Tabela 1, o CircuitLasso exigiu significativamente menos características e substancialmente menos tempo de execução do que o SHIFT. Para o modelo Gemma-2-9B, o CircuitLasso levou 107.4s comparado a 908.4s do SHIFT.

5. Significância e Alegações

O artigo afirma que o CircuitLasso aborda com sucesso o gargalo de escalabilidade na interpretabilidade mecanística. Sua principal significância reside em alcançar "eficiência com paridade de precisão":

• Ele recupera circuitos estruturais tão precisamente quanto os métodos mais rigorosos baseados em intervenção, mas a uma fração do custo computacional.
• Ele permite o uso de características de SAE monossêmanticas para análise de circuitos, fornecendo explicações mais claras e interpretáveis por humanos sobre como conceitos semânticos se propagam através de LLMs.
• Os insights derivados desses circuitos são praticantes úteis, permitindo tarefas eficazes de generalização de domínio e mitigação de viés com um custo muito menor do que os métodos existentes.

Os autores mantêm a modéstia quanto à natureza dos pesos aprendidos, observando que os coeficientes lineares representam um esqueleto de dependência em vez de efeitos causais exatos da computação não linear subjacente. Eles veem o método como um substituto de primeira ordem que identifica efetivamente quais componentes influenciam outros, em vez de quantificar a magnitude precisa dos efeitos causais.