CIRCUS: Circuit Consensus under Uncertainty via Stability Ensembles

O artigo apresenta o CIRCUS, um método que redefine a descoberta de circuitos mecânicos como um problema de quantificação de incerteza, gerando ensembles de grafos de atribuição para extrair um "núcleo" de consenso robusto e auditável, eliminando a sensibilidade a escolhas analíticas arbitrárias sem necessidade de re-treinamento.

O essencial

Imagine que você tem um computador supercomplexo (uma Inteligência Artificial) e quer entender exatamente como ele toma uma decisão. Por exemplo, como ele sabe que a resposta para "Qual é a capital da França?" é "Paris"?

Os cientistas tentam mapear o "cérebro" dessa IA, procurando por circuitos: caminhos específicos de neurônios e conexões que são responsáveis por essa resposta. O problema é que, até agora, esse mapeamento era como tentar desenhar um mapa de uma cidade usando apenas uma lanterna e um único ângulo de visão. Dependendo de como você ajustava a lanterna (os "limites" ou "thresholds" do cientista), o mapa mudava completamente. Às vezes, você via uma rua importante; outras vezes, via um beco sem saída. Isso gerava mapas frágeis e cheios de dúvidas: "Será que essa conexão é real ou foi só um erro meu ao ajustar a lanterna?"

O artigo CIRCUS propõe uma solução brilhante para esse problema. Vamos usar uma analogia simples:

1. O Problema: O Mapa de Um Só Olhar

Antes do CIRCUS, os cientistas faziam o mapeamento uma única vez. Se eles escolhessem um ajuste "frouxo", o mapa ficava enorme e confuso. Se escolhessem um ajuste "rígido", o mapa ficava pequeno, mas talvez faltassem peças importantes. Era como tentar descrever um elefante olhando apenas para a tromba e dizendo: "É um tubo longo".

2. A Solução: O "Comitê de Especialistas" (O CIRCUS)

O CIRCUS muda a regra do jogo. Em vez de confiar em um único mapa, ele cria um comitê de 25 especialistas (ou mais).

• Todos os especialistas olham para o mesmo computador.
• Mas cada um usa uma "lanterna" ligeiramente diferente (ajustes diferentes de sensibilidade).
• Cada especialista desenha seu próprio mapa.

Agora, o CIRCUS não pergunta "Qual é o mapa certo?". Ele pergunta: "Onde todos os especialistas concordam?"

3. O Resultado: O "Núcleo Duro" vs. O "Ruído"

Ao comparar os 25 mapas, o CIRCUS faz uma triagem mágica:

• O Núcleo (O Consenso Estrito): São as conexões que todos os especialistas desenharam. Se 25 pessoas olharam e viram a mesma estrada, essa estrada é real e sólida. O CIRCUS isola apenas essas conexões.

  • O milagre: Esse "núcleo" é 40 vezes menor do que o mapa gigante que junta todas as opiniões, mas continua explicando quase tudo o que a IA faz. É como pegar um mapa de 1.000 páginas e reduzir para 25 páginas essenciais, sem perder a direção.

• As Alternativas (O "Talvez"): Existem conexões que alguns especialistas viram e outros não. O CIRCUS não joga isso fora. Ele diz: "Essa estrada é controversa. Pode ser útil, mas não temos certeza". Isso permite que o cientista decida se quer investigar essas áreas ou ignorá-las.

• O Ruído: Conexões que só apareceram uma vez ou duas. O CIRCUS diz: "Isso é provavelmente um erro ou um acidente. Ignore."

4. Por que isso é importante? (A Prova Real)

O artigo não fica apenas na teoria. Eles fizeram um teste de "verdade":

• Eles pegaram as conexões do "Núcleo" (o consenso) e as conectaram de volta ao cérebro da IA.
• Resultado: A IA funcionou perfeitamente.
• Quando testaram conexões que não estavam no consenso (apenas em alguns mapas), a IA falhou muito mais.
• Isso provou que o CIRCUS não está apenas adivinhando; ele encontrou a parte do cérebro da IA que realmente importa.

Em Resumo:

Pense no CIRCUS como um filtro de qualidade para a inteligência artificial.

• Antes: "Aqui está um mapa. Confie em mim, eu ajustei a lanterna assim." (Arriscado, pode estar errado).
• Agora (CIRCUS): "Aqui está o que todos os nossos métodos concordam que é real. É pequeno, é forte e é o que realmente faz a mágica acontecer. Se você quiser ver o resto, aqui está a lista do que é incerto, mas não confie nela tanto."

Isso torna a explicação de como a IA pensa muito mais confiável, transparente e segura, sem precisar reprogramar o computador nem gastar mais tempo. É como transformar um borrão de tinta em uma foto nítida, apenas olhando de vários ângulos ao mesmo tempo.

Resumo técnico

Título: CIRCUS: Consenso de Circuitos sob Incerteza via Ensembles de Estabilidade

1. O Problema

A descoberta de circuitos mecânicos (subgrafos esparsos em redes neurais que suportam causalmente um comportamento) é uma tarefa central na interpretabilidade mecânica. No entanto, o estado da arte enfrenta um problema crítico de incerteza e fragilidade:

• Sensibilidade a Escolhas Analíticas: Os circuitos descobertos são altamente sensíveis a escolhas arbitrárias do analista, especificamente limiares de poda (pruning thresholds) e a escolha de dicionários de características (ex.: checkpoints específicos de transcoders).
• Explicações "One-Shot": As abordagens atuais geralmente produzem um único grafo de atribuição baseado em uma única configuração. Isso resulta em explicações frágeis, sem uma noção principial de incerteza. Diferentes escolhas geram diferentes arestas e interpretações, sem um método claro para distinguir entre estrutura estável (robusta) e artefatos (ruído).
• Falta de Quantificação de Incerteza: Não há um mecanismo padrão para separar o que é consistente em várias configurações do que é apenas um artefato de uma configuração específica.

2. Metodologia: O Framework CIRCUS

O CIRCUS (Circuit Consensus under Uncertainty via Stability Ensembles) reframa a descoberta de circuitos como um problema de quantificação de incerteza sobre os graus de liberdade analíticos. Em vez de buscar uma única explicação, o método propõe um pipeline de "bagging" (agrupamento) de atribuições.

Passos Principais do Método:

1. Geração de Múltiplas Visualizações (Config-Bagging):

   • Realiza-se uma única execução de atribuição bruta (usando um modelo de substituição, como um Transcoder de Camada Cruzada - CLT).
   • Aplica-se essa mesma atribuição bruta a B configurações de poda diferentes (variando limiares de influência cumulativa para nós e arestas).
   • Isso gera um conjunto de $B$ grafos podados (visualizações), sem necessidade de re-treinamento do modelo.

2. Pontuação de Estabilidade (Stability Score):

   • Para cada aresta $e$ no grafo original, calcula-se uma pontuação de estabilidade $s(e)$, definida como a fração de visualizações que retêm essa aresta:
     $$s(e) = \frac{1}{B} \sum_{b=1}^{B} \mathbb{I}[e \in E(b)]$$
   • Onde $s(e) = 1$ significa que a aresta aparece em todas as configurações.

3. Extração de Consenso e Taxonomia:

   • Circuito de Consenso Estrito ($C_{\tau=1}$): Contém apenas as arestas com $s(e) = 1$. Este é o "núcleo" robusto, imune a variações nos limiares.
   • Circuito de Consenso Exploratório ($C_{\tau<1}$): Arestas com estabilidade intermediária (ex. $\tau = 2/3$).
   • Decomposição Taxonômica:
     • Núcleo (Core): Alta estabilidade ($s=1$).
     • Contingente (Contingent): Estabilidade média, mas alta influência marginal (caminhos alternativos).
     • Ruído (Noise): Baixa estabilidade e baixa influência (rejeitáveis).

4. Boosting (Resíduo de Incerteza):

   • Se o consenso estrito não retiver influência suficiente, o método constrói um circuito "boosted" ($C_1 \cup C_2$) analisando o grafo residual (onde as arestas do consenso foram zeradas) para capturar influência contingente restante.

3. Contribuições Chave

• Pipeline de Atribuição "Bagged": Introduz um método que amostra configurações de poda, atribui pontuações de estabilidade baseadas em frequência e extrai um circuito de consenso estrito com uma interface explícita de rejeição/alternativas.
• Robustez a Limiares: Demonstra que o consenso estrito é drasticamente menor que a união de todas as configurações, mas retém poder explicativo comparável.
• Validação Causal: Valida a relevância causal dos nós identificados pelo consenso através de activation patching (correção de ativação), superando controles não-consensuais.
• Baixo Custo Computacional: O método agrega estruturas de grafos já computados, adicionando custo computacional negligenciável (milissegundos) e não requer re-treinamento do modelo.

4. Resultados Experimentais

Os experimentos foram conduzidos nos modelos Gemma-2-2B e Llama-3.2-1B.

• Redução de Tamanho vs. Poder Explicativo:

  • Os circuitos de consenso estrito são ~40 vezes menores que a união de todas as configurações de poda.
  • Apesar do tamanho reduzido, eles retêm um nível de Influência Retida (IR) comparável ao da configuração individual mais permissiva.
  • Desempenho Superior: O consenso supera a linha de base de "união podada" (unir todos os grafos e cortar até o mesmo tamanho do consenso). Por exemplo, com um orçamento de 625 arestas, o consenso atingiu IR de 0.78, enquanto a união podada atingiu apenas 0.73.

• Validação Causal (Activation Patching):

  • Nós identificados pelo consenso foram testados via activation patching.
  • Resultados: Os nós do consenso superaram consistentemente os controles combinados (p = 0.0004), provando que essas estruturas não são apenas estatisticamente estáveis, mas causalmente relevantes para a previsão do modelo.

• Análise de Incerteza e Rejeição:

  • Em uma execução representativa, apenas 2,5% das arestas tinham estabilidade = 1 (núcleo), enquanto 72,8% tinham estabilidade < 0,5 (ruído).
  • O método permite rejeitar explicitamente estruturas de baixa concordância, fornecendo uma decomposição clara entre "núcleo confiável", "caminhos alternativos" e "ruído".

• Robustez Multi-Prompt:

  • O consenso manteve-se robusto em 20 prompts diferentes (incluindo tarefas de fatos, aritmética e trivia), com IR médio de 0.83 e variância baixa.

5. Significado e Impacto

O CIRCUS oferece um framework prático e consciente da incerteza para a interpretabilidade mecânica.

• Auditoria e Confiabilidade: Permite que pesquisadores e auditores relatem circuitos com um "núcleo" verificável, separando-o de artefatos sensíveis a parâmetros.
• Mudança de Paradigma: Move o campo de "explicações únicas e frágeis" para "explicações estruturadas por consenso", onde a discordância entre configurações é tratada como informação valiosa (caminhos contingentes) em vez de ruído a ser ignorado.
• Aplicabilidade Imediata: Como não requer re-treinamento e funciona sobre atribuições existentes, pode ser aplicado a qualquer pipeline de descoberta de circuitos que utilize grafos de atribuição, tornando-se uma ferramenta padrão para validar a robustez de descobertas em modelos de linguagem grandes (LLMs).

Em resumo, o CIRCUS transforma a variabilidade analítica de um problema em uma solução, utilizando ensembles de estabilidade para extrair a "verdade" causal robusta de modelos complexos.