💬 NLP

Many Circuits, One Mechanism: Input Variation and Evaluation Granularity in Circuit Discovery

Este artigo contesta a suposição de que diferenças estruturais em circuitos descobertos indicam mecanismos distintos, demonstrando através da "especialização fantasma" que estatísticas de entrada variáveis produzem subgrafos estruturalmente diversos, mas funcionalmente equivalentes, revelando assim que as práticas de avaliação padrão frequentemente obscurecem o mapeamento muitos-para-um entre a estrutura do circuito e a função do modelo.

Autores originais: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Publicado 2026-06-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alireza Bayat Makou, Jingcheng Niu, Subhabrata Dutta, Iryna Gurevych

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma máquina gigante e complexa (um grande modelo de IA) que realiza um truque específico: ela observa um padrão de letras e copia uma delas para o final da linha. Cientistas querem saber como a máquina faz esse truque. Eles tentam encontrar a "fiação" específica dentro da máquina responsável pelo truque. Eles chamam essa fiação de circuito.

Por muito tempo, pesquisadores acreditaram que, se encontrassem um diagrama de fiação diferente para o mesmo truque sob condições ligeiramente diferentes, isso significaria que a máquina havia desenvolvido uma nova forma especializada de realizar o truque.

Este artigo diz: Calma lá.

Os autores descobriram que o que parece ser uma máquina nova e especializada é, na verdade, a mesma máquina fazendo o mesmo truque, mas com alguns fios extras e desnecessários anexados. Eles chamam isso de "Especialização Fantasma" (Phantom Specialization).

Aqui está a divisão usando analogias simples:

1. O Experimento: O Jogo do "Copia e Cola"

Os pesquisadores usaram um jogo chamado "Cópia de Sequência Literal".

A Tarefa: A IA vê uma sequência como A B C D ... A B C e precisa adivinar a próxima letra (D).
A Reviravolta: Eles jogaram este jogo usando palavras que aparecem com muita frequência no treinamento da IA (como "o/a/os/as") e palavras que aparecem muito raramente (como nomes próprios obscuros).
A Expectação: Eles pensaram: "Talvez a IA use um conjunto diferente de fios internos para palavras raras do que para palavras comuns".

2. A Descoberta: O Problema dos "Muitos Caminhos para Roma"

Quando eles olharam para os diagramas de fiação para palavras comuns vs. palavras raras, os diagramas pareciam diferentes.

O circuito da "palavra rara" tinha mais fios.
O circuito da "palavra comum" tinha menos fios.
Eles pareciam dois projetos (blueprints) diferentes.

No entanto, quando testaram a função:

Eles pegaram os fios da "palavra rara" e os usaram para copiar "palavras comuns". Funcionou perfeitamente.
Eles pegaram os fios da "palavra comum" e os usaram para "palavras raras". Também funcionou perfeitamente.
A Conclusão: Os fios extras no circuito da "palavra rara" não estavam fazendo nada de especial. Eles eram apenas decoração. A máquina estava usando exatamente a mesma lógica central para ambos.

3. A Analogia: O "Espandrél" ou o "Mochila Extra"

Imagine que você está fazendo uma trilha.

Cenário A: Você prepara uma mochila pequena e eficiente para uma caminhada curta.
Cenário B: Você prepara uma mochila enorme e pesada para uma caminhada longa.

Se você olhar para as duas mochilas, elas parecem totalmente diferentes (Estrutura). Você pode pensar: "A mochila grande é uma ferramenta especializada para trilhas longas!"

Mas e se você descobrisse que ambas as mochilas contêm exatamente a mesma garrafa de água e o mesmo mapa? O espaço extra na mochila grande é apenas vazio ou preenchido com itens aleatórios que por acaso estão lá. Se você pegasse a mochila pequena e a usasse para a trilha longa, você ainda sobreviveria. Se pegasse a mochila grande e a usasse para a trilha curta, você também sobreviveria.

A "Especialização Fantasma" é a ilusão de que a mochila grande é um tipo diferente de ferramenta, quando na verdade é apenas a mesma ferramenta com algum peso extra e inútil anexado.

4. Por que Isso Aconteceu? (O Mecânico "Ganancioso")

Os pesquisadores descobriram que o método usado para encontrar esses circuitos é um pouco como um mecânico ganancioso tentando consertar um carro.

O mecânico quer encontrar o menor conjunto de fios que faça o carro funcionar.
Às vezes, existem múltiplos fios que fazem exatamente o mesmo trabalho (redundância).
Quando o mecânico olha para uma entrada de "palavra rara", o estado interno do carro é ligeiramente diferente. O mecânico ganancioso escolhe um conjunto de fios para manter e corta o restante.
Ao olhar para uma "palavra comum", o estado interno é ligeiramente diferente de novo, então o mecânico escolhe um conjunto diferente de fios para manter.

O resultado? Dois diagramas de fiação diferentes que fazem o carro funcionar perfeitamente. As diferenças não são porque o carro precisa de motores diferentes; é apenas porque o mecânico fez escolhas aleatórias entre opções igualmente boas.

5. O Problema da "Lente de Zoom" (Granularidade de Avaliação)

O artigo também descobriu que os cientistas estavam frequentemente olhando para os circuitos através da "lente" errada.

A Lente de "Nível de Fonte" (Zoom Out/Visão Panorâmica): Esta olha para o componente inteiro (como um chip inteiro). Se qualquer fio no chip estiver ativo, o chip inteiro é contado como "funcionando". Isso faz com que os circuitos pareçam muito fiéis e diferentes.
A Lente de "Nível de Aresta" (Zoom In/Visão Detalhada): Esta olha para os fios específicos. Quando você dá zoom, vê que muitos dos fios selecionados eram, na verdade, desnecessários.

O artigo argumenta que, se você olhar apenas de longe (Nível de Fonte), você verá a "Especialização Fantasma". Se você der zoom (Nível de Aresta), verá que os circuitos estão, na verdade, fazendo exatamente a mesma coisa.

Resumo das Principais Conclusões

Fios Diferentes $\neq$ Lógica Diferente: Só porque dois circuitos parecem diferentes no papel, não significa que eles façam coisas diferentes.
O "Fantasma": A aparente especialização é uma ilusão causada pela maneira como extraímos e medimos esses circuitos.
A Redundância é Real: Modelos de IA possuem muitos caminhos de reserva. Se um caminho é cortado, outro assume o controle. Isso torna difícil encontrar o "único circuito verdadeiro".
Como Corrigir: Para entender como a IA funciona, não devemos apenas olhar para um circuito. Precisamos:
- Testar se um circuito funciona em diferentes tipos de entradas (Testes de Transferência).
- Olhar para os fios específicos, não apenas para os grandes componentes (Avaliação de Nível de Aresta).
- Executar a extração várias vezes e ver o que permanece constante (Múltiplas Extrações).

Em resumo: A IA não está construindo um motor novo para palavras raras; ela está apenas usando um chapéu diferente. O chapéu parece diferente, mas o motor por baixo é o mesmo.

Resumo Técnico: Muitos Circuitos, Um Mecanismo

Declaração do Problema

A interpretabilidade mecanística visa a engenharia reversa de redes neurais através da identificação de "circuitos" — subgrafos esparsos do grafo computacional de um modelo que implementam comportamentos específicos. Uma suposição prevalente no campo é que, para um determinado modelo e tarefa, existe um único circuito estável a ser descoberto. Consequentemente, diferenças estruturais entre circuitos descobertos são frequentemente interpretadas como evidência de mecanismos distintos ou especializações funcionais.

No entanto, essa suposição enfrenta desafios relacionados à estabilidade dos métodos de extração, à existência de comportamentos de reserva redundantes (o "efeito Hidra") e à não-identificabilidade fundamental. Embora trabalhos anteriores tenham mostrado que os circuitos podem variar entre modelos, escalas ou estruturas de prompt, permanece incerto se as diferenças estruturais surgem unicamente de mudanças nas estatísticas de entrada (ex: frequência de tokens) enquanto a definição da tarefa permanece fixa e, crucialmente, se tais diferenças estruturais correspondem a uma genuína especialização funcional.

Metodologia

Os autores investigam esta questão utilizando a Cópia de Sequência Literal (LSC), uma tarefa não semântica onde o modelo deve reproduzir um token de uma ocorrência anterior em uma sequência. Esta tarefa isola um comportamento de cópia estreito, minimizando confusões semânticas.

Design Experimental:

Modelos: Cinco modelos Pythia variando de 70M a 1.4B de parâmetros.
Condições: O vocabulário é particionado em quatro faixas de frequência de tokens (frequência muito baixa a muito alta) baseadas em estatísticas de pré-treinamento, além de uma condição de controle ponderada por frequência.
Extração: O algoritmo ACDC (Automatic Circuit Discovery) é usado para extrair circuitos. Para garantir a robustez, três extrações independentes são realizadas por modelo por condição, resultando em 75 circuitos no total.
Granularidade de Avaliação: O estudo introduz uma distinção crítica entre dois níveis de avaliação:
- Nível de fonte (Source-level): Preserva todas as arestas de saída de qualquer nó que contribua com pelo menos uma aresta de circuito.
- Nível de aresta (Edge-level): Preserva apenas as arestas específicas selecionadas pelo algoritmo de descoberta.
Eixos de Análise: Os circuitos são comparados através de eixos estruturais (sobreposição de arestas), funcionais (transferência entre faixas, suficiência, necessidade) e representacionais (geometria de ativação interna). Intervenções de intercâmbio causal também são empregadas para testar a intercambiabilidade das representações internas.

Principais Contribuições

Especialização Fantasma: O artigo cunha o termo "especialização fantasma" para descrever um fenômeno onde algoritmos de descoberta de circuitos recuperam circuitos estruturalmente distintos para diferentes condições de entrada (ex: faixas de frequência) que, no entanto, implementam exatamente a mesma computação.
Mapeamento Muitos-para-Um: Os autores demonstram um mapeamento muitos-para-um de estrutura para função. A divergência estrutural não implica necessariamente especialização funcional; em vez disso, algoritos de descoberta podem amostrar de uma classe de equivalência de subgrafos válidos e funcionalmente intercambiáveis.
Dependência de Granularidade: O estudo estabelece que a visibilidade desta degenerescência depende inteiramente da granularidade de avaliação. A avaliação de nível de fonte sistematicamente infla a fidelidade aparente e obscurece a falta de especialização, enquanto a avaliação de nível de aresta revela o mapeamento muitos-para-um.
Recomendações Metodológicas: O artigo propõe que diferenças estruturais não devem ser aceitas como evidência de mecanismos distintos sem testes de transferência entre condições, e defende a avaliação de nível de aresta e múltiplas extrações com agregação por voto majoritário para identificar estruturas estáveis.

Principais Resultados

Diferenças Estruturais: Circuitos extraídos de diferentes faixas de frequência são estruturalmente distintos. Circuitos de baixa frequência são sistematicamente maiores e contêm um superconjunto de arestas em comparação com circuitos de alta frequência. A similaridade de Jaccard entre as faixas é menor do que dentro das faixas, embora as lacunas absolutas sejam pequenas.
Equivalência Funcional: Apesar das diferenças estruturais, os circuitos são funcionalmente equivalentes.
- Transferência entre Faixas: As arestas específicas de uma faixa transferem-se amplamente entre todas as faixas de frequência com alta eficiência (81–97%).
- Suficiência do Núcleo: Um "núcleo universal" de arestas compartilhadas entre a maioria das faixas (especificamente aquelas que aparecem em $\ge$ 3 de 5 condições) recupera pelo menos 99% do desempenho do circuito completo.
- Intercâmbio Causal: Intervenções de intercâmbio confirmam que as representações internas são intercambiáveis entre as faixas de frequência; a troca de ativações entre as faixas preserva a saída do modelo com fidelidade quase perfeita.
Instabilidade e Ruído: A extração é ruidosa; as arestas específicas de cada faixa são altamente instáveis entre execuções independentes (aparecendo em apenas uma de três extrações). Este ruído é funcionalmente irrelevante, pois diferentes extrações estruturalmente distintas produzem saídas equivalentes.
Inflação de Avaliação: A avaliação de nível de fonte infla a precisão aparente do circuito em 0,22 a 0,85 pontos em comparação com a avaliação de nível de aresta, mascarando efetivamente a ausência de especialização.
Invariância Representacional: Embora a dinâmica de processamento (tempo de convergência) varie ligeiramente com a frequência dos tokens, a geometria representacional subjacente e os caminhos causais permanecem amplamente invariantes entre as faixas.

Significância e Alegações

O artigo argumenta que as diferenças estruturais entre circuitos são insuficientes como evidência de mecanismos distintos. A "especialização" observada é um artefato fantasma do processo de extração (poda gananciosa em caminhos redundantes) e da metodologia de avaliação (granularidade de nível de fonte).

Os autores afirmam que:

A degenerescência é prevalente: Algoritmos de descoberta amostram de uma classe de equivalência de subgrafos estruturalmente distintos, mas funcionalmente intercambiáveis, analogamente à degenerescência biológica.
A granularidade importa: A estrutura causal de um modelo manifesta-se de forma diferente em diferentes níveis de descrição. A avaliação de nível de fonte cria um "macroestado" de fidelidade aparente que colapsa a degenerescência subjacente, enquanto a avaliação de nível de aresta revela o verdadeiro mapeamento muitos-para-um.
Mudança Metodológica: Para evitar a interpretação errônea de artefatos de extração como especialização funcional, trabalhos futuros devem empregar testes de transferência entre condições, priorizar a avaliação de nível de aresta e utilizar múltiplas extrações para distinguir mecanismos estáveis de ruído.

O artigo conclui que um único circuito descoberto não deve ser tratado como identificador único do mecanismo subjacente, pois a mesma função pode ser implementada por múltiplas configurações estruturais válidas, dependendo das estatísticas de entrada e das escolhas de extração.