Resumo Técnico: Todos os Circuitos Levam a Roma

Declaração do Problema

O artigo desafia uma suposição central, em grande parte implícita, no campo da interpretabilidade mecânica, conhecida como Hipótese da Anisotropia Funcional. Esta hipótese postula que capacidades ou tarefas específicas dentro de Modelos de Linguagem de Grande Escala (LLMs) são suportadas por um único mecanismo interno, único ou quase único (um circuito ou feixe específico). Sob essa visão, as funções do modelo são assumidas como distribuídas anisotropicamente, o que significa que cada capacidade corresponde a um único subgrafo privilegiado.

Os autores argumentam que essa suposição fundamenta paradigmas de avaliação dominantes na Descoberta de Circuitos e Feixes (CSD), onde o sucesso é medido pela recuperação de um circuito "verdadeiro" ou pela descoberta do menor mecanismo possível que preserve o desempenho da tarefa. O artigo questiona se esses métodos estão realmente identificando um mecanismo subjacente único ou meramente uma de muitas realizações possíveis.

Metodologia

Para investigar sistematicamente a existência de mecanismos concorrentes, os autores introduzem a Repulsão de Feixes Consciente de Sobreposição (OASR).

1. Estrutura de Descoberta de Feixes: O trabalho baseia-se na estrutura DiscoGP, que formula a descoberta de feixes como um problema de seleção de arestas diferenciável. Um feixe é definido como um subgrafo que contribui causalmente para o cálculo e pode sustentar independentemente o desempenho da tarefa (diferentemente de um circuito padrão, que pode depender de ativações corrigidas).
2. Mecanismo OASR: Métodos de descoberta padrão frequentemente convergem para soluções semelhantes devido à inicialização aleatória ou paisagens de otimização. O OASR modifica a função objetivo adicionando uma perda de sobreposição ($L_{overlap}$) explícita.
   • Após descobrir um feixe inicial $R$, o método penaliza a ativação esperada de arestas já selecionadas em $R$.
   • O objetivo combinado é: $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • Essa "repulsão" força o otimizador a encontrar feixes alternativos que sejam fiéis à tarefa, mas estruturalmente distintos (minimizando a Interseção sobre União, ou IoU) dos anteriormente descobertos.
3. Escopo Experimental: Os autores aplicam o OASR em múltiplas tarefas de referência (Identificação de Objeto Indireto [IOI], BLiMP, AGA, ANA, variantes de DNA e Docstring) e modelos (GPT-2 Small e Pythia-160M). Eles também validam suas descobertas em outros métodos de CSD, incluindo ACDC (heurístico), EAP (atribuição baseada em gradiente) e Poda de Arestas (EP).

Resultados Principais

1. Existência de Feixes Funcionalmente Equivalentes e de Baixa Sobreposição

A descoberta empírica primária é que uma única tarefa de LLM pode ser realizada fielmente por múltiplos feixes estruturalmente distintos.

• Estudo de Caso IOI: Usando OASR, os autores descobriram dois feixes para a tarefa IOI que ambos alcançaram 100% de precisão. No entanto, sua sobreposição estrutural (IoU) foi de apenas 4,1%, próxima ao acaso aleatório.
• Generalização: Este fenômeno mantém-se em todas as benchmarks testadas. Para cada tarefa, pares de feixes com alto desempenho, mas IoU muito baixo (tipicamente 4–11%), foram descobertos.
• Efeito de Escala: À medida que o número de feixes descobertos aumenta (até 20 execuções), a interseção mútua de arestas diminui drasticamente (frequentemente para <1% de IoU), enquanto a união de arestas cresce. Isso indica que o espaço de mecanismos válidos é vasto e não converge para um único núcleo.

2. Persistência Através de Métodos

A ruptura da anisotropia funcional não é um artefato do método OASR ou do DiscoGP isoladamente:

• ACDC: Variar a ordem de travessia dos cabeçalhos de atenção (uma escolha de ordenação não semântica) resultou em circuitos significativamente diferentes com baixo IoU, apesar do uso dos mesmos limiares.
• EAP: Alterar informações irrelevantes para a tarefa (por exemplo, trocar nomes em prompts de IOI) levou a circuitos sistematicamente diferentes, desafiando a estabilidade dos métodos baseados em atribuição.
• Poda de Arestas: Ao usar funções de perda específicas para a tarefa, o EP também exibiu alta diversidade nos circuitos descobertos, semelhante ao DiscoGP.

3. Ausência de Componentes Indispensáveis

Os autores testaram uma versão "enfraquecida" da hipótese de anisotropia: que, embora múltiplos feixes existam, eles podem compartilhar um pequeno "núcleo" essencial de arestas indispensáveis.

• Feixe Ultra-Esparsos: Eles identificaram um feixe de três arestas ultra-esparso para IOI que alcançou 86,7% de precisão isoladamente.
• Não Indispensabilidade: No entanto, quando a tarefa foi decomposta (por exemplo, separando os modelos ABBA e BABA) ou quando essas três arestas foram explicitamente proibidas, o processo de descoberta ainda encontrou outros feixes esparsos e de alto desempenho.
• Conclusão: Nenhuma aresta única (ou mesmo o núcleo de três arestas) é estritamente indispensável para todos os mecanismos funcionalmente válidos. A "essencialidade" aparente do núcleo surge apenas quando a tarefa é tratada como um todo agregado.

4. Análise Teórica

O artigo propõe a Hipótese do Circuito Denso Distributivo para explicar essas descobertas.

• Prova Teórica: Sob suposições leves (aditividade residual e linearidade local), os autores provam a existência de múltiplos circuitos estruturalmente distintos e de baixa sobreposição que são $\epsilon$-fiéis à mesma tarefa.
• Mecanismo: Em espaços de alta dimensão, o número de possíveis subconjuntos de arestas cresce combinatorialmente. Devido à superposição linear, subconjuntos distintos de arestas podem produzir vetores de leitura quase idênticos (colisões de soma de subconjuntos). Se a decisão da tarefa for protegida por uma margem finita, essas diferenças estruturais não afetam a previsão final, permitindo múltiplas explicações válidas.

Significado e Alegações

O artigo não afirma invalidar a Descoberta de Circuitos e Feixes (CSD) como um campo; ao contrário, ele pede uma reavaliação fundamental de como os resultados de CSD devem ser interpretados e avaliados.

• Rejeição da Unicidade: Os resultados sugerem que as explicações mecânicas em LLMs são inerentemente não canônicas. Um circuito ou feixe descoberto representa uma realização válida entre muitas em um espaço de mecanismos funcionalmente equivalentes, não o mecanismo subjacente a uma tarefa.
• Crítica à Avaliação: Os paradigmas de avaliação atuais que buscam uma "verdade fundamental" ou um circuito único "mínimo" baseiam-se em uma suposição falha. O artigo argumenta que a busca por um único subgrafo esparsos e indispensável é insuficiente para explicar a não unicidade empírica observada.
• Visão Distribuída: Os autores defendem uma visão distribuída da computação, onde o comportamento da tarefa emerge de um regime denso de mecanismos concorrentes e parcialmente redundantes.
• Implicações: Isso desafia a noção de componentes "essenciais" e sugere que a redundância em LLMs não é meramente um sistema de backup latente (ativado apenas após ablação), mas uma característica fundamental da operação normal do modelo.

Em resumo, o artigo fornece tanto evidências empíricas quanto justificação teórica de que "Todos os Circuitos Levam a Roma" — múltiplos caminhos estruturais distintos podem e de fato suportam o mesmo comportamento funcional em LLMs, minando a suposição de anisotropia funcional.