🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

Este artigo introduz os "circuitos de consulta" (query circuits), um método para rastrear o fluxo de informações específicas de entrada dentro de modelos de linguagem para fornecer explicações fiéis, esparsas e computacionalmente acessíveis para saídas individuais, validadas por uma nova métrica chamada Fidelidade de Desvio Normalizado (NDF) e demonstradas através de múltiplos benchmarks.

Autores originais: Tung-Yu Wu, Fazl Barez

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tung-Yu Wu, Fazl Barez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Grande Modelo de Linguagem (LLM) como uma cidade enorme e movimentada com milhões de estradas, cruzamentos e semáforos. Quando você faz uma pergunta ao modelo (um "prompt"), é como enviar um caminhão de entregas através desta cidade para entregar uma resposta.

Por muito tempo, pesquisadores tentaram entender como esta cidade funciona mapeando padrões de tráfego gerais. Eles sabem, por exemplo, que a "Rota A" é sempre usada quando a cidade precisa encontrar um objeto oculto, ou que a "Rota B" é usada para problemas matemáticos. Estes são chamados de circuitos de capacidade.

No entanto, conhecer a rota geral não explica por que o caminhão fez um caminho específico para a sua entrega específica hoje. Talvez tenha havido uma zona de obras, um desvio repentino ou um semáforo único que só importou para esta viagem específica.

Este artigo introduz uma nova maneira de olhar para a cidade: Circuitos de Consulta (Query Circuits). Em vez de olhar para o mapa geral, os autores querem rastrear o caminho exato e minúsculo que o caminhão percorreu para a sua pergunta específica.

Aqui está uma decomposição da descoberta deles usando analogias simples:

1. O Problema: O Mapa "Substituto" Estava Errado

Anteriormente, para entender uma viagem específica, os pesquisadores tentavam construir um modelo da cidade pequeno e simplificado (um "substituto") e rastrear o caminho ali.

A Analogia: Imagine tentar entender um congestionamento complexo em Nova York construindo um modelo de brinquedo da cidade feito de LEGOs. Você traça o caminho nos LEGOs, esperando que ele corresponda à cidade real.
O Probleo: O artigo argumenta que esses modelos de LEGO muitas vezes não correspondem perfeitamente à cidade real. Eles perdem detalhes e construí-los é lento e caro. Os autores queriam rastrear o caminho diretamente na cidade real (o modelo real) sem precisar de uma versão de brinquedo.

2. A Solução: A Loteria "Best-of-N"

Os autores descobriram que encontrar o caminho exato para uma pergunta específica é surpreendentemente difícil. Se você apenas observar os semáforos para uma pergunta, os dados costumam ser "ruidosos" (como estática em um rádio), tornando difícil ver o caminho verdadeiro.

A Analogia: Imagine que você está tentando encontrar um bilhete de loteria vencedor, mas os números do bilhete estão levemente borrados. Se você tentar escolher o vencedor baseado em apenas um bilhete, pode escolher o errado.
A Correção: Os autores propõem um método chamado Best-of-N (BoN).
1. Pegue sua pergunta original.
2. Faça o modelo responder a mesma pergunta, mas formulando-a de 9 maneiras diferentes (paráfrases). É como perguntar: "Qual é a cor do céu?" versus "Descreva a cor do céu em um dia claro".
3. Rastreie o caminho para todas as 10 versões.
4. Escolha o vencedor: Escolha o caminho que funcionou melhor.
O Resultado: Mesmo que a pergunta original estivesse "borrada", uma das versões refraseadas foi clara o suficiente para revelar o verdadeiro caminho oculto. Ao verificar múltiplas versões, eles encontraram um "bilhete vencedor" que explica com precisão como o modelo respondeu.

3. O Novo Placar: NDF

Para saber se encontraram o caminho certo, eles precisavam de uma maneira de medir o sucesso. O placar antigo (chamado NFS) estava quebrado para perguntas complexas; ele dava pontuações como "200%" ou "-50%", o que não fazia sentido.

A Analogia: É como um velocímetro que às vezes diz que você está dirigindo para trás a 100 mph ou para frente a 500 mph quando você está, na verdade, dirigindo a 60.
A Correção: Eles inventaram um novo placar chamado NDF (Fidelidade de Desvio Normalizado). Este é um velocímetro confiável que sempre permanece entre 0 e 1.
- 1.0 significa que o caminho que encontraram é perfeito (explica a resposta do modelo exatamente).
- 0.0 significa que o caminho é inútil.
- Este novo placar permite que eles confiem em suas descobertas, mesmo em tópicos difíceis como exames médicos ou astronomia.

4. A Grande Surpresa: A Cidade está Majoritariamente Vazia

A descoberta mais emocionante é que, para qualquer pergunta individual, o modelo não usa a cidade inteira. Ele usa apenas um bairro pequeno e específico.

A Analogia: Você pode pensar que um caminhão de entrega precisa usar 50% das estradas da cidade para ir do ponto A ao ponto B. Mas os autores descobriram que, para uma pergunta específica, o caminhão usa apenas cerca de 1,3% das estradas.
A Prova: Eles mostraram que, se bloquearem 98,7% da cidade e permitirem que o caminhão use apenas esse caminho minúsculo de 1,3%, ele ainda consegue responder à pergunta corretamente cerca de 60% das vezes. Isso prova que o "cérebro" do modelo é incrivelmente esparso e eficiente para tarefas individuais.

Resumo

O artigo introduz uma nova ferramenta para explicar exatamente como uma IA responde a uma pergunta específica.

Eles pararam de usar "modelos de brinquedo" e olharam diretamente dentro da IA real.
Eles perceberam que fazer a mesma pergunta de maneiras diferentes ajuda a revelar a "verdade" oculta de como a IA pensa.
Eles criaram uma maneira melhor de medir se sua explicação está correta.
Eles provaram que, para qualquer pergunta individual, a IA usa apenas uma fração minúscula e específica de seu céreus massivo para realizar o trabalho.

Isso nos move de saber "como a IA faz matemática em geral" para entender "exatamente como a IA resolveu este problema de matemática".

Resumo Técnico: Circuitos de Consulta: Explicando Como Modelos de Linguagem Respondem a Prompts de Usuários

1. Definição do Problema

A pesquisa atual em interpretabilidade mecanística tem se concentrado amplamente na descoberta de circuitos de capacidade, que identifica sub-redes globais responsáveis por habilidades algorítmicas específicas (ex: identificação de objeto indireto ou comparações de "maior que") através de um conjunto de dados. Embora valiosa, esses métodos não explicam por que um Modelo de Linguagem de Grande Escala (LLM) produz uma saída específica para um único e específico input de consulta de usuário (explicação ao nível de instância).

Abordagens existentes para circuitos de nível de instância dependem fortemente de modelos substitutos (surrogates), como Autoencoders Esparsos (SAEs) ou Transcodificadores de Camada Cruzada (CLTs). Esses substitutos são frequentemente usados para aproximar o comportamento do LLM porque oferecem ativações esparsas que facilitam a descoberta de circuitos. No entanto, o artigo argumenta que esses substitutos frequentemente falham em reconstruir fielmente as ativações do modelo original e podem não capturar os verdadeiros mecanismos computacionais do LLM. Além disso, treinar esses substitutos é computacionalmente caro, limitando sua acessibilidade.

O artigo introduz a tarefa de Descoberta de Circuito de Consulta: identificar uma sub-rede esparsa e fiel diretamente dentro do LLM original (in-place) que impulsiona a resposta do modelo a uma única consulta de entrada. Esta abordagem visa fornecer explicações locais, ao nível do input, sem depender de modelos substitutos potencialmente infiéis.

2. Metodologia

Os autores propõem um framework para abordar dois desafios técnicos primários na descoberta de circuitos de consulta: a instabilidade das métricas de avaliação existentes e a ineficácia dos métodos de descoberta padrão em consultas únicas.

2.1. Métrica de Avaliação: Fidelidade de Desvio Normalizado (NDF)

A métrica padrão para descoberta de circuitos, a Pontuação de Fidelidade Normalizada (NFS), mostra-se instável em conjuntos de dados gerais (ex: MMLU). Os valores de NFS frequentemente flutuam drasticamente, excedendo 1 ou caindo abaixo de 0, tornando impossível rastrear de forma confiável o progresso da descoberta ou comparar a qualidade do circuito.

Para resolver isso, os autores introduzem a Fidelidade de Desvio Normalizado (NDF):
$\text{NDF}(C_q) = 1 - \min\left( \left| \frac{L(M(q)) - L(C_q(q))}{L(M(q)) - L(M(q'))} \right|, 1 \right)$
Onde:

$M$ é o LLM alvo.
$C_q$ é o circuito de consulta descoberto.
$q$ é a consulta original, e $q'$ é uma consulta corrompida (ex: com pistas factuais chave removidas).
$L(\cdot)$ é uma métrica de desempenho (ex: diferença de logit).

Propriedades Chave do NDF:

Limitado: É estritamente limitado no intervalo $[0, 1]$ .
Simétrico: Penaliza desvios acima e abaixo do desempenho do modelo de forma igual.
Interpretabilidade: Uma pontuação de 1 indica que o circuito recupera perfeitamente o desempenho do modelo; 0 indica que o desvio é tão grande quanto a lacuna entre as consultas original e corrompida.

2.2. Método de Descoberta: Amostragem Best-of-N (BoN)

Métodos padrão de pontuação de arestas (como o Edge Attribution Patching, EAP) frequentemente falham em encontrar circuitos compactos e fiéis para consultas únicas devido ao ruído de gradiente e à negligência de efeitos combinatórios entre as arestas. Os autores observam que, embora um circuito descoberto em uma consulta específica possa falhar, circuitos descobertos em paráfrases dessa consulta frequentemente têm sucesso.

Com base nisso, eles propõem a Amostragem Best-of-N (BoN):

Parafraseamento: Gerar $p$ paráfrases da consulta original $q$ .
Pontuação: Calcular pontuações de importância de aresta (usando EAP-IG) para a consulta original e todas as paráfrases, resultando em $p+1$ matrizes de pontuação de aresta.
Seleção: Construir $p+1$ circuitos candidatos (um para cada matriz de pontuação) e selecionar aquele com a maior pontuação NDF.

Para melhorar a eficiência e evitar rodar o LLM $p+1$ vezes para cada orçamento de aresta, os autores propõem duas variantes:

BoN Interpolado (iBoN): Interpola entre dois circuitos fiéis previamente descobertos de diferentes tamanhos para formar um novo circuito sem passagens de forward adicionais.
BoN com Matriz de Pontuação Adaptativa de Restrição (BoN-CSM): Agrega matrizes de pontuação de todos os circuitos descobertos anteriormente em uma matriz de pontuação e matriz de nível unificadas, permitindo a construção eficiente de novos circuitos de vários tamanhos.

3. Contribuições Principais

Formulação da Tarefa: O artigo define formalmente a Descoberta de Circuito de Consulta, distinguindo-a da descoberta de circuitos de capacidade global e das abordagens de nível de instância baseadas em substitutos. Ele enfatiza o rastreamento do fluxo de informação diretamente dentro do modelo original.
Avaliação Robusta (NDF): Os autores identificam a instabilidade do NFS em conjuntos de dados gerais e propõem o NDF como uma métrica mais confiável, limitada e simétrica para avaliar circuitos de consulta.
Descoberta Eficiente (BoN): Eles introduzem a amostragem Best-of-N e suas variantes (iBoN, BoN-CSM) para superar as limitações de ruído de gradiente e efeitos combinatórios, permitindo a descoberta de circuitos compactos e fiéis para consultas de linguagem natural complexas.
Validação Empírica: O artigo demonstra que circuitos de consulta esparsos existem dentro de LLMs e recuperam uma parte significativa do desempenho do modelo em consultas individuais, mesmo para tarefas complexas como MMLU e ARC Challenge.

4. Resultados Experimentais

Os autores avaliaram seus métodos através de múltiplos benchmarks: Identificação de Objeto Indireto (IOI), tarefas aritméticas, ARC Challenge e nove categorias de MMLU.

Desempenho: A amostragem BoN superou consistentemente os baselines (pontuação de consulta única e média de pontuações sobre paráfrases).
Esparsidade: No MMLU, um circuito de consulta contendo apenas 1,3% do total de arestas do modelo (aprox. 5.000 arestas no Llama-3.2-1B-Instruct) alcançou um NDF médio de 0,6, recuperando cerca de 60% do comportamento do modelo naquela consulta. Em contraste, o EAP-IG padrão exigiu significativamente mais arestas (até 51,7% do modelo) para atingir níveis de desempenho semelhantes.
Sub-circuitos Compartilhados: A análise revelou que, embora os circuitos de consulta variem com base no parafraseamento, eles compartilham um conjunto central de arestas (um "sub-circuito compartilhado") que corresponde à capacidade subjacente, apoiando a hipótesia de que esses circuitos não são "bilhetes de loteria" aleatórios, mas variantes de um mecanismo comum.
Acionabilidade: Em experimentos envolvendo viés de gênero, circuitos com pontuações NDF mais altas foram encontrados para serem mais acionáveis. Zerar as características identificadas por circuitos de alto NDF resultou em uma redução de viés significativamente maior comparado a circuitos de baixo NDF, sugerindo que o NDF é um proxy confiável para a capacidade do circuito de capturar computações significativas.

5. Significância e Alegações

O artigo afirma que a Descoberta de Circuito de Consulta representa um passo significativo em direção a explicações fiéis e escaláveis de como os modelos de linguagem processam inputs individuais.

Fidelidade: Ao operar diretamente dentro do modelo (in-place) em vez de depender de substitutos, as explicações são mais fiéis aos reais mecanismos computacionais do modelo.
Escalabilidade: Os métodos de amostragem BoN propostos permitem a descoberta desses circuitos sem o custo computacional proibitivo de treinar modelos substitutos ou realizar excessivas passagens de forward.
Praticidade: A descoberta de sub-redes esparsas (ex: 1,3% das conexões) que explicam a maior parte do comportamento do modelo em consultas específicas sugere que os LLMs processam inputs individuais através de caminhos altamente localizados, tornando-os suscetíveis a uma análise mecanística detalhada.

Os autores concluem que, embora desafios permaneçam (como lidar com a geração de múltiplos tokens e automatizar totalmente a rotulagem legível por humanos), seu trabalho estabelece um caminho prático para explicar decisões de LLMs no nível do prompt, o que é essencial para o deployment em domínios de alto risco, como medicina e sistemas autônomos.