Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

Imagine uma máquina massiva e complexa (como um modelo de linguagem gigante) que pode escrever histórias, resolver problemas matemáticos ou responder perguntas. Cientistas descobriram como encontrar as "engrenagens e alavancas" específicas dentro desta máquina que fazem ela realizar uma tarefa específica. Isso é chamado de localizar o circuito.

No entanto, apenas encontrar as engrenagens não é o suficiente. Ainda não sabemos exatamente o que cada engrenagem faz ou como elas trabalham juntas. Geralmente, um especialista humano tem que passar horas encarando a máquina, adivinhando o que uma peça faz, testando seu palpite e tentando novamente. Isso é lento, entediante e difícil de escalar.

Este artigo pergunta: Podemos contratar um detetive robô (um Agente de Modelo de Linguagem) para fazer esse trabalho de detetive por nós?

Aqui está a divisão do experimento deles, usando analogias simples:

1. O Problema: O Mistério da "Caixa Preta"

Pense no modelo de linguagem como um cofre gigante e trancado. Cientistas já usaram ferramentas especiais para encontrar os tumblers específicos (o "circuito") que abrem o cofre. Mas eles não sabem o que cada tumbler faz.

• O Jeito Antigo: Um detetive humano tenta adivinhar: "Talvez este tumbler gire a fechadura?". Ele testa. Se falhar, ele adivinha de novo. Leva muito tempo.
• A Nova Ideia: Podemos dar o trabalho para um detetive de IA que pode pensar, escrever código para testar suas próprias teorias e corrigir seus erros?

2. O Campo de Treinamento: Um Cofre "Brinquedo"

Para testar se o detetive de IA funciona, os pesquisadores não poderiam usar um cofre real e bagunçado (um modelo de linguagem do mundo real) porque eles não saberiam a resposta "correta" para conferir.

Em vez disso, eles construíram 84 "Cofres de Brinquedo" (chamados de AGENTICINTERPBENCH).

• Estes são máquinas artificiais pequenas construídas do zero.
• Os pesquisadores sabem exatamente como elas funcionam porque as construíram a partir de um conjunto simples de instruções (como uma receita).
• Eles sabem exatamente o que cada engrenagem deve fazer. Isso permite que eles avaliem o detetive de IA: "Você adivinhou corretamente?"

3. O Detetive: HYVE (O Ciclo "Hipotetizar, Validar, Explicar")

Os pesquisadores criaram um agente de IA chamado HYVE. O HYVE não apenas adivinha; ele segue uma rotina estrita de detetive para cada engrenagem na máquina:

1. Observar: O HYVE olha para a engrenagem. "Hmm, quando a entrada é 'x', esta engrenagem brilha em vermelho forte. Quando é 'y', ela permanece escura."
2. Hipotetizar: O HYVE faz um palpite. "Eu aposto que esta engrenagem é um 'Detector de Luz Vermelha' que só liga para 'x'."
3. Validar (O Teste): Esta é a parte mais importante. O HYVE escreve um programa de computador para testar seu palpite. Ele pode dizer: "Vamos forçar esta engrenagem a permanecer escura mesmo quando a entrada for 'x' e ver se a máquina quebra."
   • Se a máquina quebrar exatamente como previsto, o palpite é confirmado.
   • Se a máquina continuar funcionando, o palpite é errado. O HYVE tem que voltar ao passo 2 e tentar um novo palpite.
4. Explicar: Assim que todas as engrenagens são testadas, o HYVE escreve um resumo: "Esta máquina é uma 'Calculadora de Frações' que conta quantas vezes o 'x' aparece na frase."

4. Os Resultados: O Detetive é Bom, Mas Não Perfeito

Os pesquisadores testaram o HYVE usando quatro "cérebros" diferentes (diferentes modelos de linguagem grandes) para ver qual deles era o melhor detetive.

• Sucesso: Os agentes de IA foram surpreendentemente bons! Eles conseguiram identificar corretamente o que as engrenagens faziam cerca de 79% das vezes e descrever a tarefa geral cerca de 83% das vezes.
• O Gargalo: A IA foi ótima em fazer o palpite inicial (a hipótese). O problema aconteceu na fase de teste.
  • Às vezes, a IA escreveu um plano de teste muito vago.
  • Às vezes, a IA escreveu código para executar o teste, mas o código tinha bugs (como um detetive que escreve um plano de teste, mas esquece de levar a lanterna).
  • Analogia: É como um detetive que tem uma teoria brilhante sobre quem é o assassino, mas quando tenta ir à cena do crime para verificar um álibi, se perde ou fica trancado para fora do prédio.

Quem foi o melhor?

• Claude-Sonnet foi o melhor em realmente executar os testes sem travar (escrevendo código sem bugs).
• Gemini foi o melhor em escrever a explicação final, fácil de entender.
• GPT-5.4 foi ótimo em planejar os testes, mas seu código frequentemente falhava ao ser executado.

5. O Teste do Mundo Real: O Caso de Estudo "Llama"

Para ver se isso funcionava fora de seus "Cofres de Brinquedo", eles tentaram o HYVE em um modelo de linguagem real, treinado naturalmente (Llama-3-8B) que faz matemática.

• Eles deram ao HYVE um circuito encontrado por outros humanos que ajuda o modelo a somar três números.
• Resultado: O detetive de IA conseguiu descobrir que algumas engrenagens eram "cabeças de transferência" (movendo números de um lugar para outro) e identificou corretamente que outras engrenagens eram apenas "redundantes" (pareciam importantes, mas não eram realmente necessárias).
• Isso provou que o método funciona mesmo em máquinas reais e bagunçadas, não apenas nos cofres de brinquedo limpos.

A Conclusão

O artigo conclui que agentes de IA são ferramentas promissoras para explicar como a IA funciona. Eles podem fazer o trabalho pesado de adivinhar e testar. No entanto, eles ainda não são perfeitos. O principal obstáculo é a confiabilidade: a IA precisa melhorar na escrita do código que realmente testa suas próprias teorias sem cometer erros.

Até que a IA melhore em "realizar o experimento" (o ciclo de validação), especialistas humanos ainda precisarão conferir o trabalho. Mas este é um grande passo em direção à automação da compreensão de cérebros de IA complexos.