Resumo Técnico: LLMs Podem Anotar Grafos de Atribuição

Declaração do Problema

A interpretabilidade mecanística avançou técnicas para revelar os grafos de computação internos de modelos de linguagem, conhecidos como rastreamento de circuitos (circuit tracing). Essas técnicas produzem grafos de atribuição onde os nós representam componentes individuais do modelo, como neurônios MLP ou recursos de Autoencoders Esparsos (SAEs). Embora esses nós possam ser interpretados via seus exemplos de texto de maior ativação, o processo atualmente exige uma etapa manual laboriosa: agrupar recursos individuais em "supernós" (conjuntos de neurônios ou recursos correspondentes a conceitos semelhantes). Anotar totalmente um único grafo de atribuição pode levar de uma a duas horas de pesquisador, criando um gargalo para a escala da pesquisa de interpretabilidade. Tentativas automatizadas existentes para abordar isso, como o agrupamento de perfis de atribuição ou o uso de prompts de sondagem (probes), ainda não forneceram uma solução geral e de baixo custo para exploração aberta.

Metodologia

Os autores apresentam um pipeline simples e automatizado que utiliza um Grande Modelo de Linguagem (LLM) para substituir anotadores humanos na etapa de agrupamento de supernós. O pipeline opera em três fases:

1. Geração de Descrição de Recurso: Para cada recurso em um grafo de atribuição podado, o sistema gera uma descrição em linguagem natural. Isso segue o protocolo padrão "autointerp": um LLM recebe os exemplos de texto de maior ativação do recurso (do Neuronpedia) e informações de logits sobre tokens que o recurso promove ou suprime. O LLM produz um rótulo conciso e uma descrição breve (ex: "dizer capital" ou "Texas (estado)").
2. Agrupamento de Supernós: O pipeline utiliza um segundo LLM (especificamente o GPT-5 mini) para agrupar essas descrições em supernós através de um processo de três estágios:
   • Descoberta: O LLM é apresentado aos 50 recursos de maior influência e solicitado a identificar e nomear grupos semânticos significativos.
   • Atribuição Iterativa: Os recursos restantes são processados em lotes de 50. O LLM atribui cada um a um grupo existente, cria um novo grupo (se o conceito for distinto e relevante) ou o deixa sem agrupamento.
   • Refinamento: Uma passagem final remove grupos irrelevantes, mescla equivalentes e reatribui recursos mal posicionados com base em heurísticas estritas (ex: separar recursos de promoção de "dizer X" de recursos do conceito "X em si", e evitar tokens gramaticais).
3. Custo e Escala: O pipeline é de baixo custo, variando de aproximadamente 3 a 6 centavos por grafo para grafos fortemente podados (80 nós) a 61 centavos para grafos mais densos (585 nós).

Principais Contribuições

1. Pipeline Automatizado: Um método simples e de baixo custo para anotar grafos de atribuição usando um LLM, eliminando a necessidade de agrupamento manual de supernós.
2. Validação de Interpretabilidade: Demonstração de que os supernós gerados por este pipeline são tão interpretáveis quanto os criados por especialistas humanos, de acordo com métricas automatizadas.
3. Alta Recuperação em Tarefas de 2 Saltos (2-Hop): Aplicação à bem estudada tarefa de "Capitais de dois saltos", onde o pipeline recuperou com sucesso o supernó do salto intermediário (ex: identificando "Texas" na consulta "A capital do estado que contém Dallas é") em 97 de 100 prompts.
4. Prova de Conceito para Exploração Aberta: Uma demonstração de escalonamento do pipeline para anotar 1.000 conclusões de prompts da Wikipedia, usando um juiz LLM para filtrar grafos que exibem comportamentos internos interessantes ou surpreendentes (ex: planejamento oculto ou hipóteses paralelas concorrentes).

Resultados

O artigo avalia o pipeline contra baselines anotados por humanos e agrupamentos aleatórios usando duas métricas de interpretabilidade automatizadas:

• Pontuação de Detecção de Recurso: Um LLM consegue identificar qual recurso pertence a um supernó específica dada a descrição do supernó?
• Pontuação de Detecção de Texto: Um LLM consegue identificar quais amostras de texto ativam um supernó dada a descrição do supernó?

Achados Quantitativos:

• Em 15 grafos de referência, o pipeline automatizado (usando o conjunto completo de recursos) alcançou uma pontuação de Detecção de Recurso de 93,4% e uma pontuação de Detecção de Texto de 83,2%, excedendo ligeiramente a baseline anotada por humanos (66,6% e 81,8%, respectivamente).
• O desempenho do pipeline é robusto através de diferentes tamanhos de grupo e etapas de refinamento.
• Na tarefa de Capitais, o pipeline recuperou o supernó do salto intermediário em 97/100 casos. A intervenção causal (ajuste de patch restrito/constrained patching) confirmou que a supressão desses supernós reduzia a probabilidade da resposta correta, enquanto a amplificação deles a aumentava.
• Generalização: Quando aplicado a neurônios MLP brutos (em vez de recursos de transcoder), o pipeline agrupou menos recursos (21,6% vs. 60,2% para transcoders), sugerindo que os neurônios MLP são menos limamente separáveis em conceitos, mas o pipeline ainda funcionou.

Achados Qualitativos:

• O pipeline identificou com sucesso estruturas complexas, como hipóteses paralelas concorrentes (ex: múltiplas categorias do Oscar ativas simultaneamente) e conceitos intermediários ocultos (ex: recursos relacionados a rios ativando em um prompt sobre uma rodovia, revelando planejamento interno).
• Limitações: Em tarefas aritméticas, o pipeline produziu supernós que eram muito genéricos (ex: "TOKENS DE DÍGITOS" ou "CONTEXTO NUMÉRICO") para revelar mecanismos finos conhecidos, como estimativa de magnitude vs. busca exata. Isso sugere que, embora o agrupamento seja internamente coerente, pode nem sempre capturar a estrutura mecanística profunda sem maior refinamento.

Significância e Alegações

Os autores alegam que este trabalho demonstra que a automação simples pode produzir anotações de grafos de atribuição significativas, removendo efetivamente um grande gargalo de trabalho na interpretabilidade mecanística.

O artigo argumenta que esta automação permite:

• Escalabilidade: Mover da anotação de um único grafo para a exploração de milhares, facilitando buscas não supervisionadas por comportamentos interessantes do modelo.
• Geração de Hipóteses: Servir como uma ferramenta para trazer à tona potenciais circuitos (como planejamento ou raciocínio de múltiplos saltos) para investigação humana posterior.
• Acessibilidade: Reduzir o custo e o tempo necessários para interpretar os internos do modelo, potencialmente acelerando o campo mais amplo da interpretabilidade.

Os autores permanecem modestos, reconhecendo que seu pipeline atual é simplificado (ignorando informações espaciais, fluxo de atribuição e estratégias de busca reversa) e que a interpretação humana frequentemente depende de mais contexto do que o pipeline utiliza atualmente. No entanto, eles postulam que o "fruto baixo" (low-hanging fruit) de automatizar a etapa de anotação é significativo o suficiente para motivar mais trabalhos em rastreamento de circuitos automatizado.