💬 NLP

Automated Attribution Graph Interpretation via Probe Prompting

Este artigo introduz o "probe prompting", um pipeline baseado em regras transparente que agrupa características em grafos de atribuição em supernós alinhados a conceitos usando Assinaturas de Ativação de Cross-Prompt, validando com sucesso seu comportamento de direcionamento causal através de domínios fatuais com overhead computacional mínimo.

Autores originais: Giuseppe Birardi, Gonçalo Paulo

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Giuseppe Birardi, Gonçalo Paulo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem Grande (LLM) como uma cidade enorme e movimentada com milhões de trabalhadores (neurônios) passando notas uns para os outros para responder a uma pergunta. Sabemos exatamente como as notas são passadas (a matemática), mas a cidade é tão grande e as notas tão complexas que é impossível para um humano olhar para o mapa e dizer: "Ah, este grupo específico de trabalhadores é o responsável pelo fato de a capital do Texas ser Austin".

Este artigo apresenta uma nova maneira de mapear essa cidade, chamada Probe Prompting (Prompt de Sondagem). Veja como funciona, usando analogias simples:

1. O Problema: Uma Cidade Grande Demais para Ler

Anteriormente, pesquisadores tentavam entender o modelo olhando para "grafos de atribuição". Pense neles como plantas arquitetônicas que mostram quais trabalhadores influenciaram a resposta final.

O Problema: Mesmo para uma pergunta simples como "Qual é a capital do Texas?", a planta tem milhares de linhas e nós. É como tentar ler um romance olhando para cada letra individualmente. Leva horas para traçar apenas um caminho, e fazer isso para milhares de perguntas é impossível.
A Maneira Antiga: Alguns pesquisadores tentaram pedir a uma IA para rotular esses trabalhadores ("Este aqui é sobre 'Texas'"). Mas, frequentemente, a IA estava apenas adivinhando com base no que o trabalhador costumava fazer, não no que ele realmente fez naquele momento específico.

2. A Solução: O Detetive de "Sondagem"

Os autores criaram um sistema transparente e baseado em regras chamado Probe Prompting. Em vez de adivinhar, eles tratam o modelo como um suspeito em um jogo de detetive.

A Configuração: Eles pegam uma pergunta específica (ex: "A capital do Texas é...") e geram um pequeno conjunto de perguntas de "sondagem" que são quase idênticas, mas trocam os detalhes (ex: "A capital da Flórida é...", "A capital de Nova York é...").
O Teste: Eles observam como trabalhadores específicos (características/features) reagem a essas sondagens.
- Analogia: Imagine que você tem um segurança em um prédio. Para ver o que ele faz, você não apenas o observa uma vez. Você pergunta a ele: "O que você faz quando uma pessoa chamada 'João' entra?". Depois: "E quanto à 'Maria'?". Depois: "E quanto ao 'Pedro'?".
- Se ele só reage quando o "João" entra, ele é um Detector de João.
- Se ele reage a qualquer nome, ele é um Detector de Nomes.
- Se ele reage quando alguém diz "é" ou "o/a", ele é um Ajudante de Gramática.

3. Agrupando os Trabalhadores: "Supernós"

Com base nessas reações, o sistema agrupa milhares de trabalhadores individuais em Supernós.

A Magia: Em vez de olhar para 5.000 trabalhadores individuais, o sistema diz: "Ok, esses 50 trabalhadores agem todos como 'Detectores de Texas', então vamos chamá-los de um grande time: Time Texas".
O Resultado: O mapa da cidade, enorme e confuso, é agora comprimido em um diagrama simples e legível com apenas alguns times nomeados (ex: Time Texas, Time Austin, Time "Capital").

4. A Prova: O Experimento de "Troca"

Como sabemos que esses rótulos são reais e não apenas um palpite de sorte? Os autores realizam uma Troca Causal.

O Experimento: Eles pegam uma pergunta sobre Dallas (onde a resposta deveria ser Austin) e tentam forçar o modelo a responder Minnesota (onde a resposta é St. Paul).
O Método: Eles "abaixam o volume" dos trabalhadores rotulados como Time Dallas e "aumentam o volume" dos trabalhadores rotulados como Time Minnesota.
O Resultado:
- Quando usaram seus rótulos de Probe Prompting, o modelo conseguiu mudar sua resposta de Dallas para Minnesota cerca de 73% das vezes.
- Quando usaram um Controle Aleatório (escolhendendo trabalhadores aleatórios para trocar, ignorando os rótulos), o modelo quase nunca mudou sua resposta corretamente.
- Quando usaram um Controle de Influência (escolhendo os trabalhadores mais "barulhentos" independentemente do que fazem), o modelo também falhou em mudar a resposta corretamente.

5. Principais Descobertas em Linguagem Simples

Funciona: O sistema identificou com sucesso quais trabalhadores controlam fatos específicos. Ao agrupá-los, eles tornaram o "cérebro" do modelo legível.
Menos é Mais: Às vezes, tentar controlar cada parte da frase (o nome da cidade, o nome do estado e a capital) na verdade confunde o modelo. Funciona melhor se você apenas ajustar as partes específicas relacionadas à resposta (o estado e a capital).
É Transparente: Ao contrário de alguns métodos de IA que são "caixas pretas", este sistema usa regras claras e legíveis por humanos. Se um pesquisador quiser verificar o trabalho, ele pode ver exatamente por que um trabalhador foi agrupado com um determinado time.

Resumo

O artigo apresenta uma ferramenta que transforma um mapa caótico e ilegível do cérebro de um modelo de linguagem em um diagrama limpo e rotulado. Ele faz isso testando como as partes do modelo reagem a perguntas ligeiramente diferentes, agrupando partes semelhantes e provando que esses grupos realmente controlam o comportamento do modelo ao trocar respostas com sucesso em um experimento controlado.

O que o artigo NÃO afirma:

Não afirma que isso funcione para todas as tarefas de IA (como escrever código ou ter uma conversa); foi testado especificamente em perguntas factuais (como capitais, autores de livros e fundadores de empresas).
Não afirma que corrige o modelo ou o torna mais inteligente; ele apenas ajuda os humanos a entender como ele funciona.
Não afirma que funciona em todos os idiomas ou tamanhos de modelos ainda; os testes foram feitos em um modelo específico de inglês (Gemma-2-2B).

Resumo Técnico: Interpretação Automática de Grafos de Atribuição via Probe Prompting

Definição do Problema
Embora os caminhos computacionais do input para o output em Grandes Modelos de Linguagem (LLMs) sejam teoricamente conhecidos, a densidade dessas computações as torna opacas à interpretação humana. Métodos existentes de interpretabilidade mecanística, como Autoencoders Esparsos (SAEs) e Transcodificadores Cross-Layer (CLTs), decompõem com sucesso ativações densas do modelo em características esparsas. No entanto, os grafos de atribuição resultantes permanecem grandes demais para análise manual; um único prompt factual curto pode gerar grafos com 600 a 5.000 nós. Técnicas atuais de interpretação automatizada, que frequentemente dependem da pontuação de ativações de corpus por LLMs, falham em fornecer validação causal ou insights de interação ao nível de circuito. Há uma necessidade crítica de métodos de agrupamento automatizados, vinculados ao comportamento, que possam escalar de estudos de caso individuais para catálogos extensos de circuitos sem exigir rastreamento manual.

Metodologia: Probe Prompting
O artigo introduz o probe prompting, um pipeline transparente e baseado em regras projetado para converter grafos de atribuição complexos em um conjunto compacto de "supernós" alinhados a conceitos. A metodologia procede através de quatro estágios distintos:

Geração de Grafo de Atribuição: Usando Neuronpedia e dicionários CLT, o sistema gera grafos de atribuição para prompts semente (ex: "A capital do estado que contém Dallas é").
Geração de Probe Prompts: Para cada semente, um LLM gera um pequeno conjunto de prompts de sondagem direcionados a conceitos. Esses probes mantêm a estrutura sintática da semente (preposições, posição da resposta), mas variam as entidades de conteúdo.
Assinaturas de Ativação Cross-Prompt (CPAS): O sistema mede as ativações de características através do conjunto de probes. Em vez de depender de um único pico de prompt (que é ambíguo), ele agrega métricas como consistência de pico, esparsidade e similaridade de cosseno relativa à semente. Essa agregação forma uma CPAS para cada característica.
Formação de Supernós Baseada em Regras: Uma árvore de decisão determinística mapeia métricas CPAS para um de quatro papéis funcionais:
- Semântico-Dicionário (SEM-DICT): Características que consistentemente atingem o pico em um único token semântico (ex: "Texas").
- Semântico-Conceito (SEM-CONC): Características que atingem o pico em uma família de tokens relacionados (ex: nomes de artistas).
- Relacionamento (REL): Características com padrões de ativação difusos que codificam relações em vez de entidades.
- Say-X (SAY-X): Características que atingem o pico em tokens funcionais (ex: "é", "o/a") em posições previsíveis em relação a um alvo semântico, efetivamente promovendo o output.
  Características que compartilham o mesmo papel e nome são fundidas em um supernó.

Protocolo de Validação Causal
Para validar a utilidade desses supernós, os autores empregam um protocolo de intervenção causal envolvendo experimentos de troca de entidade. Para um par origem-alvo (ex: Dallas $\to$ Austin), o sistema ablaciona características associadas à origem e amplifica características associadas ao alvo. O sucesso é medido pelo fato de o modelo redirecionar sua previsão para a entidade alvo.

Crucialmente, o artigo introduz dois controles rigorosos para garantir que os resultados não sejam artefatos da contagem de características ou influência do grafo:

Controle de Correspondência Aleatória (Matched-Random Control): Um conjunto aleatório de características com a mesma contagem e distribuição de camada do conjunto rotulado, extraído de fora dos supernós alinhados a conceitos.
Controle de Top-K por Influência (Influence-Matched Top-K Control): Um baseline que seleciona as top- $K$ características por influência de grafo para igualar o orçamento de influência cumulativa da intervenção rotulada.

Resultados Principais
O método foi avaliado em quatro domínios factuais (capitais de estados dos EUA, personagens de livros, fundadores de empresas e artistas de pintura) usando o modelo Gemma-2-2B com um dicionário CLT público, totalizando 44.596 execuções de intervenção.

Superioridade sobre os Baselines: Os supernós rotulados superaram significativamente tanto o controle aleatório quanto o de influência. No domínio dos EUA, a abordagem rotulada alcançou um Hit% de 72,8% (redirecionamento bem-sucedido) comparado a 0,7% para o matched-random e 4,2% para o baseline de influência Top-K.
Eficiência vs. Anotação Humana: Em um estudo de caso comparando o pipeline automatizado a um grafo curado por humanos para o prompt Dallas/Austin, o método automatizado alcançou taxas de sucesso comparáveis (40/49 fontes vs. 38/49 para humanos), mas exigiu um conjunto de características maior (96,5 características vs. 4 características por chamada). No entanto, o método automatizado identificou com sucesso caminhos de redirecionamento que a curadoria humana perdeu para estados de origem específicos, demonstrando não-redundância.
Aditividade de Campo: O estudo descobriu que "menos é mais". Intervenções focadas em campos intermediários e de resposta (ex: o estado e a capital) foram significativamente mais eficazes do que incluir o campo de entrada (a cidade), que frequentemente codifica o que o modelo lê, em vez do que ele deve produzir.
Força de Direcionamento (Steering Strength): O multiplicador de amplificação ideal ( $M$ ) foi encontrado como bimodal (com picos em torno de $M \approx 2,4$ e $M \approx 6,9$ ), desafiando o padrão $M=20$ usado no steering de característica única.

Significância e Alegações
O artigo afirma que o probe prompting demonstra que a interpretabilidade ao nível de circuito pode ser parcialmente automatizada via um pipeline transparente e baseado em regras. Suas principais contribuições são:

Automação do Agrupamento de Circuitos: Fornece um método escalável para agrupar milhares de características em supernós alinhados a conceitos sem intervenção manual.
Framework de Validação Causal: Estabelece um harness robusto e agnóstico ao método para avaliar a qualidade do agrupamento através de controles de correspondência aleatória e de influência, abordando a crítica de que pontuações de interpretabilidade podem ser alcançadas por modelos inicializados aleatoriamente.
Utilidade Operacional: Os rótulos resultantes não são apenas descritivos; eles são operacionalmente úteis para realizar trocas de entidade, servindo como um teste rápido para verificar se as características estão corretamente agrupadas por seu comportamento real no grafo computacional.

Os autores observam modestamente que suas alegações atualmente cobrem os Níveis 1 e 2 de abstração causal (identificação de características e seus papéis funcionais), mas ainda não reivindicam o Nível 3 (identificação mecanística completa de variáveis latentes). Eles reconhecem limitações, incluindo a atual restrição à recuperação factual de dois saltos (two-hop), o congelamento da atenção durante a geração do grafo (embora não durante a intervenção) e a dependência de vocabulários de tokens funcionais em inglês. O trabalho é apresentado como um harness reutilizável para calibrar futuros métodos de agrupamento contra intervenções causais.