🤖 machine learning

Mechanistic Tomography: Designed Measurement for Control-Oriented Interpretability

Este artigo introduz a "tomografia mecanística", um framework unificado que modela técnicas de interpretabilidade como medições projetadas para recuperar sistematicamente mecanismos internos do modelo e efeitos de intervenção, demonstrando, por meio de vários experimentos, que a validação orientada ao controle e famílias de medição sob medida podem reconstruir eficientemente estruturas causais e interações em modelos de linguagem de grande escala.

Autores originais: Vijay Erramilli

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vijay Erramilli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Sistemas modernos de inteligência artificial, frequentemente chamados de grandes modelos de linguagem, são construídos a partir de bilhões de minúsculos interruptores matemáticos organizados em camadas. Esses sistemas podem escrever histórias, resolver problemas e responder a perguntas, mas operam como caixas pretas: podemos ver a entrada e a saída, mas os passos internos que as conectam permanecem ocultos. Durante anos, pesquisadores tentaram espiar dentro dessas caixas ligando e desligando partes do sistema, ou observando como os números internos mudam quando a entrada sofre um pequeno deslocamento. O objetivo é entender quais partes específicas da máquina são responsáveis por pensamentos ou palavras específicos. No entanto, essas diferentes maneiras de olhar para o interior muitas vezes parecem contar histórias diferentes. Um método pode sugerir que um componente é vital, enquanto outro sugere que ele é irrelevante, deixando os cientistas incertos se estão medindo a mesma coisa ou apenas sombras diferentes do mesmo objeto.

Uma nova abordagem chamada tomografia mecanística oferece uma maneira de unificar essas visões conflitantes. A ideia central é tratar a busca pelos mecanismos internos não como um mistério a ser resolvido pela intuição, mas como um problema de medição a ser resolvido pelo design. Assim como um médico usa diferentes tipos de exames para construir uma imagem clara da saúde de um paciente, os pesquisadores podem projetar experimentos específicos e controlados para medir como as partes internas da IA trabalham juntas. Este artigo propõe um fluxo de trabalho estruturado para esses experimentos, começando com as medições mais simples e baratas e adicionando complexidade apenas se as simples falharem em prever o que a máquina realmente fará quando for pressionada. Os pesquisadores descobriram que, embora as medições simples muitas vezes funcionem bem, elas às vezes perdem interações cruciais entre as partes, e que a maneira correta de medir depende inteiramente do que a máquina está sendo solicitada a fazer.

A jornada começa com uma percepção fundamental: a maneira como medimos o estado interno de uma máquina altera a resposta que obtemos. Se você der um leve toque em uma parte do sistema, obterá um resultado diferente do que se der um toque forte, ou se tocar várias partes ao mesmo tempo. O autor percebeu que todos os diferentes métodos que os pesquisadores usam — seja alterando uma parte de cada vez, usando gradientes para estimar efeitos ou testando grupos de partes juntos — podem ser descritos como um único tipo de problema de medição. Ele formulou isso como um quebra-cabeça onde o objetivo é recuperar um mapa oculto de efeitos a partir de uma série de observações parciais. Cada observação é uma intervenção específica, como alterar algumas palavras em um comando ou alterar um sinal interno específico, e o resultado é um ponto de dados que ajuda a preencher o mapa. O desafio é que a máquina não é perfeitamente linear; suas partes interagem de formas complexas, e o "ruído" na medição depende do tamanho do toque.

Para testar este framework, os pesquisadores começaram em um ambiente controlado onde sabiam a resposta exata de antemão. Eles construíram uma simulação usando um sistema probabilístico simples, como um modelo de Markov oculto, que atua como um ponto de referência perfeito. Nesse cenário, eles puderam criar um "túnel de vento" para a IA, onde sabiam exatamente qual deveria ser o estado de crença interna da máquina. Eles então testaram quão bem diferentes métodos de medição poderiam prever o comportamento da máquina quando usada para controlá-la. Eles descobriram uma ligação direta entre a precisão da medição interna e o sucesso do controle. Se a medição estivesse ligeiramente errada, o controle falharia. Mais importante ainda, descobriram que uma medição poderia parecer bem-sucedida ao melhorar o objetivo principal enquanto acidentalmente atrapalhava uma outra parte não relacionada do sistema. Isso provou que simplesmente ver uma máquina melhorar em uma tarefa não é suficiente; é preciso verificar se a explicação interna realmente corresponde à ação que está sendo tomada.

Passando das simulações para modelos reais pré-treinados, os pesquisadores aplicaram seu procedimento passo a passo para ver até onde as medições simples poderiam ir. Em um experimento com um modelo treinado para identificar objetos indiretos em sentenças, eles começaram assumindo que o comportamento da máquina era uma soma simples de partes individuais. Eles mediram o efeito da remoção de grupos específicos de componentes internos. O modelo simples funcionou bem no início, mas quando testaram em novas combinações de partes não vistas, ele falhou em prever o resultado com precisão. O erro não era aleatório; era estruturado. Descobriu-se que a máquina dependia de interações entre as partes. Por exemplo, um grupo de componentes só se tornaria importante se outro grupo já estivesse enfraquecido. Ao adicionar medições especificamente desenhadas para capturar essas interações, os pesquisadores conseguiram corrigir os erros de previsão. Eles descobriram que um par específico de grupos de componentes era responsável pelo maior erro restante, e adicionar apenas esse termo de interação tornou as previsões do modelo quase perfeitas.

Em um segundo experimento com um modelo muito maior e moderno, projetado para seguir instruções, os pesquisadores perguntaram se precisariam procurar por essas interações complexas. Eles começaram com a mesma abordagem aditiva simples e calibraram-na com algumas medições extras para levar em conta o tamanho do toque. Desta vez, o modelo simples funcionou quase perfeitamente. Ele previu o comportamento do modelo em novos comandos não vistos com extrema precisão. Quando tentaram adicionar as medições de interação complexas, os resultados não melhoraram. A complexidade extra era desnecessária. Este resultado foi tão importante quanto o primeiro: mostrou que não se deve assumir que uma máquina é complexa apenas porque é grande. Às vezes, uma explicação simples é suficiente, e adicionar mais camadas de medição apenas adiciona custo sem adicionar valor.

O artigo conclui oferecendo um guia prático para qualquer pessoa que tente entender essas máquinas. O conselho é começar com a medição mais simples e barata que poderia possivelmente explicar o comportamento. Se isso funcionar, pare. Se falhar, observe o padrão da falha. Se o erro for apenas uma questão de escala, uma correção simples pode resolver. Se o erro sugerir que as partes estão trabalhando juntas de uma forma que o modelo simples não consegue ver, então projete novas medições para capturar essas interações. Finalmente, sempre teste a explicação em uma tarefa para a qual ela nunca foi treinada, ou em um loop de controle onde ela guie uma ação. O objetivo não é apenas reconstruir uma imagem da máquina, mas construir um observador que possa prever com confiabilidade o que a máquina fará quando o mundo real a pressionar. Esta abordagem muda o foco de encontrar o mecanismo interno "verdadeiro" para encontrar a maneira mais útil e confiável de medi-lo para um propósito específico.

Resumo Técnico: Tomografia Mecanística: Medição Projetada para Interpretabilidade Orientada ao Controle

Declaração do Problema

A interpretabilidade mecanística visa recuperar estados internos do modelo, efeitos de componentes e interações que não são expostos diretamente pelo modelo. Métodos existentes — como coordinate patching, attribution patching, intervenções de subconjuntos e produtos vetor-matriz de Hessian (HVPs) — operam sob diferentes suposições de acesso e visam diferentes quantidades. No entanto, todos enfrentam um desafio fundamental compartilhado: recuperar um mapa de efeito interno a partir de medições incompletas, ruidosas e potencialmente não lineares.

As abordagens atuais carecem frequentemente de um framework unificado para descrever como essas medições se relacionam com o mecanismo subjacente, como projetar intervenções para minimizar o erro e como validar se um mapa estimado é suficiente para tarefas de controle subsequentes. Especificamente, um estimador usado para guiar uma intervenção atua como um "observador", e sua utilidade depende não apenas da precisão da reconstrução, mas de sua capacidade de prever o resultado de intervenções de escala finita em um loop de controle.

Metodologia: Tomografia Mecanística

O artigo formula a recuperação de mecanismos internos como um problema inverso, denominado Tomografia Mecanística. O modelo de medição central é definido como:

$\hat{y} = Ax + w$

Onde:

$\hat{y}$ representa as respostas observadas a um conjunto de intervenções projetadas.
$A$ é a matriz de design onde cada linha descreve uma intervenção específica (máscara) aplicada aos componentes do modelo.
$x$ é o mapa de efeito desconhecido (o alvo a ser recuperado), que pode ser um vetor de efeitos de componentes ou uma matriz incluindo interações.
$w$ é um termo residual que captura respostas não lineares, erros de amostragem e erro de especificação de base.

Componentes Teóricos Principais

Redução de Medição (Lema 1): O artigo deriva que uma intervenção finita em um modelo não linear produz uma soma ponderada de efeitos de primeira ordem locais ( $a^T x$ ) mais um resíduo $w$ . Este resíduo compreende três fontes identificáveis:
- Erro de curvatura: Escala com o tamanho da intervenção $\varepsilon$ .
- Erro de numerador: Escala inversamente com $\varepsilon$ (amplificado quando a intervenção é muito pequena).
- Erro de amostragem: Ruído normalizado restante após o batching.
  Isso estabelece um compromisso (trade-off) na escolha da escala de intervenção ( $\varepsilon$ ) e da densidade da máscara ( $\rho$ ).
Dimensão de Calibração (Proposição 1): Para determinar se uma correção simples (ex: um ganho escalar) pode reparar um mapa de primeira ordem para intervenções finitas, o artigo define a "dimensão de calibração". Esta é a menor dimensão $r$ de uma família de correção necessária para prever intervenções não utilizadas (held-out) dentro de um nível de ruído. Se o resíduo estiver fora da família atual (ex: requer interações), a família de medição deve ser expandida.
Recuperação de Interação: O artigo demonstra que mapas de primeira ordem (gradientes ou singleton patches) são cegos para interações puras (Proposição 2). Para recuperar estas, deve-se utilizar "medições elevadas" (lifted measurements) (incluindo termos de produto $a_i a_j$ na matriz de design) ou utilizar produtos vetor-matriz de Hessian (HVPs) em configurações white-box.
Validação via Controle: O artigo argumenta que a qualidade de um observador deve ser validada em um loop de controle. Ele distingue entre reconstrução (fidelidade a um estado interno) e utilidade de controle (prever o resultado de uma intervenção). Um observador pode melhorar uma métrica alvo enquanto inadvertidamente move um "estado de incômodo" (nuisance state), um risco visível apenas em um cenário de malha fechada (closed-loop).

Resultados Experimentais

O autor valida o framework através de uma hierarquia de cenários, desde sistemas sintéticos com verdade fundamental (ground truth) até modelos pré-treinados com apenas verdade fundamental comportamental.

Validação Voltada ao Controle (Túnel de Vento de Dois-HMM):
- Em um ambiente sintético com estados ocultos conhecidos, o erro do alvo em malha fechada foi encontrado como fortemente correlacionado (Spear Spearman $r=0.95$ ) com o erro do observador sob um controlador fixo.
- Um "teste de especificidade" mostrou que melhorar um alvo sozinho pode esconder o movimento de um estado de incômodo, provando que o sucesso no alvo é insuficiente para validar um observador.
Medições Agregadas (Somente Forward-Only):
- Usando um mapa de efeito finito compressível no modelo HMM, o artigo mostrou que o Orthogonal Matching Pursuit (OMP) em medições de subconjuntos agregados pôde recuperar o mapa com 12 intervenções, alcançando $R^2=0.935$ . Isso superou o coordinate patching exaustivo (32 intervenções) que exigia mais medições para uma precisão comparável.
Calibração Finita (Acesso a Gradiente):
- Para o attribution patching (AtP), uma simples correção de ganho escalar ajustada em um pequeno conjunto de sondas finitas melhorou significativamente a previsão em dados não utilizados. Na escala de intervenção $\varepsilon=8$ , a calibração elevou o $R^2$ de 0.818 para 0.960, aproximando-se da performance de recuperação esparsa.
Recuperação de Interação:
- Em um sistema plantado com interações conhecidas, métodos de primeira ordem falharam em recuperar efeitos de par ( $R^2 < 0.5$ ).
- O Lifted OMP (usando máscaras agregadas com recursos de par) e AtP + HVP (white-box) recuperaram com sucesso as interações. O Lifted OMP exigiu ~64–72 medições para recuperar 4 termos plantados em um espaço de 2.080, enquanto o pair probing exaustivo exigiria 2.016.
Dependência de Base (Tracr):
- Usando programas compilados Tracr, o artigo demonstrou que a família de medição necessária depende da base escolhida. Uma conjunção ("A seguido de B") apareceu como aditiva em uma base contendo um detector completo, mas exigiu termos de interação em uma base contendo apenas os inputs.
Estudos de Modelos Pré-treinados:
- GPT-2-small (Tarefa IOI): O framework identificou que um modelo aditivo era insuficiente. Adicionar o termo de interação entre Primary Name Movers e Negative Name Movers ( $P \times E$ ) melhorou significativamente a previsão em dados não utilizados ( $R^2$ aumentou de 0.752 para 0.887), reproduzindo o comportamento conhecido de "backup condicional".
- Qwen-2.5-7B (Tarefa de Recusa): Em uma superfície de resposta de recusa, um mapa aditivo calibrado alcançou $R^2 = 0.983$ . Adicionar o levantamento de pares (pairwise lifting) não proporcionou melhoria estatisticamente significativa ( $R^2 = 0.9835$ , mudança de MAE negligenciável). Isso ilustra a "regra de parada": se a família mais simples for suficiente, não expanda para interações.

Principais Contribuições

Unificação Estrutural: O artigo unifica diversos métodos de interpretabilidade (patching, gradientes, HVPs, intervenções de subconjuntos) sob uma única linguagem de medição ( $\hat{y} = Ax + w$ ), esclarecendo seus objetivos compartilhados e fontes de erro.
Teoria de Medição e Extensão: Fornece limites teóricos sobre escala e densidade, separa fontes de erro (Lema 1) e define as condições sob as quais mapas de primeira ordem devem ser estendidos para modelos conscientes de interações.
Dimensão de Calibração: Introduz uma regra de parada prática (Proposição 1) para determinar quando uma correção simples é suficiente versus quando uma família de medição mais rica é necessária.
Validação Voltada ao Controle: Estabelece que a qualidade do observador deve ser validada através do desempenho de controle subsequente, não apenas pela reconstrução, e demonstra como a melhoria do alvo pode mascarar o movimento de estados de incômodo.
Fluxo de Trabalho Operacional: O artigo delineia um procedimento passo a passo para estudos de interpretabilidade: começar com a medição mais barata, testar em intervenções não utilizadas, calibrar discrepâncias simples e expandir a família apenas se restarem resíduos estruturados.

Significância e Alegações

O artigo afirma fornecer um procedimento em vez de um ranking de métodos. Sua principal significância reside na mudança do foco de "qual método é o melhor" para "quais medições são necessárias para uma tarefa específica e um regime de acesso".

Alegações Modestas: O autor afirma explicitamente que o framework não pretende recuperar mecanismos de verdade fundamental em todos os casos (especialmente em modelos pré-treinados onde a verdade fundamental é comportamental). Em vez disso, valida se um observador prevê respostas finitas e controla ações subsequentes de forma eficaz.
Procedimento sobre Escala: Os resultados no GPT-2 e Qwen-2.5 ilustram que a necessidade de termos de interação não é determinada apenas pelo tamanho do modelo, mas pela base específica, distribuição de prompts e regime de intervenção.
ObserverBench: O artigo propõe que o trabalho futuro deve se mover em direção a benchmarks padronizados (ObserverBench) onde as tarefas declaram o modelo, o controlador e as métricas, permitindo que pesquisadores testem observadores contra um contrato fixo em vez de reconstruir configurações experimentais para cada estudo.

Em resumo, a Tomografia Mecanística oferece uma base rigorosa, baseada na teoria da medição, para projetar experimentos de interpretabilidade que sejam robustos, econômicos e validados por sua utilidade no controle do comportamento do modelo.