Resumo Técnico: Fidelidade Intervencional Certificada (CIF)

Declaração do Problema

A interpretabilidade mecanística depende cada vez mais de avaliações intervencionais para validar alegações causais sobre redes neurais. Esses experimentos envolvem a modificação de estados internos (por exemplo, activation patching, ablação, troca de estados ocultos) para testar se uma explicação proposta (como um modelo comprimido, um circuito ou um conjunto de neurônios) reproduz fielmente o comportamento do modelo original.

As práticas de avaliação atuais sofrem com a falta de rigor estatístico. Tipicamente, pesquisadores amostram um número fixo de entradas e intervenções, computam uma estimativa pontual (por exemplo, acurácia de intervenção de troca ou recuperação de patching) e a relatam como uma afirmação definitiva. No entanto, os fluxos de trabalho de interpretabilidade são inerentemente sequenciais e adaptativos: pesquisadores monitoram resultados, ajustam conjuntos de avaliação, buscam contraexemplos e interrompem o processo quando a evidência parece forte. Sem uma quantificação de incerteza adequada que considere essa adaptatividade, as fidelidades relatadas podem ser artefatos de amostragem finita ou "p-hacking" (interrupção dependente dos dados), levando a alegações superestimadas ou métodos mal classificados.

Metodologia: Fidelidade Intervencional Certificada (CIF)

Os autores propõem a Fidelidade Intervencional Certificada (CIF), um framework estatístico que transforma as avaliações de interpretabilidade intervencional em problemas formais de inferência causal com garantias válidas a qualquer momento (anytime-valid). A CIF foi projetada para ser uma "camada estatística" que pode envolver pipelines de avaliação existentes.

1. Formalização como Estimandos Causais

A CIF exige que cada métrica relatada seja explicitamente definida como um estimando causal limitado.

• Alvo: Uma expectativa $\theta = \mathbb{E}_{(X, I) \sim \mathcal{D} \times \Pi}[Y(X, I)]$, onde:
  • $\mathcal{D}$ é uma distribuição de entrada declarada.
  • $\Pi$ é uma distribuição de intervenção declarada.
  • $Y$ é uma pontuação limitada (tipicamente $Y \in [0, 1]$), como um indicador de discordância ou uma pontuação de recuperação normalizada.
• Classes de Alegações:
  • Fidelidade de Abstração/Redução: Mede a discrepância entre um modelo de alto nível $M_H$ e o modelo original $M_L$ sob intervenções correspondentes.
  • Efeito de Componente/Recuperação: Mede a extensão em que a restauração de um componente específico (por exemplo, via patching) recupera o comportamento original.

2. Sequências de Confiança (CS) Válidas a Qualquer Momento

Para abordar o problema de monitoramento e interrupção adaptativa, a CIF utiliza Sequências de Confiança (CS) em vez de intervalos de confiança de amostra fixa. Uma sequência de intervalos $(C_n)_{n \ge 1}$ é válida se $P(\forall n \ge 1, \theta \in C_n) \ge 1 - \delta$. Isso permite que avaliadores verifiquem resultados a qualquer momento e interrompam o processo precocemente sem inflar a taxa de Erro Tipo I.

• CS baseada em Hoeffding: Fornece limites simples e transparentes baseados no intervalo da pontuação e no tamanho da amostra $n$.
• CS baseada em Apostas (Betting-based): Utiliza uma abordagem de processo de capital (martingala) (especificamente a estratégia Online Newton Step) que se adapta à variância empírica das pontuações observadas. Este método reduz significativamente o número de amostras necessárias para certificação em comparação com os limites de Hoeffding.

3. Amostragem Adaptativa com Pesagem de Importância Limitada

A CIF suporta amostragem adaptativa direcionada a falhas, onde a distribuição de intervenção $\Pi$ é modificada ao longo do tempo para focar em falhas prováveis ou componentes de alto impacto.

• Mecanismo: Para preservar a validade do estimando alvo $\theta$ apesar da mudança na distribuição de amostragem, a CIF emprega pesagem de importância por mistura. Em cada etapa $t$, o amostrador extrai de uma mistura $q_t = (1-\alpha)\Pi + \alpha \tilde{q}_t$, onde $\tilde{q}_t$ é uma proposta adaptativa baseada no histórico.
• Garantia: Os pesos de importância $w_t = \Pi(I_t)/q_t(I_t)$ são limitados por $W_{max} = 1/(1-\alpha)$. O framework utiliza estimadores do tipo Horvitz-Thompson e limites baseados em martingalas para garantir que as sequências de confiança permaneçam válidas para o $\Pi$ original, mesmo quando a amostragem é adaptativa.

4. Múltiplas Comparações e Seleção

Ao escanear múltiplos componentes ou circuitos, a CIF aborda o viés de seleção recomendando:

• Correção de Bonferroni (alocando $\delta/K$ por componente).
• "Descascamento" sequencial (sequential peeling) (interrompendo a amostragem para candidatos claramente subótimos).
• Métodos de controle de Taxa de Descoberta Falsa (FDR) válidos a qualquer momento.

Principais Contribuições

1. Reformulação: O artigo reformula as métricas de interpretabilidade intervencional como problemas sequenciais de inferência causal, separando a questão científica (o estimando) do procedimento de amostragem.
2. Garantias Estatísticas: Fornece sequências de confiança de amostra finita e válidas a qualquer momento para esses estimandos, válidas sob monitoramento arbitrário e interrupção dependente de dados.
3. Eficiência Adaptativa: Introduz a CIF adaptativa usando pesagem de importância de mistura limitada, permitindo a mineração eficiente de falhas mantendo a validade estatística.
4. Apostas Adaptativas à Variância: Demonstra que sequências de confiança baseadas em apostas podem reduzir os custos de certificação em 10–30$\times$ em comparação com os limites padrão de Hoeffding, ao aproveitar a variância empírica.
5. Ferramental Prático: Os autores fornecem algoritmos para certificação, comparações pareadas e amostragem adaptativa, juntamente com um checklist de relatório para aplicar a CIF a novas avaliações.

Resultados Experimentais

Os autores avaliaram a CIF em dois benchmarks primários:

1. Abstrações Neurais MNIST:

   • Configuração: Avaliou a fidelidade de abstração (Acurácia de Intervenção de Troca) para vários métodos de poda e compressão em um MLP de 3 camadas.
   • Descobertas: Sob intervenção agressiva ($p=0.5$), nenhum método pôde ser certificado como de alta fidelidade ($F \ge 0.90$), um resultado negativo que estimativas pontuais sozinhas poderiam ter ocultado. Sob intervenções mais leves ($p=0.1$), as CSs baseadas em apostas certificaram alegações de alta fidelidade com drasticamente menos passagens para frente (ex: 64 amostras vs. 1.141 para Hoeffding). A amostragem adaptativa mostrou-se mais eficaz para encontrar falhas do que para certificar fidelidades já altas.

2. Circuitos de IOI do GPT-2 Small:

   • Configuração: Avaliou pontuações de recuperação de patching para circuitos descobertos via ACDC, attribution patching e métodos identificados manualmente na tarefa de Identificação de Objeto Indireto (IOI).
   • Descobertas: Todos os circuitos mostraram estimativas pontuais altas ($\hat{\mu} \in [0.959, 0.972]$). No entanto, os limites de Hoeffding eram amplos demais para certificar altos limiares dentro do orçamento de 2.000 amostras. As CSs baseadas em apostas certificaram com sucesso $\mu \ge 0.95$ para o circuito completo de 13 cabeças em apenas 357 amostras, enquanto o Hoeffding exigiria mais de 2.000.

3. Sensibilidade e Cobertura:

   • A análise de sensibilidade mostrou que, em níveis de perturbação elevados, a escolha da métrica de discrepância (ex: perda 0-1 vs. divergência KL) poderia levar a intervalos de confiança que não se sobrepõem, tornando a escolha da métrica um fator crítico para conclusões qualitativas.
   • A validação de cobertura confirmou que tanto as CSs de Hoeffding quanto as de apostas alcançaram cobertura empírica no nível nominal (ex: 95%) mesmo sob protocolos de monitoramento (peeking) agressivos.

Significância e Alegações

O artigo posiciona a CIF não como um novo método para descobrir circuitos ou abstrações, mas como uma camada de verificação para o lado da estimativa da interpretabilidade mecanística.

• Endereçando a "Peça Faltante": Os autores argumentam que, embora o enquadramento causal da interpretabilidade esteja estabelecido, a prática estatística é frequentemente informal. A CIF preenche essa lacuna ao fornecer quantificação de incerteza rigorosa que sobrevive à natureza adaptativa da pesquisa em interpretabilidade.
• Redução de Custos: Uma alegação prática fundamental é que a escolha da construção estatística (Hoeffding vs. Apostas) pode alterar o custo de certificação em ordens de magnitude, tornando a avaliação rigorosa viável para modelos caros como o GPT-2.
• Transparência: A CIF força os pesquisadores a declarar explicitamente as distribuições de entrada e intervenção, tornando o escopo da alegação explícito e expondo a sensibilidade a essas escolhas de design.
• Limitações: Os autores declaram explicitamente que a CIF não resolve o problema de identificação (ou seja, se uma abstração escolhida realmente captura a estrutura causal de interesse); ela apenas resolve o problema de estimativa (estimar com confiabilidade a fidelidade de uma proposta de afirmação dado um métrica e distribuição específicos). Ela também assume pontuações limitadas, embora variantes de clipping ou sub-gaussianas possam estender isso.

Em resumo, a CIF fornece um framework para transformar "estimativas pontuais" em "alegações certificadas", garantindo que as conclusões sobre explicações mecanísticas sejam robustas a amostragem finita, monitoramento e estratégias de busca adaptativa.