Resumo Técnico: Circuitos Certificados

Definição do Problema

A interpretabilidade mecanística visa identificar "circuitos" — subredes mínimas dentro de redes neurais responsáveis por comportamentos ou conceitos específicos. No entanto, os métodos existentes de descoberta de circuitos sofrem de uma falta crítica de robustez. Os circuitos descobertos são altamente sensíveis aos exemplos específicos escolhidos para o conjunto de dados do conceito; adicionar, remover ou substituir exemplos semanticamente equivalentes pode levar a mudanças imprevisíveis na estrutura do circuito. Além disso, esses circuitos frequentemente falham em generalizar para dados fora da distribuição (OOD - out-of-distribution). Essa instabilidade levanta uma questão fundamental: os métodos atuais capturam a representação mecanística real de um conceito, ou estão apenas sofrendo overfitting a pistas espúrias e artefatos específicos do conjunto de dados?

Metodologia: Circuitos Certificados

Os autores propõem os Circuitos Certificados, um framework que fornece garantias de estabilidade prováveis e agnósticas ao algoritmo para a descoberta de circuitos. A ideia central é tratar a descoberta de circuitos como um mapeamento de um conjunto de dados de conceito para um subgrafo e certificar que esse mapeamento permanece invariante sob edições limitadas ao conjunto de dados.

Estrutura Central

1. Subamostragem Aleatória (Suavização): O framework envolve qualquer algoritmo de descoberta de circuitos de caixa-preta $\mathcal{A}$. Ele gera múltiplas subamostras do conjunto de dados do conceito $D$ aplicando um mecanismo de perturbação baseado em exclusão. Especificamente, ele amostra uma máscara binária onde cada exemplo é retido com probabilidade $1 - p_{del}$ e excluído com probabilidade $p_{del}$.
2. Agregação: O algoritmo base $\mathcal{A}$ é executado em cada conjunto de dados subamostrado para produzir circuitos candidatos. O framework então agrega os resultados para calcular a probabilidade de inclusão suavizada ($p_u$) para cada componente do circuito (neurônio ou aresta). Esta probabilidade representa a frequência com que um componente é selecionado através das exclusões aleatórias.
3. Regra de Decisão Certificada: Um limiar de confiança $\tau$ é aplicado a $p_u$ para tomar uma decisão para cada componente:
   • Certificado como Incluído: Se $p_u > \tau$, o componente é robustamente incluído.
   • Certificado como Excluído: Se $1 - p_u > \tau$, o componente é robustamente excluído.
   • Abster-se: Se nenhuma das condições for atendida, o componente é excluído do circuito final. Esta esparsidade adaptativa remove componentes cuja inclusão é instável sob perturbações no conjunto de dados.
4. Garantia Teórica: O método utiliza o Suavizamento por Exclusão de Conjunto de Dados (RS-Del) para derivar uma garantia formal. O Teorema 3.1 afirma que, com alta confiança ($1-\alpha$), qualquer componente certificado como "incluído" ou "excluído" permanece invariante para qualquer conjunto de dados de conceito $D'$ dentro de uma distância de edição $r$ específica do conjunto de dados original $D$. O raio certificado $r$ é uma função da probabilidade de exclusão $p_{del}$ e do limiar $\tau$. Componentes atribuídos à categoria "abster-se" são excluídos, garantindo que o circuito final consista apenas em elementos comprovadamente estáveis.

Principais Contribuições

1. Primeiro Framework de Estabilidade Provável: O artigo introduz o primeiro framework que fornece garantias de robustez prováveis e agnósticas ao algoritmo para a descoberta de circuitos, garantindo que a estrutura do circuito seja invariante a edições limitadas do conjunto de dados.
2. Limites Teóricos: Os autores derivam limites prováveis para os raios certificados e caracterizam sua dependência da probabilidade de limiar e da probabilidade de exclusão.
3. Validação Empírica: O framework é validado através de três arquiteturas (ResNet, ViT, GPT-2), duas modalidades (visão e linguagem) e quatro algoritmos de descoberta.

Resultados Experimentais

Os autores avaliaram os Circuitos Certificados contra baselines padrão (ex: Top-K relevance, EAP-IG) no ImageNet e em vários benchmarks OOD (ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV) para visão, e tarefas IOI/IOI-Hard/Greater-Than para linguagem.

• Suficiência e Compactação: Os circuitos certificados alcançam maior precisão (suficiência) com significativamente menos componentes (compactação).
  • Visão: No ImageNet, os circuitos certificados alcançaram 95% de precisão (vs. 83% do baseline) utilizando 52% menos neurônios. Em conjuntos de dados OOD como o ImageNet-A, a precisão melhorou em até 56% (atingindo 94%) com uma redução de 15% no tamanho.
  • Linguagem: Os circuitos certificados igualaram ou excederam a precisão máxima do baseline enquanto utilizavam até 80% menos arestas (ex: redução de 75% na tarefa Greater-Than).
• Análise de Características: A visualização dos neurônios que "abstiveram" (aqueles incluídos nos baselines, mas excluídos pela certificação) revelou que eles frequentemente disparam em pistas coocorrentes, mas não específicas da classe (ex: mãos/pulsos para a classe "relógio"), enquanto os neurônios "certificados como incluídos" respondiam consistentemente a características definidoras da classe.
• Generalização OOD: Circuitos descobertos em dados de distribuição interna (in-distribution) mantiveram uma precisão significativamente maior em mudanças OOD comparado aos baselines, sugerindo que eles capturam estruturas mecanísticas transferíveis em vez de artefatos do conjunto de dados.
• Estabilidade Estrutural: Quando os circuitos foram redescobertos em distribuições deslocadas, os circuitos certificados mostraram uma Interseção sobre União (IoU) mais alta com a estrutura original, indicando convergência para um núcleo invariante.

Significância e Alegações

O artigo afirma que os Circuitos Certificados colocam a descoberta de circuitos em um fundamento formal, produzindo explicações mecanísticas que são comprovadamente estáveis e melhor alinhadas com o conceito alvo. Ao remover sistematicamente componentes instáveis através da abstenção adaptativa, o método gera circuitos que não são apenas mais compactos e precisos, mas também robustos a variações de conjuntos de dados e mudanças de distribuição.

Os autores enfatizam que este trabalho aborda a "ilusão de interpretabilidade", onde as explicações parecem fiéis na distribuição de descoberta, mas falham ao generalizar. Ao fornecer um modelo de ameaça baseado em edições limitadas de conjuntos de dados, os Circuitos Certificados oferecem uma ferramenta confiável para depuração, auditoria e compreensão de redes neurais, preenchendo a lacuna entre interpretabilidade e confiabilidade. O framework foi projetado para ser agnóstico à arquitetura do modelo subjacente e ao algoritmo específico de descoberta de circuitos, tornando-o uma solução generalizável para o campo.