From Mechanistic to Compositional Interpretability

Resumo Técnico: Da Interpretabilidade Mecanística à Composicional

Declaração do Problema
A interpretabilidade mecanística visa reengenharia de modelos neurais em componentes compreensíveis por humanos. No entanto, as abordagens atuais carecem de um quadro formal, tornando as explicações difíceis de verificar, comparar ou compor objetivamente. Os métodos existentes frequentemente aproximam a fidelidade em vez de impô-la estruturalmente. Além disso, sem uma definição mensurável da qualidade da interpretação, as explicações correm o risco de se tornar "histórias justas" que correlacionam-se com comportamentos de superfície, mas falham em capturar mecanismos internos. O desafio central é definir a interpretabilidade de modo que seja composicional (as partes somam ao todo), fiel (correspondendo ao cálculo interno) e concisa (baixo comprimento de descrição para humanos).

Metodologia
Os autores introduzem a Interpretabilidade Composicional, um quadro fundamentado na teoria das categorias e no princípio do Comprimento Mínimo de Descrição (MDL).

1. Definições Formais via Teoria das Categorias:

   • Modelo Composicional: Definido como uma tupla $(D, S, C, [[\cdot]])$, onde $D$ é um diagrama de strings representando a sintaxe (estrutura) do modelo, $S$ é a categoria sintática, $C$ é a categoria semântica (implementação concreta) e $[[\cdot]]$ é um funtor mapeando sintaxe para semântica.
   • Interpretação Composicional: Definida como um par de mapeamentos: uma interpretação baseada em sintaxe $I_S: S \to H$ (atribuindo explicações a componentes estruturais) e uma interpretação baseada em semântica $I_C: C \to H$ (atribuindo explicações a comportamentos).
   • Comutatividade: Uma interpretação válida exige que o diagrama comute ($I_S = I_C \circ [[\cdot]]$). Isso impõe consistência, garantindo que explicações derivadas da estrutura do modelo se alinhem com explicações derivadas de seu comportamento observado.

2. Otimização via MDL:

   • A interpretabilidade é enquadrada como um problema de otimização restrita: encontrar a explicação mais concisa que permaneça fiel à semântica do modelo.
   • Fidelidade: Medida pelo custo de informação necessário para corrigir uma explicação a fim de corresponder à semântica verdadeira do modelo. Os autores definem fidelidade composicional, exigindo que a explicação permita a reconstrução das semânticas de componentes individuais, e não apenas do comportamento global de entrada-saída.
   • Complexidade: Medida pelo Comprimento de Descrição Composicional ($L(M, I_S)$), que se decompõe em:
     • Complexidade de Representação ($L_{rep}$): O custo de descrever a sintaxe e a complexidade semântica dos componentes atômicos.
     • Complexidade de Interpretação ($L_{int}$): O custo subjetivo de alinhar esses componentes com conceitos humanos.
   • O comprimento total de descrição serve como um limite superior para o comprimento de descrição mínimo da própria explicação.

3. Refinamento Compressivo:

   • Para otimizar a interpretabilidade, o artigo propõe Refinamento Sintático: um funtor $R: S \to S'$ que reestrutura a sintaxe do modelo preservando a semântica ($[[\cdot]] = [[\cdot]]' \circ R$).
   • O Refinamento Compressivo ocorre quando essa reestruturação reduz a complexidade de representação ($L_{rep}(M') \leq L_{rep}(M)$).
   • Critério de Parcimônia: Um refinamento produz uma explicação melhor apenas se a redução na complexidade de representação superar qualquer aumento na complexidade de interpretação.

Contribuições Principais

• Quadro Formal: O artigo estabelece uma fundação baseada na teoria das categorias para a interpretabilidade, distinguindo entre sintaxe (estrutura) e semântica (comportamento) e exigindo seu alinhamento via diagramas comutativos.
• Objetivo Quantificável: Ele lança a interpretabilidade como um problema de otimização restrita usando MDL, separando fidelidade (distorção) e complexidade (comprimento de descrição).
• Refinamento Compressivo: Introduz um método sistemático para reestruturar modelos em partes mais simples sem alterar a função, generalizando métodos mecanísticos existentes (como decomposição baseada em esparsidade) como subclasses de refinamento.
• Critério de Parcimônia e Garantias Teóricas:
  • Os autores provam que o refinamento compressivo garante explicações mais concisas se a distribuição de codificação for comonótona com a distribuição de interpretação (ligando a simplicidade estrutural à compreensibilidade humana).
  • Eles invocam a Esparsidade Composicional (Teorema 4.5) para argumentar que redes profundas de tamanho polinomial aproximam funções que admitem decomposições esparsas, garantindo que a busca por "átomos de computação" seja viável e não leve a tamanhos de diagrama incontroláveis.
  • Eles formalizam o Princípio Fraco do Otimismo Explicativo, sugerindo que, se um modelo performa bem, seus mecanismos centrais são provavelmente compreensíveis por humanos, justificando o uso da compressão como um filtro para esses mecanismos.

Resultados e Alegações
O artigo não apresenta novos experimentos empíricos, mas fornece uma unificação teórica e prova de conceito:

• Demonstra que métodos mecanísticos proeminentes (por exemplo, aqueles usando heurísticas de esparsidade) podem ser vistos como instâncias específicas de refinamento sintático.
• Prova que, sob o critério de parcimônia, minimizar a complexidade de representação garante teoricamente explicações mais concisas e alinhadas com humanos, desde que o prior de "otimismo explicativo" se mantenha.
• Esclarece por que heurísticas de compressibilidade frequentemente se alinham com a interpretabilidade humana: elas removem redundâncias para isolar mecanismos centrais que correspondem a conceitos humanos.

Significado
O artigo alega fornecer uma fundação mensurável e otimizável para automatizar a descoberta e avaliação de explicações mecanísticas. Ao passar da reengenharia ad hoc para um quadro composicional formal, aborda a falta de verificação objetiva na pesquisa atual de interpretabilidade. O trabalho situa a interpretabilidade como um objetivo de otimização contínuo, em vez de uma restrição arquitetônica binária, preenchendo a lacuna entre interpretabilidade intrínseca e explicação post-hoc. Os autores sugerem que trabalhos futuros podem aproveitar este quadro para integrar refinamento compressivo com inferência causal e utilizar ferramentas como redes de tensores para otimização escalável.