Actionable Interpretability Must Be Defined in Terms of Symmetries

Resumo Técnico: A Interpretabilidade Acionável Deve Ser Definida em Termos de Simetrias

1. Declaração do Problema

O artigo argumenta que a pesquisa atual em Inteligência Artificial (IA) interpretável é fundamentalmente mal formulada (ill-posed). Embora existam inúmeras definições de interpretabilidade (ex: Kim et al., 2016; Miller, 2019; Doshi-Velez & Kim, 2017), elas são amplamente informais e descritivas. Consequentemente, o campo carece de:

1. Um arcabouço formal para verificar se um modelo é interpretável.
2. Um conjunto de princípios de design para construir modelos interpretáveis.

As definições existentes falham em especificar como a interpretabilidade pode ser formalmente testada ou projetada. Os autores postulam que, sem uma base rigorosa, limitações fundamentais são negligenciadas e o campo permanece fragmentado em listas de propriedades desejáveis (ex: esparsidade, modularidade) em vez de princípios unificados.

2. Metodologia: O Arcabouço Baseado em Simetrias

Inspirados pelo Programa de Erlangen (Klein, 1893), os autores propõem que uma definição acionável de interpretabilidade deve ser formulada em termos de simetrias (transformações que preservam a estrutura). Eles adotam uma visão probabilística composicional utilizando categorias de Markov (especificamente a categoria BorelStoch) para formalizar usuários humanos e modelos.

A metodologia introduz quatro simetrias específicas que, quando satisfeitas, caracterizam a classe de modelos interpretáveis para um determinado usuário humano $h$:

• Simetria I: Equivariância de Inferência

  • Definição: Um modelo $P_{Y|X}$ é interpretável se um usuário puder "simular" o processo de decisão do modelo. Formalmente, deve existir um "modelo mental" $P^{[h]}_{Y|X}$ no espaço de hipóteses do usuário $H_m$ tal que traduzir entradas para o espaço do usuário e prever resulte no mesmo resultado que prever no espaço original e traduzir a saída.
  • Mecanismo: Isso é representado por um diagrama comutativo onde o caminho de tradução-então-predição é igual a predição-então-tradução.
  • Limitação: Verificar isso de forma ingênua é intratável para grandes espaços de entrada (Desafio C1).

• Simetria II: Invariância de Informação

  • Definição: Para abordar a intratabilidade, o modelo deve reter apenas a informação de entrada suficiente para a tarefa, descartando detalhes irrelevantes.
  • Mecanismo: Um mapa sobrejetor $P_{Z|X}$ comprime a entrada $X$ em uma variável latente $Z$, de modo que a informação mútua $I(Y; X)$ seja invariante sob marginalização ($I(Y; X|Z) = 0$).
  • Resultado: Isso reduz a verificação da equivariância de inferência do espaço exponencial de $X$ para o espaço tratável de $Z$.

• Simetria III: Invariância de Fechamento de Conceito

  • Definição: Para garantir que a tradução entre saídas do modelo e o entendimento humano seja "sólida" (preserve o significado), o modelo deve operar sobre conceitos que se alinhem com a semântica humana.
  • Mecanismo: Usando Análise de Conceito Formal, um "conceito" é definido como um ponto fixo de uma relação entre objetos e sentenças. Uma tradução $\tau_C$ é sólida se preservar o fechamento do conceito (o diagrama de objetos, sentenças e seus mapeamentos comuta).
  • Resultado: Isso garante que as variáveis latentes usadas pelo modelo correspondam a conceitos compreensíveis por humanos, evitando interpretações conflitantes.

• Simetria IV: Invariância Estrutural

  • Definição: A estrutura interna do modelo deve ser compatível com as capacidades cognitivas do usuário (seu "modelo mental" ou espaço de hipóteses $H_m$).
  • Mecanismo: Se um usuário só consegue raciocinar linearmente, o modelo deve ser linear. Formalmente, as propriedades estruturais são preservadas sob um funtor $F$ que mapeia a categoria de modelos interpretáveis para a categoria dos modelos mentais humanos.
  • Resultado: Isso torna a interpretabilidade explicitamente centrada no usuário; um modelo é apenas interpretável se sua complexidade estrutural corresponder à capacidade de raciocínio do usuário.

3. Principais Contribuições

A. Definição Formal de Modelos Interpretáveis
Os autores definem um modelo interpretável como aquele que satisfaz todas as quatro simetrias. Eles constroem uma Categoria de Modelos Interpretáveis ($I_m$) como uma subcategoria de BorelStoch.

• Objetos: Espaços de conceitos ($C_1, \dots, C_k$).
• Processos: Probabilidades condicionais baseadas em conceitos, mapas de cópia e mapas de descarte.
• Composição: Regras de composição sequencial e paralela.
  Esta categoria serve como uma "receita" (via diagramas de cordas) para construir qualquer modelo interpretável.

B. Unificação de Tipos de Inferência como Inversão Bayesiana
O artigo demonstra que, sob este arcabouço, três tipos críticos de inferência usados na interpretabilidade são unificados como formas de inversão Bayesiana:

1. Alinhamento de Conceito: Aprender conceitos humanos computando a distribuição a posteriori dos parâmetros dados a evidência de conceito real (ground-truth).
2. Intervenções: Atualizar o estado do modelo com base em intervenções externas (ex: cálculo-$do$ ou sobreposições de ground-truth) via inferência a posteriori.
3. Contrafatuais: Reescrever o modelo para isolar variáveis exógenas (abdução), intervir e prever resultados no modelo modificado.

C. Derivação de Propriedades Existentes
O arcabouço mostra que propriedades frequentemente citadas como desejáveis na literatura (esparsidade, compacidade, fidelidade, modularidade) não são axiomas primitivos, mas consequências de satisfazer as simetrias propostas. Por exemplo:

• A esparsidade e a compacidade surgem da Invariância de Informação.
• A fidelidade e o alinhamento surgem da Invariância de Fechamento de Conceito.
• Requisitos de linearidade ou monotonicidade surgem da Invariância Estrutural.

4. Resultados e Alegações

O artigo não apresenta novos benchmarks experimentais ou resultados empíricos. Em vez disso, seus "resultados" são teóricos e estruturais:

• Tratabilidade: Ao impor a Invariância de Informação, o artigo afirma resolver a intratabilidade de verificar a equivariância de inferência em espaços de alta dimensão.
• Solidez (Soundness): Ao impor a Invariância de Fechamento de Conceito, o artigo fornece um critério formal para distinguir traduções sólidas (ex: "preto" $\to$ "noir") de traduções não sólidas.
• Centralidade no Usuário: Ao impor a Invariância Estrutural, o artigo formaliza que a interpretabilidade não é uma propriedade intrínseca de um modelo, mas uma relação entre o modelo e o espaço de hipóteses de um usuário específico.
• Unificação: O artigo afirma unificar tarefas de inferência díspares (alinhamento, intervenção, contrafatuais) sob uma única operação matemática (inversão Bayesiana dentro de uma categoria de Markov).

5. Significância e Chamado à Ação

O artigo argumenta que sua significância reside na mudança do campo da enumeração informal de propriedades para a verificação formal via simetrias.

• Rebatida ao Ceticismo: Os autores abordam a visão de que "não existe uma definição matemática universal" argumentando que as simetrias fornecem um arcabouço universal que incorpora o foco no usuário (via $H_m$) sem sacrificar o rigor matemático.
• Rebatida às Preocupações de Acessibilidade: Eles argumentam que, embora o formalismo (teoria das categorias) seja rigoroso, as simetrias admitem interpretações intuitivas em nível de exemplo, acessíveis a um público amplo.
• Direção Futura: Os autores convocam a comunidade a:
  1. Mapear os métodos de interpretabilidade existentes para estas quatro simetrias.
  2. Identificar quais simetrias são implicitamente assumidas ou violadas no trabalho atual (ex: notar que Modelos de Gargalo de Conceito podem satisfazer o Fechamento de Conceito, mas podem falhar na Invariância Estrutural se utilizarem redes neurais profundas sem restrições).
  3. Desenvolver novos métodos que sejam explicitamente "simetria-completos" para suas tarefas e usuários pretendidos.

Em resumo, o artigo postula que a interpretabilidade acionável não é uma qualidade vaga, mas uma propriedade estrutural específica definida por como um modelo preserva informação, conceitos e estrutura em relação a um usuário humano, tudo o que pode ser formalmente verificado e projetado usando o arcabouço de simetria proposto.