Higher-Order Feature Attribution: Bridging Statistics, Explainable AI, and Topological Signal Processing

Resumo Técnico: Atribuição de Características de Ordem Superior

Declaração do Problema
Métodos de atribuição de características são essenciais para a Inteligência Artificial Explicável (XAI), visando quantificar como as características de entrada contribuem para a previsão de saída de um modelo. Embora os métodos de atribuição padrão (por exemplo, Gradientes Integrados) funcionem bem quando as características atuam de forma independente, eles enfrentam limitações quando os modelos preditivos envolvem interações complexas, como relações multiplicativas ou contribuições conjuntas. Nesses casos, as atribuições de primeira ordem padrão falham em detectar ou isolar a natureza específica das interdependências de características. Os frameworks existentes frequentemente tratam as interações como secundárias ou carecem de uma estrutura matemática unificada para representar dependências de ordem superior (por exemplo, trios de características) juntamente com efeitos de primeira ordem.

Metodologia
Os autores propõem uma teoria geral de atribuição de características de ordem superior construída sobre a base dos Gradientes Integrados (IG). A inovação metodológica central é o tratamento da atribuição de características como um operador linear atuando no espaço das funções preditivas.

1. Framework Operador-Teórico:

   • A atribuição de primeira ordem padrão $a_i$ é definida como a aplicação de um operador de atribuição $A_i$ a uma função $f$: $a_i(x) = A_i f(x)$.
   • Atribuições de segunda ordem são definidas pela composição de dois operadores: $a_{ij}(x) = A_i A_j f(x)$. Isso espelha o conceito de derivadas de segunda ordem (Hessianas).
   • Atribuições de ordem superior (por exemplo, terceira ordem $a_{ijk}$) são similarmente definidas pela composição de $k$ operadores.

2. Derivações Analíticas:

   • Utilizando a definição de IG, os autores derivam expressões analíticas para esses termos de ordem superior.
   • Eles demonstram que as atribuições de segunda ordem coincidem com o framework de Hessianas Integradas quando $i \neq j$, e fornecem formulações integrais específicas para atribuições repetidas ($i=j$).
   • Propriedades fundamentais são estabelecidas, incluindo linearidade (os operadores são lineares), simetria ($A_i A_j = A_j A_i$), marginalização (somar atribuições de segunda ordem sobre um índice recupera as atribuições de primeira ordem) e completude (a soma de todas as atribuições de ordem $k$ é igual à mudança total na previsão $f(x) - f(\tilde{x})$).

3. Conexão com Processamento de Sinais Topológicos:

   • O artigo faz uma ponte entre XAI e o processamento de sinais topológicos. Propõe representar as atribuições como sinais sobre grafos ou complexos simpliciais.
   • Atribuições de primeira ordem ($a_i$) são vistas como sinais de nós.
   • Atribuições de segunda ordem ($a_{ij}$) são vistas como sinais de arestas.
   • Atribuições de ordem superior correspondem a sinais em estruturas de dimensões superiores (por exemplo, triângulos para terceira ordem).
   • A propriedade de completude implica que um sinal de nó é igual à soma dos sinais de aresta adjacentes, criando uma representação geométrica hierárquica das interações de características.

Principais Resultados
Os autores validam sua teoria através de dois experimentos primários:

1. Experimento de Dados Sintéticos:

   • Um modelo generativo foi criado com interações de verdade fundamental (ground-truth) conhecidas, incluindo um termo de terceira ordem ($3x_1x_2x_3$) e vários termos de segunda ordem.
   • Um modelo de Regressão de Processo Gaussiano (GPR) foi treinado nesses dados.
   • Descobertas: As atribuições de segunda ordem recuperaram com sucesso a estrutura de interação da verdade fundamental. Além disso, a propriedade de marginalização manteve-se empiricamente: as atribuições de primeira ordem calculadas diretamente via IG foram consistentes com aquelas derivadas pela soma das atribuições de segunda ordem. As atribuições de terceira ordem também identificaram corretamente o termo de interação de trio específico presente na verdade fundamental.

2. Valoração Imobiliária (Conjunto de Dados de Taipei):

   • Um modelo linear generalizado com entradas quadráticas foi treinado em dados de habitação (416 observações, 6 covariáveis).
   • Descobertas: Embora as atribuições de primeira ordem tenham variado significativamente entre diferentes amostras de casas, os grafos de atribuição de segunda ordem revelaram padrões consistentes de comportamento conjunto de características. Especificamente, características como "distância ao metrô", "número de lojas" e "latitude" pareceram atuar conjuntamente, enquanto outras contribuíram isoladamente. Isso sugere que o método pode identificar grupos de características que interagem durante a predição, mesmo quando as contribuições individuais variam.

Significância e Alegações
O artigo afirma fornecer um framework matemático unificado que estende a literatura de XAI existente (especificamente Gradientes Integrados e Hessianas Integradas) para ordens arbitrárias de interação.

• Unificação Teórica: Ao definir a atribuição via operadores lineares, este trabalho estabelece uma estrutura algébrica natural que permite a composição de atribuições, de forma semelhante aos operadores de derivada.
• Interpretação Geométrica: A conexão com o processamento de sinais topológicos oferece uma nova maneira de visualizar e manipular atribuições de características como sinais de grafos, potencialmente simplificando a interpretação de comportamentos complexos de modelos.
• Distinção de Trabalhos Anteriores: Os autores distinguem sua abordagem dos índices de interação de Shapley e das Hessianas Integradas ao enfatizar a perspectiva do operador-teórico. Isso preserva estruturas algébricas e composicionais que se relacionam com objetos combinatórios como grafos e complexos simpliciais, em vez de tratar as atribuições meramente como pontuações escalares em subconjuntos de características.

Os autores concluem que, embora esta seja uma investigação preliminar, o framework demonstra potencial para descobrir novos insights sobre modelos complexos ao modelar e visualizar explicitamente interações de características de ordem superior.