Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It

Resumo Técnico: Por Que a Auto-Inconsistência Surge em Explicações de GNN e Como Explorá-la

1. Declaração do Problema

Redes Neurais em Grafos Auto-Interpretáveis (SI-GNNs) integram a geração de explicações diretamente no pipeline de previsão, oferecendo teoricamente explicações mais confiáveis do que métodos pós-hoc. No entanto, observações recentes indicam que as SI-GNNs sofrem de auto-inconsistência: quando um modelo é reaplicado ao seu próprio subconjunto de grafo explicativo gerado, ele frequentemente produz uma explicação diferente, seja removendo arestas previamente selecionadas ou adicionando novas. Esse comportamento mina a fidelidade e a utilidade prática das SI-GNNs. Embora a existência desse fenômeno esteja documentada, o mecanismo subjacente que o causa permanece pouco compreendido, e faltam estratégias eficazes para mitigá-lo sem retreinamento.

2. Metodologia e Análise Teórica

Causa Raiz: Perturbação de Contexto
Os autores identificam a perturbação de contexto induzida por re-explicação como a causa direta da variação de pontuação. Em GNNs, as representações dos nós são atualizadas por meio de passagem de mensagens. Quando uma SI-GNN gera uma explicação (um subgrafo mascarado) e a alimenta de volta em si mesma, o mascaramento aresta a aresta altera o contexto local de passagem de mensagens. Como as pontuações de importância das arestas são derivadas dessas representações de nós, o contexto perturbado leva naturalmente a pontuações diferentes na segunda passagem.

Hipótese de Atribuição de Sinal Latente
Para explicar por que apenas arestas específicas (tipicamente as menos importantes) exibem instabilidade, enquanto as arestas importantes da verdade fundamental permanecem estáveis, o artigo propõe uma Hipótese de Atribuição de Sinal Latente. Os autores dividem as arestas em três conjuntos disjuntos:

• $E_p$ (Arestas de sinal positivo): Arestas atribuídas altas pontuações com base em características intrínsecas e invariantes ao contexto. Estas permanecem estáveis entre passagens.
• $E_n$ (Arestas de sinal negativo): Arestas atribuídas baixas pontuações com base em características intrínsecas. Estas também permanecem estáveis.
• $E_c$ (Arestas orientadas por contexto): Arestas cujas pontuações são determinadas principalmente pelo contexto local de passagem de mensagens. Estas são altamente sensíveis às perturbações causadas pela re-explicação.

Os autores argumentam que a regularização de concisão (que limita o "orçamento" total de massa de importância que uma explicação pode ter) molda essa alocação. Sob restrições de orçamento apertado, o modelo é forçado a realocar importância, potencialmente empurrando arestas não importantes de um estado orientado por sinal para um estado orientado por contexto, aumentando assim sua sensibilidade a perturbações.

Solução Proposta: Auto-Dessignificação (SD)
Aproveitando a observação de que a auto-inconsistência atua como um sinal de ruído, os autores propõem a Auto-Dessignificação (SD), uma estratégia de pós-processamento agnóstica ao modelo e sem treinamento.

• Mecanismo: A SD realiza uma segunda passagem direta no grafo explicativo para medir a instabilidade ($\Delta s_{ij}$) da pontuação de importância de cada aresta.
• Calibração: Ela penaliza arestas com alta instabilidade reduzindo suas pontuações originais: $\tilde{m}_{ij} = \max(0, (1 - \eta \Delta s_{ij})m^{(1)}_{ij})$, onde $\eta$ é um parâmetro de força de dessignificação.
• Seleção de Hiperparâmetro: Para lidar com a mudança de distribuição introduzida pela SD, os autores sugerem uma estratégia de adaptação leve: congelar o explicador e o codificador, e ajustar finamente apenas o classificador nas explicações calibradas. A força de dessignificação $\eta$ é então selecionada com base na precisão de validação desse classificador adaptado.

3. Principais Contribuições

• Insight Mecanístico: O artigo fornece a primeira explicação teórica para a auto-inconsistência, atribuindo-a a perturbações de contexto local e formalizando o papel da atribuição de sinal latente sob restrições de concisão.
• Calibração Eficiente: Introduz a Auto-Dessignificação (SD), uma estratégia pós-hoc que melhora a qualidade da explicação com sobrecarga computacional mínima (apenas uma passagem direta adicional, adicionando ~4–6% de custo).
• Complementaridade: O trabalho demonstra que a SD captura uma fonte distinta de ruído (auto-inconsistência de modelo único) que é complementar aos métodos existentes de inconsistência entre modelos, como o Ensemble de Explicações (EE).

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro frameworks representativos de SI-GNN (GAT, CAL, SMGNN, GSAT), múltiplas arquiteturas de backbone (GIN, GraphSAGE, GatedGCN) e quatro conjuntos de dados de referência (BA-2MOTIFS, 3MR, BENZENE, MUTAGENICITY).

• Qualidade da Explicação: A SD melhora consistentemente a AUC (plausibilidade contra a verdade fundamental) em todas as 16 configurações testadas, com ganhos de até 3,9%. Também reduz significativamente a SPA (Esparsidade Suave), indicando explicações mais concisas e menos redundantes.
• Fidelidade: Os resultados na FID (Fidelidade) são mistos, o que os autores atribuem à mudança de distribuição introduzida pela SD e aos mecanismos específicos de certos modelos (por exemplo, CAL). No entanto, após a adaptação leve do classificador, a estabilidade da FID melhora.
• Desempenho Preditivo: Aplicar apenas a SD resulta em mudanças mínimas na precisão. Quando combinada com a adaptação leve do classificador (SD*), a precisão de classificação a jusante melhora consistentemente, com ganhos de até 8% em alguns casos.
• Eficiência vs. EE: Diferentemente do Ensemble de Explicações (EE), que requer o treinamento de múltiplos modelos e incorre em ~400% de sobrecarga, a SD requer apenas um único modelo e adiciona ~4–6% de sobrecarga. A combinação de SD com EE produz melhorias adicionais, sugerindo que os dois métodos abordam fontes de ruído diferentes.

5. Significado e Alegações

O artigo alega que a auto-inconsistência não é meramente um modo de falha, mas um sinal intrínseco que pode ser explorado para calibrar explicações. Ao compreender o mecanismo de perturbação de contexto e atribuição de sinal latente, os autores demonstram que uma simples etapa de pós-processamento sem treinamento pode melhorar significativamente a confiabilidade e a concisão das explicações de SI-GNN.

Os autores mantêm uma postura modesta, observando que:

• Sua hipótese de sinal latente é uma perspectiva mecanística inferida do comportamento, e não um modelo de variável latente rigorosamente identificável.
• A SD não garante explicações totalmente confiáveis, pois não pode capturar todas as fontes de ruído (por exemplo, aquelas não relacionadas à auto-inconsistência).
• O método é projetado para calibração pós-hoc de modelos pré-treinados existentes, distinguindo-se de abordagens que exigem retreinamento com objetivos de auto-consistência.

Em última análise, o trabalho visa melhorar a confiabilidade de sistemas de IA em domínios de alto risco (por exemplo, descoberta de medicamentos, descoberta científica) ao suprimir ruído orientado por contexto em explicações de grafos sem exigir alterações arquitetônicas ou retreinamento.