Resumo Técnico: Explicando os Explicadores em Redes Neurais em Grafos: um Estudo Comparativo

Declaração do Problema

As Redes Neurais em Grafos (GNNs) tornaram-se o padrão para aprendizado baseado em grafos, mas sua natureza de "caixa preta" limita sua implantação em cenários críticos para a segurança. Embora numerosos explicadores de GNN tenham surgido para interpretar as decisões do modelo, o campo carece de uma compreensão sistemática de como diferentes arquiteturas de GNN influenciam a explicabilidade, qual explicador é ótimo para configurações específicas e como diferentes tipos de problema (por exemplo, contagem de subestruturas versus detecção de motivos) afetam a qualidade da explicação. Esforços anteriores de benchmarking foram limitados por avaliar apenas uma única arquitetura de GNN (tipicamente GCN), usar métricas inconsistentes ou falhar em distinguir entre a plausibilidade de uma explicação (alinhamento com a intuição humana/verdade fundamental) e sua fidelidade (alinhamento com o processo de decisão real do modelo).

Metodologia

Os autores conduziram um estudo experimental sistemático em grande escala envolvendo:

• Arquiteturas: Oito arquiteturas representativas de GNNs de passagem de mensagens, categorizadas por seus mecanismos computacionais: Espectrais (Cheb, GCN), Espaciais (GraphSAGE, GIN, GAT), de Ordem Superior (GraphConv) e Baseadas em Agrupamento (MinCutPool, Set2Set).
• Explicadores: Doze explicadores baseados em instâncias abrangendo cinco categorias: Baseados em Gradiente (GradExplNode, GuidedBP, IntegratedGradients, GradCam), Baseados em Perturbação (GNNExplainer, PGExplainer, SubgraphX), Baseados em Decomposição (CAM), Baseados em Surrogato (PGMExplainer) e Baseados em Geração (RG-Explainer).
• Conjuntos de Dados: Seis conjuntos de dados cuidadosamente projetados para tarefas de classificação de grafos e de nós. Estes incluem benchmarks sintéticos (Grid, Grid-House, Stars, House-Color, Shapes, Infection) onde as explicações de verdade fundamental são conhecidas, permitindo uma avaliação rigorosa.
• Métricas de Avaliação: O estudo emprega duas estratégias principais:
  1. Plausibilidade: Mede a similaridade entre a máscara do explicador e um conceito de verdade fundamental conhecido (usando AUC-ROC).
  2. Fidelidade: Mede o quão bem a previsão do modelo é preservada quando computada apenas no subgrafo da explicação. Isso é decomposto em Suficiência (previsão na explicação) e Compreensividade (previsão no complemento), agregadas em uma pontuação de fidelidade F1.
• Protocolo Experimental: Os modelos foram treinados para alcançar pelo menos 95% de precisão de treinamento. Explicações foram geradas no conjunto de treinamento, filtradas por informatividade e agregadas através de classes e conjuntos de dados para ranquear arquiteturas e explicadores.

Principais Contribuições

1. Benchmarking Abrangente: O estudo é o primeiro a avaliar um amplo espectro de arquiteturas de GNN contra um conjunto diversificado de explicadores em múltiplos conjuntos de dados, indo além do viés de arquitetura única de trabalhos anteriores.
2. Desvinculação de Plausibilidade e Fidelidade: Os autores destacam um compromisso frequente onde alta plausibilidade (correspondendo às expectativas humanas) não garante alta fidelidade (correspondendo ao comportamento do modelo), e vice-versa. Eles demonstram que confiar em uma única métrica pode levar a conclusões enganosas sobre a qualidade de um explicador.
3. Identificação de Aprendizado "Preguiçoso": O estudo revela que as GNNs frequentemente exibem "preguiça", aprendendo características discriminativas apenas para uma classe (por exemplo, a classe positiva) e tratando a outra como padrão. Explicações para essas classes "padrão" são frequentemente pouco confiáveis ou enganosas.
4. Impacto Arquitetural na Explicabilidade: O trabalho isola componentes arquitetônicos específicos que impactam significativamente a explicabilidade, como a escolha da função de agregação (linear versus não linear) e o tratamento de características de aresta.

Principais Resultados

Pergunta de Pesquisa 1: Como a arquitetura afeta as explicações?

• Melhor Geral: GraphConv (Ordem Superior) alcançou as pontuações agregadas mais altas tanto para plausibilidade quanto para fidelidade em tarefas de classificação de grafos.
• Mais Fácil de Explicar: GCN foi consistentemente a arquitetura mais fácil de explicar na maioria dos conjuntos de dados e métricas. Os autores sugerem que isso pode ser devido ao seu mecanismo simples de passagem de mensagens linear, em contraste com arquiteturas mais complexas.
• Mais Difícil de Explicar: GIN (Graph Isomorphism Network) foi a mais difícil de explicar, apesar de sua estrutura simples de MLP de camada única. Isso sugere um viés potencial em explicadores existentes, que são frequentemente desenvolvidos e testados em GCNs.
• Classificação de Nós: Para classificação de nós, GraphSAGE forneceu explicações mais alinhadas com a verdade fundamental (plausibilidade), enquanto GIN ofereceu a maior fidelidade. Chebyshev (Cheb) foi o mais difícil de explicar, provavelmente devido ao seu campo receptivo mais amplo.

Pergunta de Pesquisa 2: Como os explicadores afetam as explicações?

• Classificação de Grafos: Explicadores baseados em arestas superaram consistentemente os baseados em nós. SubgraphX (Baseado em Perturbação) foi o explicador mais robusto através das arquiteturas. Métodos baseados em gradiente se destacaram em plausibilidade, enquanto métodos baseados em geração tiveram o melhor desempenho em fidelidade.
• Classificação de Nós: A tendência se inverteu; explicadores baseados em nós (especificamente GNNExplainer e GradCam) superaram os baseados em arestas. Métodos baseados em gradiente foram geralmente superiores para tarefas de classificação de nós.
• Tipo de Máscara: A superioridade de máscaras baseadas em arestas na classificação de grafos é atribuída ao fato de serem projetadas especificamente para grafos, enquanto máscaras baseadas em nós são frequentemente adaptações de dados tensoriais.

Pergunta de Pesquisa 3: Como diferentes tipos de problema afetam as explicações?

• Contagem de Motivos: No conjunto de dados "Stars" (contagem de subestruturas), os explicadores lutaram para alinhar plausibilidade com fidelidade. Os modelos frequentemente exigiam todo o contexto do grafo (incluindo o grafo de fundo ER) para fazer previsões corretas, o que significa que o motivo de "verdade fundamental" sozinho era insuficiente para alta fidelidade.
• Composicionalidade: Em "Grid-House", os modelos exibiram preguiça, frequentemente aprendendo a identificar apenas um componente (grade ou casa) e prevendo a outra classe por ausência.
• Características de Nós: Em "House-Color", onde características de nós (cores) eram discriminativas, explicadores baseados em arestas ainda performaram bem, mas o estudo notou que mecanismos de atenção (GAT) dependendo fortemente de características de nós foram mal explicados pelos métodos baseados em arestas testados.

Significado e Alegações

O artigo alega fornecer um "passo significativo em direção a explicar a explicabilidade" ao ir além das métricas quantitativas de desempenho para oferecer insights qualitativos sobre por que certas arquiteturas e explicadores têm sucesso ou falham.

• Recomendações Práticas: Os autores fornecem diretrizes acionáveis: use explicadores baseados em arestas, baseados em perturbação ou geração (como SubgraphX) para classificação de grafos, e explicadores baseados em nós, baseados em gradiente (como GradCam ou GNNExplainer) para classificação de nós.
• Insight Crítico sobre Métricas: O estudo alerta que alta precisão não implica que o modelo aprendeu o conceito de verdade fundamental; uma discrepância entre plausibilidade e fidelidade frequentemente indica que o modelo está "preguiçoso" ou aprendeu correlações espúrias.
• Direções Futuras: Os autores identificam problemas em aberto, incluindo a necessidade de explicações em nível de modelo, a definição de explicações além de subgrafos (por exemplo, centralidade ou propriedades globais) e o desenvolvimento de explicadores para arquiteturas não de passagem de mensagens (por exemplo, Transformers) e grafos dinâmicos. Eles enfatizam que a explicabilidade deve ser considerada uma métrica de design ao criar novas arquiteturas de GNN.

O artigo conclui que, embora tenha havido progresso, uma compreensão satisfatória da explicabilidade de GNNs permanece elusiva, particularmente no que diz respeito à interação entre escolhas arquitetônicas, características de conjuntos de dados e as limitações das métricas de avaliação atuais.