Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

Resumo Técnico: Superando o Aprendizado de Atalhos em Redes Neurais de Grafos através de Orientação de Explicação Ativa

Definição do Problema
As Redes Neurais de Grafos (GNNs) frequentemente sofrem de "aprendizado de atalhos" (shortcut learning), onde os modelos exploram correlações espúrias (confundidores) em vez de padrões causais para alcançar alta acurácia na distribuição de treinamento (in-distribution). Esses atalhos — como características específicas de nós, metadados ou estatísticas simples de entrada — permitem que os modelos tenham um bom desempenho nos dados de treinamento, mas falham ao generalizar quando ocorre uma mudança na distribuição dos dados (out-of-distribution). As soluções existentes geralmente exigem acesso a dados de múltiplos domínios ou extensos dados observacionais, que nem sempre estão disponíveis. Além disso, embora as explicações de GNNs possam revelar a dependência de atalhos, obter explicações de verdade fundamental (ground-truth) para todo um conjunto de dados é proibitivamente caro e demorado devido à necessidade de anotação por especialistas.

Metodologia: XIGL
Os autores propõem o XIGL (xexplanatory Interactive Graph shortcut unLearning), uma estratégia agnóstica à arquitetura e baseada em interação humano-no-loop, projetada para desconfundir GNNs através da remoção iterativa de dependências de atalhos. O framework opera sobre dois insights fundamentais: (1) as explicações de GNN podem expor a dependência de atalhos, e (2) usuários especialistas podem fornecer feedback corretivo sobre essas explicações para guiar o modelo em direção ao raciocínio causal.

A metodologia central envolve três componentes:

1. Função de Perda Guiada por Explicação:
   O XIGL utiliza gradientes de entrada como um substituto (proxy) para a importância do nó. Para penalizar a dependência de nós irrelevantes ou espúrios ($V_{ir}$), os autores introduzem uma função de perda $L = L_{ce} + \lambda L_e$.

   • $L_{ce}$ é a perda de entropia cruzada padrão.
   • $L_e$ minimiza a razão entre os gradientes de entrada dos nós irrelevantes e o total dos gradientes de entrada.
   • Um termo de normalização é incluído no denominador para evitar a solução trivial onde todos os gradientes colapsam para zero.
   • O vetor de explicação de verdade fundamental $e$ (onde $e_j=1$ para nós relevantes e $0$ caso contrário) é usado para ponderar esta penalidade.

2. Pipeline de Aprendizado Ativo:
   Reconhecendo que anotar explicações para todos os dados é impraticável, o XIGL emprega uma estratégia de aprendizado ativo (AL) com um orçamento de anotação fixo $B$.

   • Inicialização: O modelo é treinado em um pequeno conjunto inicial de grafos com explicações corrigidas por especialistas.
   • Seleção Iterativa: Em cada iteração, uma estratégia de consulta de aprendizado ativo seleciona um lote dos grafos mais informativos do pool não rotulado.
   • Correção e Ajuste Fino (Fine-tuning): Um especialista anota os grafos selecionados (indicando em quais nós o modelo não deve confiar) e o modelo é ajustado utilizando a perda guiada por explicação.

3. Estratégias de Consulta:
   O artigo propõe e avalia duas novas estratégias de consulta baseadas em explicação, juntamente com baselines padrão baseados em predição:

   • Máxima Entropia de Explicação (MaEE): Seleciona grafos onde a explicação do modelo (gradientes de entrada) é mais incerta (uniforme entre os nós).
   • Mínima Entropia de Explicação (MiEE): Seleciona grafos onde o modelo é mais confiante em sua própria explicação. Esta estratégia aproveita o "viés de simplicidade" das redes neurais, hipotetizando que explicações altamente confiantes são frequentemente sobreajustadas (overfitted) a atalhos espúrios e, portanto, necessitam mais de correção.
   • Baselines: Máxima Entropia de Classificação (MaCE) e Amostragem Aleatória.

Principais Contribuições

• Framework XIGL: Um pipeline interativo que integra o feedback humano em explicações de GNN para remover ativamente dependências de atalhos.
• Novas Estratégias de Consulta: A introdução de estratégias de aprendizado ativo baseadas em explicação (MaEE e MiEE) que priorizam instâncias com base na qualidade do raciocínio do modelo, em vez de apenas na incerteza da predição.
• Eficiência: Demonstração de que um desconfundimento de alto desempenho pode ser alcançado com uma fração do orçamento de anotação exigido pela supervisão passiva (anotação de todo o conjunto de dados).

Resultos
Experimentos foram conduzidos em dois conjuntos de dados: ER-color (sintético) e CPatchMNIST (extensão do mundo real), em quatro arquiteturas de GNN (GCN, GIN, GraphSAGE, GAT).

• Supervisão Passiva: Quando fornecidas com explicações para todo o conjunto de dados, o XIGL melhora significativamente a generalização em conjuntos de teste não confundidos em comparação com modelos treinados sem supervisão de explicação. Por exemplo, no ER-color, modelos sem supervisão tiveram desempenho próximo ao nível do acaso, enquanto aqueles com supervisão passiva mostraram ganhos substanciais de acurácia.
• Supervisão Ativa: Estratégias de aprendizado ativo geralmente superaram a amostragem aleatória.
  • No CPatchMNIST, estratégias baseadas em explicação (MaEE e MiEE) superaram consistentemente as estratégias baseadas em predição (MaCE) em todas as arquiteturas.
  • O MiEE emergiu como a estratégia de desempenho consistentemente mais alto, sugerindo que visar instâncias onde o modelo é excessivamente confiante em seu (potencialmente espúrio) raciocínio é altamente eficaz.
  • Embora o aprendizado ativo tenha alcançado uma acurácia ligeiramente inferior à do aprendizado passivo (devido ao menor orçamento de anotação), a lacuna foi relativamente pequena, com o aprendizado ativo utilizando menos de 20% dos dados de treinamento.

Significância e Alegações
O artigo afirma que o XIGL oferece uma rota prática para melhorar a confiabilidade de GNNs em cenários fora da distribuição sem exigir dados de múltiplos domínios. Ao aproveitar o fato de que as explicações naturalmente expõem a dependência de atalhos, o método permite que usuários especialistas "desaprendam" eficientemente padrões espúrios. Os autores enfatizam que sua abordagem reduz tanto os custos de anotação quanto os cognitivos, focando o esforço do especialista apenas em instâncias onde o feedback é mais benéfico.

O trabalho conclui que o aprendizado ativo baseado em explicação é uma direção promissora para o desconfundimento, particularmente estratégias que visam a confiança do modelo em seu próprio raciocínio (MiEE). Os autores observam que trabalhos futuros explorarão GNNs autoexplicáveis, o impacto da fidelidade da explicação no sucesso do desconfundimento e a aplicação desses métodos a uma gama mais ampla de conjuntos de dados do mundo real e tipos de atalhos.