A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

No mundo da inteligência artificial, há uma demanda crescente para entender como as máquinas tomam decisões, especialmente quando essas decisões afetam vidas reais. Imagine um programa de computador que observa uma rede complexa de conexões — como um mapa de como diferentes drogas interagem entre si, ou como as pessoas estão ligadas em uma rede social — e prevê um resultado. Esses programas, conhecidos como redes neurais de grafos, são incrivelmente poderosos, mas frequentemente operam como caixas pretas, oferecendo uma previsão sem explicar o porquê. Para corrigir isso, pesquisadores desenvolveram um método chamado explicação contrafactual. Em vez de apenas apontar quais partes da rede foram importantes para a resposta final, este método faz uma pergunta do tipo "e se": qual é a menor mudança mais realista que poderíamos fazer na rede para obter um resultado completamente diferente? Por exemplo, se um sistema prevê que dois medicamentos são seguros para serem tomados juntos, uma explicação contrafactual mostraria exatamente qual nova conexão, se existisse, faria o sistema prever uma reação perigosa. Essa abordagem ajuda médicos, cientistas e engenheiros a confiar na máquina ao mostrar os mecanismos precisos que controlam sua lógica.

Uma equipe de pesquisadores do Instituto de Ciência da Computação na Grécia recentemente decidiu testar as melhores ferramentas atualmente disponíveis para gerar esses cenários de "e se" em redes de grafos. Eles focaram em uma nova geração de ferramentas que podem fazer mais do que apenas deletar conexões; elas também podem adicionar novas. Essa capacidade de adicionar e remover links é crucial porque as redes do mundo real raramente são fixas; elas evoluem, e entender como mudá-las requer olhar em ambas as direções. Os pesquisadores reuniram seis dos programas de computador mais avançados projetados para essa tarefa e os submeteram a uma série rigorosa de testes. Eles executaram esses programas em uma grande variedade de dados, incluindo redes sintéticas construídas para ter padrões específicos e conjuntos de dados do mundo real que representavam desde moléculas químicas até postagens de redes sociais e citações científicas. O objetivo não era apenas ver qual programa conseguia encontrar uma resposta, mas julgar a qualidade dessa resposta: a mudança foi pequena o suficiente para ser crível? Ela realmente inverteu a previsão? E demorou muito para ser computada?

O estudo revelou que não existe um único campeão que vença em todas as categorias. Os pesquisadores descobriram um constante compromisso entre a velocidade da explicação, o tamanho da mudança necessária e a confiabilidade do resultado. Alguns programas eram excelentes em encontrar mudanças mínimas e pequenas que invertiam a previsão, mas frequentemente falhavam em encontrar uma solução para dados complexos do mundo real. Outros eram muito confiáveis e quase sempre conseguiam encontrar uma maneira de mudar o resultado, mas as mudanças que sugeriam eram frequentemente tão grandes e complicadas que seriam impossíveis de serem interpretadas ou confiadas por um humano. Um programa, que utilizava uma técnica inspirada em como imagens são geradas, era muito minucioso e encontrava respostas de alta qualidade, mas era tão lento que levava horas para processar um único grafo, tornando-o impraticável para muitos usos. Outro programa era incrivelmente rápido e eficiente, mas tendia a produzir explicações que eram grandes demais para serem úteis.

Talvez a descoberta mais surpreendente tenha sido que mesmo as melhores ferramentas tinham dificuldade em focar na parte certa da rede. Nos testes sintéticos, onde os pesquisadores sabiam exatamente qual padrão de conexões era responsável pela previsão, muitos dos programas ainda sugeriam mudanças em áreas da rede que eram irrelevantes. Eles adicionavam ou removiam arestas longe do padrão crítico, efetivamente adivinhando no escuro em vez de localizar a verdadeira causa. Isso sugere que, embora essas ferramentas estejam melhorando na busca por uma solução, elas ainda não estão encontrando consistentemente a solução certa. Os pesquisadores também observaram que a maioria das ferramentas existentes foi projetada primariamente para classificar redes inteiras, como determinar se uma molécula é tóxica, mas teve um desempenho significativamente inferior quando solicitada a explicar o comportamento de um único nó dentro de uma rede, como prever o tópico de um artigo de pesquisa específico.

Em última análise, este trabalho serve como um choque de realidade para um campo que está se movendo muito rapidamente. Os autores concluem que, embora a capacidade de adicionar e remover conexões seja um grande passo à frente, a geração atual de ferramentas ainda é um trabalho em progresso. Nenhum método oferece atualmente o equilíbrio perfeito entre velocidade, precisidade e simplicidade. O estudo destaca que a pesquisa futura precisa ir além de simplesmente encontrar qualquer resposta e focar na geração de explicações que sejam não apenas corretas, mas também significativas e eficientes. Até que um método seja encontrado que possa identificar consistentemente as mudanças precisas e mínimas necessárias para alterar uma previsão sem ficar preso em complexidade ou tempo, o pleno potencial desses poderosos sistemas de IA permanecerá parcialmente oculto sob um véu de incerteza.