A Comparative Study of Counterfactual Explainers for Graph Neural Networks Enabling Multiple Types of Graph Edit

En el mundo de la inteligencia artificial, existe una creciente demanda de comprender cómo las máquinas toman decisiones, especialmente cuando esas decisiones afectan vidas reales. Imagine un programa informático que observa una red compleja de conexiones —como un mapa de cómo interactúan diferentes fármacos entre sí, o cómo las personas están vinculadas en una red social— y predice un resultado. Estos programas, conocidos como redes neuronales de grafos, son increíblemente poderosos, pero a menudo operan como cajas negras, ofreciendo una predicción sin explicar el porqué. Para solucionar esto, los investigadores han desarrollado un método llamado explicación contrafáctica. En lugar de simplemente señalar qué partes de la red fueron importantes para la respuesta final, este método plantea una pregunta de tipo "¿qué pasaría si?": ¿cuál es el cambio más pequeño y realista que podríamos realizar en la red para obtener un resultado completamente diferente? Por ejemplo, si un sistema predice que dos fármacos son seguros de tomar juntos, una explicación contrafáctica mostraría exactamente qué nueva conexión, si existiera, haría que el sistema predijera una reacción peligrosa. Este enfoque ayuda a médicos, científicos e ingenieros a confiar en la máquina al mostrarles las palancas precisas que controlan su lógica.

Un equipo de investigadores del Instituto de Ciencias de la Computación de Grecia se propuso recientemente poner a prueba las mejores herramientas disponibles actualmente para generar estos escenarios de "qué pasaría si" en redes de grafos. Se centraron en una nueva generación de herramientas que pueden hacer más que simplemente eliminar conexiones; también pueden añadir nuevas. Esta capacidad de añadir y eliminar enlaces es crucial porque las redes del mundo real rara vez son fijas; evolucionan, y comprender cómo cambiarlas requiere mirar en ambas direcciones. Los investigadores reunieron seis de los programas informáticos más avanzados diseñados para esta tarea y los sometieron a una serie rigurosa de pruebas. Ejecutaron estos programas en una amplia variedad de datos, incluyendo redes sintéticas construidas para tener patrones específicos y conjuntos de datos del mundo real que representaban desde moléculas químicas hasta publicaciones en redes sociales y citas científicas. El objetivo no era solo ver qué programa podía encontrar una respuesta, sino juzgar la calidad de esa respuesta: ¿era el cambio lo suficientemente pequeño como para ser creíble? ¿Realmente cambió la predicción? ¿Y tardó demasiado en computarse?

El estudio reveló que no hay un único campeón que gane en todas las categorías. Los investigadores encontraron un compromiso constante entre la velocidad de la explicación, el tamaño del cambio requerido y la fiabilidad del resultado. Algunos programas eran excelentes para encontrar cambios diminutos y mínimos que invertían la predicción, pero a menudo fallaban al encontrar una solución para datos complejos del mundo real. Otros eran muy fiables y casi siempre podían encontrar una forma de cambiar el resultado, pero los cambios que sugerían eran a menudo tan grandes y complicados que serían imposibles de interpretar o confiar para un ser humano. Un programa, que utilizaba una técnica inspirada en cómo se generan las imágenes, era muy exhaustivo y encontraba respuestas de alta calidad, pero era tan lento que tardaba horas en procesar un solo grafo, lo que lo hacía poco práctico para muchos usos. Otro programa era increíblemente rápido y eficiente, pero tendía a producir explicaciones que eran demasiado grandes para ser útiles.

Quizás el hallazgo más sorprendente fue que incluso las mejores herramientas tenían dificultades para centrarse en la parte correcta de la red. En las pruebas sintéticas, donde los investigadores sabían exactamente qué patrón de conexiones era responsable de la predicción, muchos de los programas seguían sugiriendo cambios en áreas de la red que eran irrelevantes. Añadían o eliminaban aristas lejos del patrón crítico, efectivamente adivinando a ciegas en lugar de localizar la verdadera causa. Esto sugiere que, si bien estas herramientas están mejorando en la búsqueda de una solución, aún no encuentran consistentemente la solución correcta. Los investigadores también observaron que la mayoría de las herramientas existentes estaban diseñadas principalmente para clasificar redes enteras, como determinar si una molécula es tóxica, pero funcionaban significativamente peor cuando se les pedía explicar el comportamiento de un solo nodo dentro de una red, como predecir el tema de un artículo de investigación específico.

En última instancia, este trabajo sirve como un baño de realidad para un campo que se mueve muy rápidamente. Los autores concluyen que, si bien la capacidad de añadir y eliminar conexiones es un gran paso adelante, la generación actual de herramientas es todavía un trabajo en progreso. Ningún método ofrece actualmente el equilibrio perfecto entre velocidad, precisión y simplicidad. El estudio destaca que la investigación futura debe ir más allá de simplemente encontrar cualquier respuesta y centrarse en generar explicaciones que no solo sean correctas, sino también significativas y eficientes. Hasta que se encuentre un método que pueda identificar consistentemente los cambios precisos y mínimos necesarios para alterar una predicción sin estancarse en la complejidad o el tiempo, el pleno potencial de estos poderosos sistemas de IA permanecerá parcialmente oculto tras un velo de incertidumbre.