NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

En el mundo de la inteligencia artificial, existe una clase creciente de sistemas conocidos como Redes Neuronales de Grafos. Estas no son las herramientas estándar de reconocimiento de imágenes que se encuentran en su teléfono; en cambio, están diseñadas para comprender datos que existen como una red de conexiones, como moléculas en un compuesto químico, redes sociales o rutas de tráfico. Para tomar una decisión, estos sistemas pasan información a lo largo de los enlaces entre los nodos, de forma muy similar a cómo un rumor se propaga a través de una multitud. Debido a que estos sistemas son increíblemente complejos y su lógica interna es a menudo una caja negra enmarañada, los científicos han desarrollado "explicadores". Estas son herramientas diseñadas para observar una decisión final y señalar qué conexiones o piezas de información específicas fueron las más importantes. La forma estándar en que estas herramientas funcionan es jugando al juego del "¿qué pasaría si...?". Toman una conexión específica, la eliminan o la silencian, y luego le preguntan a la IA: "¿Cambia tu respuesta?". Si la respuesta cambia drásticamente, la herramienta asume que esa conexión era vital. Este método ha sido el estándar de la industria durante años, pero se basa en una suposición frágil: que el acto de eliminar una conexión no rompe accidentalmente todo el sistema de una manera que no tiene nada que ver con la conexión en sí.

Un equipo de investigadores de la Universidad Central del Sur, la Universidad Politécnica de Hong Kong y la Universidad de Griffith ha descubierto que este método estándar es fundamentalmente defectuoso. Encontraron que la forma en que estos explicadores silencian actualmente las conexiones introduce una distorsión oculta que hace que las respuestas de la IA sean poco fiables. Cuando un explicador intenta "apagar" un enlace en la red, típicamente multiplica la información que fluye a través de ese enlace por un número cercano a cero. Si bien esto detiene con éxito el mensaje específico, también reduce el volumen total de información que se mueve a través de toda la red. Los investigadores llaman a este fenómeno "Desviación de Escala" (Scale Drift). Imagine una conversación en la que usted le pide a una persona que le susurre un secreto a un amigo, pero al hacerlo, accidentalmente obliga a todos en la habitación a hablar a una fracción de su volumen normal. El secreto podría haber desaparecido, pero la conversación entera también se ha vuelto tenue y distorsionada. La IA, al recibir esta señal reducida, podría cambiar de opinión no porque el secreto fuera importante, sino simplemente porque toda la habitación se volvió demasiado silenciosa para escuchar algo con claridad. Los investigadores demostraron que esta desviación se acumula con cada paso que la información toma a través de la red, lo que significa que cuanto más profunda es la red, más se desvía el estado interno de la IA de la realidad, haciendo que la explicación sea poco fiable.

Para resolver esto, los investigadores propusieron una nueva forma de probar la IA que evita reducir la señal. En lugar de simplemente silenciar una conexión, introdujeron un método llamado "Corrupción por Ruido" (Noise Corruption). En lugar de bajar el volumen a cero, este método reemplaza el mensaje claro con una versión aleatoria y distorsionada que tiene exactamente la misma fuerza o "volumen" general. Es como tomar una frase clara y reemplazarla con una ráfaga de estática que es tan fuerte como la voz original. La información se corrompe, pero la energía que fluye a través de la red permanece estable. Al mantener el volumen constante, los investigadores se aseguraron de que cualquier cambio en la respuesta de la IA se debiera a la pérdida de un significado específico y no a un colapso en la potencia general del sistema. Construyeron un nuevo marco alrededor de esta idea, al cual llamaron NICE. Este sistema primero aprende un límite de cuánta información necesita ser restaurada para que la IA vuelva a su decisión original, y luego calcula exactamente qué conexiones contribuyeron más a esa restauración.

Los resultados de este nuevo enfoque fueron significativos. Al ser probado en ocho diferentes bancos de pruebas que involucraban moléculas químicas y otras estructuras complejas, el nuevo método superó a las mejores herramientas existentes. Fue capaz de identificar las conexiones críticas correctas con mayor precisión, mejorando su capacidad para encontrar las respuestas adecuadas en un promedio de casi un nueve por ciento en comparación con los mejores métodos anteriores. Más importante aún, los investigadores confirmaron que su nueva técnica eliminó con éxito el problema de la "Desviación de Escala". Cuando compararon el viejo método de silenciar conexiones contra su nuevo método de añadir ruido, el viejo método empujaba consistentemente el estado interno de la IA lejos de su rango operativo normal, mientras que el nuevo método mantenía el estado interno de la IA mucho más cerca de cómo se comportaba antes de realizar cualquier cambio. Esto sugiere que, durante años, muchas explicaciones generadas por la IA podrían haber sido engañosas, no porque la IA estuviera equivocada, sino porque las herramientas utilizadas para explicarla estaban, inadvertidamente, rompiendo el sistema mismo que intentaban comprender. Al arreglar la forma en que se perturba los datos, los investigadores han proporcionado una forma más fiel de ver dentro de la mente de estas redes complejas.