Resumen Técnico: Explicación de Redes Neuronales de Grafos para la Similitud de Nodos en Grafos

Definición del Problema

El artículo aborda una brecha crítica en la explicabilidad de las Redes Neuronales de Grafos (GNN). Si bien existe una amplia investigación sobre la explicación de GNN para tareas supervisadas (por ejemplo, clasificación de nodos, predicción de enlaces), el problema de explicar la similitud de nodos en entornos no supervisados permanece en gran medida sin abordar. En muchas aplicaciones, como redes de citas o grafos de conocimiento, las GNN se entrenan para aprender incrustaciones de nodos donde la similitud se calcula mediante métricas como la similitud del coseno. A diferencia de las etiquetas de clasificación discretas, la similitud es una cantidad continua, y los protocolos de evaluación existentes para la explicabilidad no se aplican directamente. Los autores investigan cómo atribuir valores a las aristas en un grafo para explicar por qué dos nodos específicos tienen una puntuación de similitud alta o baja, distinguiendo esto de las tareas donde el objetivo es justificar una predicción discreta.

Metodología

Marco y Criterios

Los autores proponen un marco para evaluar las explicaciones de la similitud de nodos basándose en tres criterios derivados de los principios generales de la IA Explicable (XAI):

1. Accionabilidad: Una explicación debe permitir intervenciones (por ejemplo, agregar o eliminar aristas) que resulten en un cambio predecible en la puntuación de similitud.
2. Consistencia: El efecto de mantener las aristas por encima de un umbral de explicación debe ser distinto del efecto de descartarlas (es decir, mantener las aristas por debajo del umbral). Los dos conjuntos de aristas no deben producir efectos superpuestos o indistinguibles en la puntuación.
3. Escasez: Una explicación debe ser comprimible; un subconjunto pequeño de las aristas más relevantes debe retener la mayoría del efecto explicativo observado en el conjunto completo.

Métricas Basadas en Intervención

Para operacionalizar estos criterios, los autores introducen métricas basadas en intervención y agnósticas al modelo:

• Fidelidad ($Fid$): Mide el cambio en la puntuación de similitud después de intervenir en el grafo basándose en la explicación. Específicamente, calculan $Fid_a$ (cambio al mantener las aristas por encima de un umbral) y $Fid_b$ (cambio al mantener las aristas por debajo del umbral).
• Superposición de Efectos (EO): Una métrica de similitud de Jaccard generalizada que cuantifica la superposición entre los signos de los valores de fidelidad para las dos intervenciones. Un EO bajo indica que las dos intervenciones tienen efectos distintos y complementarios (por ejemplo, una aumenta la similitud y la otra la disminuye), satisfaciendo el criterio de consistencia.
• Evaluación de Escasez: Los autores simulan niveles crecientes de escasez eliminando las aristas menos relevantes de las máscaras de explicación y reevaluando la fidelidad y el EO. Una explicación robusta mantiene sus propiedades accionables y consistentes incluso a medida que se reduce el número de aristas.

Configuración Experimental

El estudio evalúa dos familias de métodos de explicación:

1. Métodos de Información Mutua (MI): Específicamente, GNNExplainer, que busca un subgrafo que maximice la información mutua con la predicción.
2. Métodos Basados en Gradientes (GB): Cálculo directo del gradiente con respecto a la matriz de adyacencia e Gradientes Integrados.

Estos métodos se aplican a incrustaciones de nodos generadas por cuatro algoritmos de aprendizaje no supervisado: Autoencoders de Grafos (GAE), Autoencoders Variacionales de Grafos (VGAE), Deep Graph Infomax (DGI) y Aprendizaje de Representación Contrastiva de Grafos (GRACE). Los experimentos se realizan en seis conjuntos de datos: redes de citas (Cora, Citeseer, Pubmed), grafos heterofílicos (Chameleon, Squirrel, Actor) y un grafo de conocimiento (DBpedia50k).

Resultados Clave

Los experimentos arrojan tres hallazgos principales sobre el rendimiento de los métodos GB frente a los métodos MI en el contexto de la similitud de nodos:

1. Accionabilidad: Las explicaciones basadas en gradientes son consistentemente accionables. Las intervenciones basadas en explicaciones GB (mantener las aristas por encima del umbral) aumentan predeciblemente la puntuación de similitud, mientras que las intervenciones basadas en aristas por debajo del umbral la disminuyen predeciblemente. Por el contrario, GNNExplainer (MI) muestra un comportamiento inconsistente; el efecto de mantener aristas de alto valor a menudo depende del modelo de incrustación específico y del conjunto de datos, fallando en producir una dirección de cambio predecible en todos los escenarios.
2. Consistencia: Los métodos GB logran puntuaciones de Superposición de Efectos (EO) significativamente más bajas (a menudo cercanas a 0 o < 0.1) en comparación con los métodos MI (a menudo > 0.4 o > 0.5). Esto indica que las explicaciones GB distinguen claramente entre las aristas que aumentan la similitud y aquellas que la disminuyen. Las explicaciones MI a menudo resultan en efectos superpuestos donde tanto las aristas de alto como de bajo valor producen cambios similares en la puntuación, fallando en el criterio de consistencia.
3. Escasez: Las propiedades accionables y consistentes de las explicaciones GB se preservan incluso cuando la explicación se poda para retener solo el 10% superior de las aristas (90% de escasez). Esto sugiere que las explicaciones GB pueden simplificarse significativamente sin perder su poder explicativo, mientras que las explicaciones MI no exhiben esta robustez.

Los autores también señalan que, aunque los métodos MI a veces muestran un EO más bajo en casos específicos (por ejemplo, DGI con GraphSAGE), esto se debe a menudo a efectos cercanos a cero (baja accionabilidad) en lugar de una verdadera consistencia. En tales regímenes, la falta de un impacto significativo en la puntuación dificulta la separación basada en signos para cualquier explicador.

Significado y Afirmaciones

El artículo afirma ser el primero en definir y evaluar formalmente el problema de explicar la similitud de nodos en GNN. Su importancia radica en:

• Cerrar una Brecha: Se aleja del enfoque dominante en tareas supervisadas para abordar la explicabilidad de puntuaciones de similitud continuas y no supervisadas.
• Marco de Evaluación: Proporciona un conjunto de métricas cuantitativas basadas en intervención (Fidelidad, EO, Escasez) que son necesarias para evaluar la calidad de las explicaciones de similitud, las cuales las métricas estándar basadas en clasificación no pueden capturar.
• Perspectiva Metodológica: Los resultados demuestran que los métodos basados en gradientes son superiores a los métodos basados en información mutua para esta tarea específica. Los métodos GB proporcionan explicaciones que no solo son accionables y consistentes, sino también escasas, ofreciendo una herramienta más práctica e interpretable para entender por qué los nodos son similares.
• Generalización: Las métricas propuestas son agnósticas al modelo y aplicables a cualquier función de similitud definida sobre incrustaciones de nodos (por ejemplo, distancia euclidiana), ofreciendo una base para el desarrollo futuro de sistemas de búsqueda de similitud explicables.

Los autores concluyen que, aunque el costo computacional es un factor (los métodos GB son generalmente más eficientes que la optimización iterativa requerida por los métodos MI), la ventaja principal de los métodos GB en este contexto es su capacidad para proporcionar explicaciones fiables, direccionales y escasas para la similitud de nodos.