Resumen Técnico: Explicando a los Explicadores en Redes Neuronales de Grafos: un Estudio Comparativo

Enunciado del Problema

Las Redes Neuronales de Grafos (GNN) se han convertido en el estándar para el aprendizaje basado en grafos, sin embargo, su naturaleza de "caja negra" limita su implementación en escenarios críticos para la seguridad. Aunque han surgido numerosos explicadores de GNN para interpretar las decisiones del modelo, el campo carece de una comprensión sistemática de cómo diferentes arquitecturas de GNN influyen en la explicabilidad, cuál explicador es óptimo para configuraciones específicas y cómo diferentes tipos de problemas (por ejemplo, contar subestructuras frente a detección de motivos) afectan la calidad de la explicación. Esfuerzos previos de evaluación comparativa se vieron limitados al evaluar únicamente una sola arquitectura de GNN (típicamente GCN), al utilizar métricas inconsistentes o al no distinguir entre la plausibilidad de una explicación (alineación con la intuición humana/verdad fundamental) y su fidelidad (alineación con el proceso de decisión real del modelo).

Metodología

Los autores realizaron un estudio experimental sistemático a gran escala que involucró:

• Arquitecturas: Ocho arquitecturas representativas de GNN de paso de mensajes, categorizadas por sus mecanismos computacionales: Espectrales (Cheb, GCN), Espaciales (GraphSAGE, GIN, GAT), de Orden Superior (GraphConv) y basadas en Agrupamiento (MinCutPool, Set2Set).
• Explicadores: Doce explicadores basados en instancias que abarcan cinco categorías: Basados en Gradientes (GradExplNode, GuidedBP, IntegratedGradients, GradCam), Basados en Perturbación (GNNExplainer, PGExplainer, SubgraphX), Basados en Descomposición (CAM), Basados en Surrogados (PGMExplainer) y Basados en Generación (RG-Explainer).
• Conjuntos de Datos: Seis conjuntos de datos cuidadosamente diseñados para tareas de clasificación de grafos y nodos. Estos incluyen benchmarks sintéticos (Grid, Grid-House, Stars, House-Color, Shapes, Infection) donde las explicaciones de verdad fundamental son conocidas, permitiendo una evaluación rigurosa.
• Métricas de Evaluación: El estudio emplea dos estrategias principales:
  1. Plausibilidad: Mide la similitud entre la máscara del explicador y un concepto de verdad fundamental conocido (utilizando AUC-ROC).
  2. Fidelidad: Mide qué tan bien se preserva la predicción del modelo cuando se calcula únicamente en el subgrafo de la explicación. Esto se descompone en Suficiencia (predicción sobre la explicación) y Comprehensividad (predicción sobre el complemento), agregadas en una puntuación de fidelidad F1.
• Protocolo Experimental: Los modelos se entrenaron para lograr al menos un 95% de precisión en el entrenamiento. Las explicaciones se generaron en el conjunto de entrenamiento, se filtraron por informatividad y se agregaron a través de clases y conjuntos de datos para clasificar arquitecturas y explicadores.

Contribuciones Clave

1. Evaluación Comparativa Exhaustiva: El estudio es el primero en evaluar un amplio espectro de arquitecturas de GNN frente a un conjunto diverso de explicadores en múltiples conjuntos de datos, superando el sesgo de arquitectura única de trabajos anteriores.
2. Desenredar Plausibilidad y Fidelidad: Los autores destacan un compromiso frecuente donde una alta plausibilidad (coincidir con las expectativas humanas) no garantiza una alta fidelidad (coincidir con el comportamiento del modelo), y viceversa. Demuestran que depender de una sola métrica puede llevar a conclusiones engañosas sobre la calidad de un explicador.
3. Identificación del Aprendizaje "Perezoso": El estudio revela que las GNN a menudo exhiben "pereza", aprendiendo características discriminativas solo para una clase (por ejemplo, la clase positiva) y tratando a la otra como predeterminada. Las explicaciones para estas clases "predeterminadas" a menudo son poco fiables o engañosas.
4. Impacto Arquitectónico en la Explicabilidad: El trabajo aísla componentes arquitectónicos específicos que impactan significativamente la explicabilidad, como la elección de la función de agregación (lineal vs. no lineal) y el manejo de características de las aristas.

Resultados Clave

Pregunta de Investigación 1: ¿Cómo afecta la arquitectura a las explicaciones?

• Mejor en General: GraphConv (Orden Superior) obtuvo las puntuaciones agregadas más altas tanto para plausibilidad como para fidelidad en tareas de clasificación de grafos.
• Más Fácil de Explicar: GCN fue consistentemente la arquitectura más fácil de explicar en la mayoría de los conjuntos de datos y métricas. Los autores sugieren que esto puede deberse a su mecanismo de paso de mensajes simple y lineal, en contraste con arquitecturas más complejas.
• Más Difícil de Explicar: GIN (Red Isomórfica de Grafos) fue la más difícil de explicar, a pesar de su estructura simple de MLP de una sola capa. Esto sugiere un sesgo potencial en los explicadores existentes, que a menudo se desarrollan y prueban en GCNs.
• Clasificación de Nodos: Para la clasificación de nodos, GraphSAGE proporcionó explicaciones más alineadas con la verdad fundamental (plausibilidad), mientras que GIN ofreció la mayor fidelidad. Chebyshev (Cheb) fue la más difícil de explicar, probablemente debido a su campo receptivo más amplio.

Pregunta de Investigación 2: ¿Cómo afectan los explicadores a las explicaciones?

• Clasificación de Grafos: Los explicadores basados en aristas superaron consistentemente a los basados en nodos. SubgraphX (basado en perturbación) fue el explicador más robusto a través de las arquitecturas. Los métodos basados en gradientes destacaron en plausibilidad, mientras que los métodos basados en generación funcionaron mejor en fidelidad.
• Clasificación de Nodos: La tendencia se invirtió; los explicadores basados en nodos (específicamente GNNExplainer y GradCam) superaron a los basados en aristas. Los métodos basados en gradientes fueron generalmente superiores para tareas de clasificación de nodos.
• Tipo de Máscara: La superioridad de las máscaras basadas en aristas en la clasificación de grafos se atribuye a que están diseñadas específicamente para grafos, mientras que las máscaras basadas en nodos a menudo son adaptaciones de datos tensoriales.

Pregunta de Investigación 3: ¿Cómo afectan diferentes tipos de problemas a las explicaciones?

• Conteo de Motivos: En el conjunto de datos "Stars" (contar subestructuras), los explicadores tuvieron dificultades para alinear la plausibilidad con la fidelidad. Los modelos a menudo requerían todo el contexto del grafo (incluyendo el grafo de fondo ER) para hacer predicciones correctas, lo que significa que el motivo de "verdad fundamental" por sí solo era insuficiente para una alta fidelidad.
• Composicionalidad: En "Grid-House", los modelos exhibieron pereza, a menudo aprendiendo a identificar solo un componente (cuadrícula o casa) y prediciendo la otra clase por ausencia.
• Características de Nodos: En "House-Color", donde las características de los nodos (colores) eran discriminativas, los explicadores basados en aristas aún funcionaron bien, pero el estudio notó que los mecanismos de atención (GAT) que dependen fuertemente de las características de los nodos fueron mal explicados por los métodos basados en aristas probados.

Significado y Afirmaciones

El artículo afirma proporcionar un "paso significativo hacia la explicación de la explicabilidad" al ir más allá de las métricas de rendimiento cuantitativo para ofrecer perspectivas cualitativas sobre por qué ciertas arquitecturas y explicadores tienen éxito o fracasan.

• Recomendaciones Prácticas: Los autores proporcionan pautas accionables: utilizar explicadores basados en aristas, de perturbación o de generación (como SubgraphX) para la clasificación de grafos, y explicadores basados en nodos, de gradientes (como GradCam o GNNExplainer) para la clasificación de nodos.
• Perspectiva Crítica sobre Métricas: El estudio advierte que una alta precisión no implica que el modelo haya aprendido el concepto de verdad fundamental; una discrepancia entre plausibilidad y fidelidad a menudo indica que el modelo es "perezoso" o ha aprendido correlaciones espurias.
• Direcciones Futuras: Los autores identifican problemas abiertos, incluida la necesidad de explicaciones a nivel de modelo, la definición de explicaciones más allá de subgrafos (por ejemplo, centralidad o propiedades globales) y el desarrollo de explicadores para arquitecturas que no son de paso de mensajes (por ejemplo, Transformers) y grafos dinámicos. Enfatizan que la explicabilidad debe considerarse una métrica de diseño al crear nuevas arquitecturas de GNN.

El artículo concluye que, aunque se ha logrado progreso, una comprensión satisfactoria de la explicabilidad de las GNN sigue siendo esquiva, particularmente en lo que respecta a la interacción entre las decisiones arquitectónicas, las características del conjunto de datos y las limitaciones de las métricas de evaluación actuales.