Towards the Explainability of Temporal Graph Networks via Memory Backtracking and Topological Attribution

Resumen Técnico: Hacia la explicabilidad de las Redes de Grafos Temporales mediante el retroceso de memoria y la atribución topológica

Planteamiento del problema
Las Redes de Grafos Temporales (TGN, por sus siglas en inglés) han logrado una precisión predictiva superior en aplicaciones del mundo real, como la detección de fraude y la previsión en el sector salud. Sin embargo, operan como modelos de caja negra, ofreciendo poca transparencia sobre cómo los eventos históricos impulsan las predicciones. Los métodos de explicación existentes para las TGN (por ejemplo, TGNNExplainer, TempME) se centran principalmente en la estructura topológica del grafo, pero pasan por alto el módulo de memoria, un componente central responsable de registrar y actualizar los historiales de los nodos. Al fijar los vectores de memoria finales, estos métodos ignoran la evolución temporal de los estados de los nodos, lo que conduce a explicaciones carentes de fidelidad que no logran capturar cómo la acumulación de interacciones pasadas moldea las predicciones futuras.

Metodología
Los autores proponen MemExplainer, un marco que atribuye las predicciones de las TGN tanto a eventos vecinos (espacial) como a eventos históricos (temporal) mediante la modelización explícita del módulo de memoria. La metodología consta de tres etapas principales:

1. Árbol de Atribución Topológica (Descomposición Espacial):
   El marco construye un árbol de atribución de topología para cuantificar la contribución de los eventos vecinos y los vectores de memoria de los nodos al embedding del nodo objetivo. Utilizando la Propagación de Relevancia por Capas (LRP), el método descompone el embedding del nodo objetivo ($z^t_u$) en contribuciones de la memoria del nodo objetivo, las memorias de los vecinos y las características de los eventos. Una contribución teórica clave es la demostación de una propiedad de conservación, que asegura que la suma de las contribuciones de todos los eventos vecinos y las memorias de los nodos sea igual a los logits originales.

2. Árbol de Retroceso de Memoria (Descomposición Temporal):
   Para abordar la limitación de los vectores de memoria fijos, los autores construyen un árbol de retroceso de memoria. Este árbol rastrea recursivamente la influencia de los eventos históricos en los vectores de memoria actuales de los nodos. Al aplicar LRP a la función de actualización de la memoria (por ejemplo, GRU o RNN), el método atribuye la contribución del estado de memoria actual hacia atrás a los eventos históricos específicos que provocaron las actualizaciones. Este proceso asegura que la contribución total de todos los eventos históricos sea igual a la contribución total de la memoria, manteniendo la propiedad de conservación a lo largo de la dimensión temporal.

3. Selección de Eventos mediante Optimización:
   Debido al mapeo no lineal de los logits a las probabilidades, una simple selección de los $k$ mejores eventos puede carecer de fidelidad. Para abordar esto, los autores derivan la divergencia KL entre la predicción original y la predicción realizada utilizando solo un subconjunto de eventos seleccionados. Formulan un problema de optimización para seleccionar un subconjunto de eventos importantes ($E^*$) que minimice esta divergencia, asegurando que la explicación reproduzca fielmente el comportamiento del modelo.

Contribuciones Clave

• Explicación Consciente de la Memoria: A diferencia de trabajos previos que fijan los vectores de memoria, este método rastrea explícitamente cómo los eventos históricos actualizan las memorias de los nodos, proporcionando una atribución más fiel de las predicciones.
• Propiedad de Conservación: El marco asegura que la suma de las contribuciones de todos los eventos (tanto vecinos como históricos) sea igual a los logits finales del modelo, una propiedad crítica para una explicación rigurosa.
• Arquitectura de Doble Árbol: La combinación de un árbol de atribución topológica (espacial) y un árbol de retroceso de memoria (temporal) permite una descomposición integral de las predicciones de las TGN.
• Selección Basada en Optimización: El uso de la minimización de la divergencia KL para la selección de eventos evita los problemas de la selección heurística de los $k$ mejores en modelos no lineales.

Resultados Experimentales
El método fue evaluado en nueve conjuntos de datos de grafos temporales que cubren tareas de predicción de enlaces, predicción de propiedades de nodos y clasificación de grafos (incluyendo conjuntos de datos de Wikipedia, Reddit, Enron, UCI y reconocimiento de acciones humanas).

• Rendimiento: MemExplainer superó consistentemente a las líneas de base del estado del arte (TGNNExplainer, TempME, GNNExplainer, PGExplainer) en términos de Fidelidad (medida por $Fidelity_{KL}$ y $Fidelity_{prob}$) en todos los conjuntos de datos.
• Significancia Estadística: Una prueba t entre MemExplainer y la segunda mejor línea de base mostró significancia estadística en el 77% de los casos para $Fidelity_{KL}$ y en el 74% para $Fidelity_{prob}$.
• Estudios de Caso: En la clasificación de acciones basada en la pose humana, MemExplainer seleccionó subconjuntos de aristas más pequeños y enfocados que se alineaban con cadenas biomecánicas clave (por ejemplo, cadera-rodilla-tobillo para correr), mientras que las líneas de base a menudo seleccionaban un exceso de aristas sin información útil.
• Eficiencia: El método sigue siendo computacionalmente viable, con tiempos de ejecución totales de menos de 6 segundos incluso con un retroceso de memoria profundo (profundidad 10) en conjuntos de datos grandes.

Significancia y Afirmaciones
El artículo afirma que, al integrar el retroceso de memoria con la atribución topológica, MemExplainer proporciona explicaciones fieles que revelan el papel crítico del módulo de memoria en las TGN. Los autores sostienen que su método mejora la confiabilidad de las TGN, lo cual es esencial para su despliegue seguro en dominios de alto riesgo. El trabajo destaca que ignorar la evolución temporal de las memorias de los nodos conduce a atribuciones inexactas, y que su enfoque basado en la conservación ofrece una solución robusta para comprender las dependencias temporales complejas. Los autores señalan modestamente una limitación respecto a los costes computacionales en grafos muy grandes con retroceso de memoria profundo, sugiriendo trabajos futuros sobre la poda o la limitación de la profundidad.