Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

Resumen Técnico: Superar el Aprendizaje de Atajos en Redes Neuronales de Grafos mediante la Guía de Explicación Activa

Declaración del Problema
Las Redes Neuronales de Grafos (GNN) frecuentemente sufren de "aprendizaje de atajos" (shortcut learning), donde los modelos explotan correlaciones espurias (confusores) en lugar de patrones causales para lograr una alta precisión en la distribución de entrenamiento (in-distribution). Estos atajos —como características de nodos específicas, metadatos o estadísticas simples de entrada— permiten que los modelos funcionen bien en los datos de entrenamiento, pero fallan al generalizar cuando la distribución de los datos cambia (fuera de la distribución o out-of-distribution). Las soluciones existentes a menudo requieren acceso a datos de múltiples dominios o extensos datos observacionales, los cuales no siempre están disponibles. Además, aunque las explicaciones de las GNN pueden revelar la dependencia de los atajos, obtener explicaciones de verdad absoluta (ground-truth) para un conjunto de datos completo es prohibitivamente costoso y lento debido a la necesidad de anotación experta.

Metodología: XIGL
Los autores proponen XIGL (xExplanatory Interactive Graph shortcut unLearning), una estrategia agnóstica a la arquitectura y con intervención humana (human-in-the-loop) diseñada para eliminar la confusión en las GNN mediante la eliminación iterativa de las dependencias de los atajos. El marco de trabajo opera sobre dos ideas clave: (1) las explicaciones de las GNN pueden exponer la dependencia de los atajos, y (2) los usuarios expertos pueden proporcionar retroalimentación correctiva sobre estas explicaciones para guiar al modelo hacia un razonamiento causal.

La metodología central involucra tres componentes:

1. Función de Pérdida Guiada por la Explicación:
   XIGL utiliza los gradientes de entrada como un sustituto (proxy) de la importancia de los nodos. Para penalizar la dependencia de nodos irrelevantes o espurios ($V_{ir}$), los autores introducen una función de pérdida $L = L_{ce} + \lambda L_e$.

   • $L_{ce}$ es la pérdida de entropía cruzada estándar.
   • $L_e$ minimiza la relación entre los gradientes de entrada de los nodos irrelevantes y el total de los gradientes de entrada.
   • Se incluye un término de normalización en el denominador para evitar la solución trivial donde todos los gradientes colapsan a cero.
   • El vector de explicación de verdad absoluta $e$ (donde $e_j=1$ para nodos relevantes y $0$ de lo contrario) se utiliza para ponderar esta penalización.

2. Pipeline de Aprendizaje Activo:
   Reconociendo que anotar explicaciones para todos los datos es poco práctico, XIGL emplea una estrategia de aprendizaje activo (AL) con un presupuesto de anotación fijo $B$.

   • Inicialización: El modelo se entrena en un pequeño conjunto inicial de grafos con explicaciones corregidas por expertos.
   • Selección Iterativa: En cada iteración, una estrategia de consulta de aprendizaje activo selecciona un lote de los grafos más informativos del conjunto de datos no etiquetados.
   • Corrección y Ajuste Fino (Fine-tuning): Un experto anota los grafos seleccionados (indicando en qué nodos no debería confiar el modelo) y el modelo se ajusta utilizando la pérdida guiada por la explicación.

3. Estrategias de Consulta:
   El artículo propone y evalúa dos novedosas estrategias de consulta basadas en la explicación junto con líneas base estándar basadas en la predicción:

   • Máxima Entropía de la Explicación (MaEE): Selecciona grafos donde la explicación del modelo (gradientes de entrada) es más incierta (uniforme entre los nodos).
   • Mínima Entropía de la Explicación (MiEE): Selecciona grafos donde el modelo es más confiado en su explicación. Esta estrategia aprovecha el "sesgo de simplicidad" de las redes neuronales, bajo la hipótesis de que las explicaciones altamente confiadas suelen estar sobreajustadas a atajos espurios y, por lo tanto, necesitan más corrección.
   • Líneas Base: Máxima Entropía de Clasificación (MaCE) y Muestreo Aleatorio (Random Sampling).

Contribuciones Clave

• Marco XIGL: Un pipeline interactivo que integra la retroalimentación humana sobre las explicaciones de las GNN para eliminar activamente las dependencias de los atajos.
• Novedosas Estrategias de Consulta: La introducción de estrategias de aprendizaje activo basadas en la explicación (MaEE y MiEE) que priorizan instancias basadas en la calidad del razonamiento del modelo en lugar de solo en la incertidumbre de la predicción.
• Eficiencia: Demostrar que se puede lograr un proceso de eliminación de confusión de alto rendimiento con una fracción del presupuesto de anotación requerido para la supervisión pasiva (anotación de todo el conjunto de datos).

Resultados
Los experimentos se realizaron en dos conjuntos de datos: ER-color (sintético) y CPatchMNIST (extensión del mundo real), a través de cuatro arquitecturas de GNN (GCN, GIN, GraphSAGE, GAT).

• Supervisión Pasiva: Cuando se proporcionan explicaciones para todo el conjunto de datos, XIGL mejora significativamente la generalización en conjuntos de prueba no confundidos en comparación con los modelos entrenados sin supervisión de la explicación. Por ejemplo, en ER-color, los modelos sin supervisión tuvieron un rendimiento cercano al nivel del azar, mientras que aquellos con supervisión pasiva mostraron ganancias sustanciales de precisión.
• Supervisión Activa: Las estrategias de aprendizaje activo generalmente superaron al muestreo aleatorio.
  • En CPatchMNIST, las estrategias basadas en la explicación (MaEE y MiEE) superaron consistentemente a las estrategias basadas en la predicción (MaCE) en todas las arquitecturas.
  • MiEE emergió como la estrategia con el rendimiento más alto de manera consistente, sugiriendo que apuntar a instancias donde el modelo es excesivamente confiado en su (potencialmente espurio) razonamiento es altamente efectivo.
  • Aunque el aprendizaje activo logró una precisión ligeramente menor que el aprendizaje pasivo (debido al menor presupuesto de anotación), la brecha fue relativamente pequeña, con el aprendizaje activo utilizando menos del 20% de los datos de entrenamiento.

Significancia y Reivindicaciones
El artículo afirma que XIGL ofrece una ruta práctica para mejorar la fiabilidad de las GNN en escenarios fuera de la distribución sin requerir datos de múltiples dominios. Al aprovechar el hecho de que las explicaciones exponen naturalmente la dependencia de los atajos, el método permite que los usuarios expertos "desaprendan" eficientemente los patrones espurios. Los autores enfatizan que su enfoque reduce tanto los costos de anotación como los cognitivos al centrar el esfuerzo del experto solo en las instancias donde la retroalimentación es más beneficiosa.

El trabajo concluye que el aprendizaje activo basado en la explicación es una dirección prometedora para la eliminación de la confusión, particularmente las estrategias que apuntan a la confianza del modelo en su propio razonamiento (MiEE). Los autores señalan que el trabajo futuro explorará las GNN auto-explicables, el impacto de la fidelidad de la explicación en el éxito de la eliminación de la confusión y la aplicación de estos métodos a una gama más amplia de conjuntos de datos del mundo real y tipos de atajos.