Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It

Resumen Técnico: Por Qué Surge la Inconsistencia en las Explicaciones de GNN y Cómo Aprovecharla

1. Declaración del Problema

Las Redes Neuronales en Grafos Auto-Interpretables (SI-GNN) integran la generación de explicaciones directamente en el pipeline de predicción, ofreciendo teóricamente explicaciones más confiables que los métodos post-hoc. Sin embargo, observaciones recientes indican que las SI-GNN sufren de inconsistencia propia: cuando un modelo se vuelve a aplicar a su propio subconjunto de grafo explicativo generado, a menudo produce una explicación diferente, ya sea eliminando aristas previamente seleccionadas o añadiendo nuevas. Este comportamiento socava la fidelidad y la utilidad práctica de las SI-GNN. Aunque la existencia de este fenómeno está documentada, el mecanismo subyacente que lo causa sigue siendo poco comprendido, y faltan estrategias efectivas para mitigarlo sin reentrenamiento.

2. Metodología y Análisis Teórico

Causa Raíz: Perturbación del Contexto
Los autores identifican la perturbación del contexto inducida por la re-explicación como la causa directa de la variación en las puntuaciones. En las GNN, las representaciones de los nodos se actualizan mediante el paso de mensajes. Cuando una SI-GNN genera una explicación (un subgrafo enmascarado) y se la retroalimenta a sí misma, el enmascaramiento a nivel de arista altera el contexto local de paso de mensajes. Dado que las puntuaciones de importancia de las aristas se derivan de estas representaciones de nodos, el contexto perturbado conduce naturalmente a puntuaciones diferentes en el segundo pase.

Hipótesis de Asignación de Señal Latente
Para explicar por qué solo ciertas aristas (típicamente las menos importantes) exhiben inestabilidad mientras que las aristas importantes de la verdad fundamental permanecen estables, el artículo propone una Hipótesis de Asignación de Señal Latente. Los autores dividen las aristas en tres conjuntos disjuntos:

• $E_p$ (Aristas de señal positiva): Aristas asignadas puntuaciones altas basadas en características intrínsecas e invariantes al contexto. Estas permanecen estables a través de los pases.
• $E_n$ (Aristas de señal negativa): Aristas asignadas puntuaciones bajas basadas en características intrínsecas. Estas también permanecen estables.
• $E_c$ (Aristas impulsadas por el contexto): Aristas cuyas puntuaciones se determinan principalmente por el contexto local de paso de mensajes. Estas son altamente sensibles a las perturbaciones causadas por la re-explicación.

Los autores argumentan que la regularización de concisión (que limita el "presupuesto" total de masa de importancia que puede tener una explicación) moldea esta asignación. Bajo restricciones de presupuesto estrictas, el modelo se ve forzado a reasignar importancia, empujando potencialmente aristas no importantes de un estado impulsado por la señal a un estado impulsado por el contexto, aumentando así su sensibilidad a las perturbaciones.

Solución Propuesta: Auto-Denostado (SD)
Aprovechando la observación de que la inconsistencia propia actúa como una señal de ruido, los autores proponen el Auto-Denostado (SD), una estrategia de posprocesamiento agnóstica al modelo y libre de entrenamiento.

• Mecanismo: SD realiza un segundo pase forward sobre el grafo explicativo para medir la inestabilidad ($\Delta s_{ij}$) de la puntuación de importancia de cada arista.
• Calibración: Penaliza las aristas con alta inestabilidad escalando hacia abajo sus puntuaciones originales: $\tilde{m}_{ij} = \max(0, (1 - \eta \Delta s_{ij})m^{(1)}_{ij})$, donde $\eta$ es un parámetro de fuerza de denostado.
• Selección de Hiperparámetros: Para manejar el desplazamiento de distribución introducido por SD, los autores sugieren una estrategia de adaptación ligera: congelar el explicador y el codificador, y ajustar finamente solo el clasificador sobre las explicaciones calibradas. La fuerza de denostado $\eta$ se selecciona luego basándose en la precisión de validación de este clasificador adaptado.

3. Contribuciones Clave

• Perspectiva Mecanística: El artículo proporciona la primera explicación teórica de la inconsistencia propia, atribuyéndola a perturbaciones de contexto local y formalizando el papel de la asignación de señal latente bajo restricciones de concisión.
• Calibración Eficiente: Introduce el Auto-Denostado (SD), una estrategia post-hoc que mejora la calidad de las explicaciones con una sobrecarga computacional mínima (solo un pase forward adicional, añadiendo un ~4–6% de coste).
• Complementariedad: El trabajo demuestra que SD captura una fuente de ruido distinta (inconsistencia propia de un solo modelo) que es complementaria a los métodos existentes de inconsistencia entre modelos, como el Conjunto de Explicaciones (EE).

4. Resultados Experimentales

Se realizaron experimentos en cuatro marcos de trabajo representativos de SI-GNN (GAT, CAL, SMGNN, GSAT), múltiples arquitecturas base (GIN, GraphSAGE, GatedGCN) y cuatro conjuntos de datos de referencia (BA-2MOTIFS, 3MR, BENZENE, MUTAGENICITY).

• Calidad de la Explicación: SD mejora consistentemente el AUC (plausibilidad frente a la verdad fundamental) en todas las 16 configuraciones probadas, con ganancias de hasta un 3.9%. También reduce significativamente el SPA (Dispersión Suave), indicando explicaciones más concisas y menos redundantes.
• Fidelidad: Los resultados en FID (Fidelidad) son mixtos, lo que los autores atribuyen al desplazamiento de distribución introducido por SD y a los mecanismos específicos de ciertos modelos (por ejemplo, CAL). Sin embargo, tras la adaptación ligera del clasificador, la estabilidad de FID mejora.
• Rendimiento Predictivo: Aplicar SD por sí solo resulta en cambios menores de precisión. Cuando se combina con la adaptación ligera del clasificador (SD*), la precisión de clasificación aguas abajo mejora consistentemente, con ganancias de hasta un 8% en algunos casos.
• Eficiencia vs. EE: A diferencia del Conjunto de Explicaciones (EE), que requiere entrenar múltiples modelos e incurre en una sobrecarga de ~400%, SD requiere un solo modelo y añade una sobrecarga de ~4–6%. Combinar SD con EE produce mejoras adicionales, lo que sugiere que ambos métodos abordan fuentes de ruido diferentes.

5. Significado y Afirmaciones

El artículo afirma que la inconsistencia propia no es meramente un modo de fallo, sino una señal intrínseca que puede aprovecharse para calibrar explicaciones. Al comprender el mecanismo de perturbación de contexto y asignación de señal latente, los autores demuestran que un paso simple de posprocesamiento libre de entrenamiento puede mejorar significativamente la fiabilidad y la concisión de las explicaciones de SI-GNN.

Los autores mantienen una postura modesta, señalando que:

• Su hipótesis de señal latente es una perspectiva mecanística inferida del comportamiento y no un modelo de variables latentes rigurosamente identificable.
• SD no garantiza explicaciones totalmente confiables, ya que no puede capturar todas las fuentes de ruido (por ejemplo, aquellas no relacionadas con la inconsistencia propia).
• El método está diseñado para la calibración post-hoc de modelos preentrenados existentes, distinguiéndose de los enfoques que requieren reentrenamiento con objetivos de auto-consistencia.

En última instancia, el trabajo busca mejorar la confiabilidad de los sistemas de IA en dominios de alto riesgo (por ejemplo, descubrimiento de fármacos, descubrimiento científico) suprimiendo el ruido impulsado por el contexto en las explicaciones de grafos sin requerir cambios arquitectónicos ni reentrenamiento.