i-WiViG: Interpretable Window Vision GNN

1. El Problema

Las redes neuronales gráficas de visión (Vision GNNs o ViGs) han emergido como un enfoque potente para el reconocimiento de imágenes, ya que modelan mejor las interacciones globales y el contexto espacial en comparación con las CNN tradicionales o los Vision Transformers (ViTs). Sin embargo, presentan dos limitaciones críticas:

• Falta de interpretabilidad inherente: Los modelos ViG existentes actúan como "cajas negras". No ofrecen una explicación intrínseca sobre qué interacciones espaciales específicas impulsaron una predicción.
• Campos receptivos superpuestos: Los métodos actuales (como WiGNet) generan nodos gráficos con campos receptivos grandes y superpuestos. Esto impide entender las interacciones a largo plazo entre objetos finos en la imagen, ya que un nodo puede contener información de múltiples objetos simultáneamente (ej. tierra, puente y agua mezclados), dificultando la identificación de relaciones semánticas claras.
• Ineficacia de métodos de explicación post-hoc: Las técnicas existentes para explicar GNNs (como GNNExplainer) suelen fallar cuando se aplican a grafos derivados de imágenes, ya que estos grafos contienen bordes ruidosos y redundantes que los métodos no logran filtrar correctamente.

2. Metodología: i-WiViG

El authors proponen i-WiViG (Interpretable Window Vision GNN), un enfoque de ViG inherentemente interpretable que identifica subgrafos dispersos relevantes para la predicción. La arquitectura se basa en dos postulados clave:

A. Codificador de Ventanas No Superpuestas (Non-overlapping Window Encoder)

Para resolver el problema de la superposición, i-WiViG modifica la etapa de extracción de características:

• Ventanas Disjuntas: En lugar de usar ventanas de tamaño 8 con solapamiento, el modelo utiliza ventanas más pequeñas (tamaño 4) y pasos (strides) ajustados (kernel 2/stride 2 en capas tempranas, kernel 4/stride 4 en capas tardías).
• Resultado: Esto garantiza que cada nodo del grafo corresponda a una ventana local disjunta (sin superposición) en la imagen original. Cada nodo representa un área única y contigua, preservando la consistencia espacial y permitiendo una interpretación clara de qué parte de la imagen contribuye a cada nodo.

B. Cuello de Botella Gráfico con Atención de Bordes Dispersa (Sparse Edge Attention Bottleneck)

Para identificar las interacciones relevantes entre estas ventanas locales, el modelo introduce un mecanismo de atención en el cuello de botella del grafo:

• Atención Dispersa: A diferencia de los ViGs estándar que asignan pesos uniformes o distribuciones densas, i-WiViG utiliza una función de pérdida de dispersidad (sparsity loss) basada en la impureza de Gini y una penalización cuadrática.
• Mecanismo: Esta función fuerza la distribución de atención de los bordes ($\alpha$) a ser bimodal (cerca de 0 o 1). Esto significa que el modelo aprende a asignar pesos altos solo a los bordes críticos que conectan ventanas relevantes y pesos cercanos a cero a las conexiones redundantes o ruidosas.
• Subgrafo Explicativo: Durante la inferencia, el modelo genera automáticamente un subgrafo disperso que contiene únicamente las conexiones más importantes, revelando las dependencias a largo plazo necesarias para la decisión.

3. Contribuciones Clave

1. Mecanismo de Razonamiento Interpretable: Un enfoque que mapea ventanas de imagen locales a nodos gráficos disjuntos y utiliza un cuello de botella de atención dispersa para identificar subgrafos relevantes sin necesidad de métodos post-hoc.
2. Validación Cuantitativa y Cualitativa: Demostración de que los subgrafos identificados son más fieles (faithful) e intuitivos que los generados por métodos de referencia como GNNExplainer o GSAT.
3. Rendimiento Competitivo: Evidencia de que imponer restricciones de interpretabilidad (nodos disjuntos y atención dispersa) no sacrifica el rendimiento predictivo, logrando resultados comparables a las contrapartes de "caja negra" incluso en conjuntos de datos con fuerte sesgo de textura.

4. Resultados

Los autores evaluaron el modelo en tareas de clasificación de escenas (SUN397, RESISC45) y regresión (Liveability dataset con imágenes de satélite).

• Rendimiento Predictivo:
  • En SUN397, i-WiViG alcanzó un 58% de precisión, comparable a las CNN (ResNet-18: 62%) y otros ViGs.
  • En RESISC45, logró un 92% de precisión, superando ligeramente a BagNet y siendo competitivo con los ViG de pirámide (94%).
  • En la tarea de Liveability (regresión), mejoró el puntaje $R^2$ en aproximadamente 0.1 respecto a las CNN y 0.05 respecto a los ViG estándar.
• Calidad de la Explicación:
  • Métricas de Inserción/Borrado: i-WiViG mostró una brecha significativa entre las curvas de inserción (AUC alto) y borrado (AUC bajo), indicando que los bordes seleccionados son críticos para la predicción. Superó a GNNExplainer y GSAT en todas las métricas de fidelidad.
  • Análisis Cualitativo: Las visualizaciones mostraron que i-WiViG identifica interacciones semánticas correctas (ej. conectar un avión con sus alas, o casas con vegetación cercana para predecir "vivibilidad"), mientras que los métodos baselines a menudo seleccionan patrones locales ruidosos o artefactos sin sentido semántico.
  • Impacto de la Disjunción: Se demostró que los nodos no superpuestos son esenciales para la interpretabilidad; los modelos con superposición generaban explicaciones más difíciles de interpretar debido a la mezcla de información de objetos distintos.

5. Significancia

El trabajo i-WiViG es significativo porque cierra la brecha entre el alto rendimiento de los modelos basados en grafos para visión por computadora y la necesidad de transparencia en aplicaciones críticas (como la detección de cambios de uso de suelo en teledetección o la evaluación de riesgos).

• Fiabilidad: Proporciona explicaciones que no son solo una aproximación post-hoc, sino que son parte integral del proceso de toma de decisiones del modelo.
• Robustez: Demuestra que es posible forzar un razonamiento basado en interacciones espaciales semánticas (en lugar de solo texturas locales) sin perder precisión, lo cual es crucial para evitar sesgos en modelos de visión.
• Aplicabilidad: Ofrece una herramienta valiosa para dominios como la observación de la Tierra, donde entender por qué un modelo clasifica una zona como "urbana" o "natural" es tan importante como la clasificación en sí misma.

En resumen, i-WiViG establece un nuevo estándar para los ViG al demostrar que la interpretabilidad y el rendimiento de vanguardia pueden coexistir mediante un diseño arquitectónico que prioriza la consistencia espacial y la dispersidad en las interacciones del grafo.