On the Disagreement in Perturbation-based xAI -- Benchmarking Perturbation Choices for Flood Detection from SAR Images

Resumen Técnico: Desacuerdo en la xAI basada en perturbaciones para la detección de inundaciones a partir de imágenes SAR

Planteamiento del problema
Los métodos de IA explicable (xAI) basados en perturbaciones se utilizan ampliamente para interpretar modelos de aprendizaje profundo mediante la alteración de regiones de entrada y la medición de los cambios en las probabilidades de clase para generar mapas de relevancia. Sin embargo, estos métodos son altamente sensibles a los parámetros de diseño. Investigaciones previas indican que las variaciones en las configuraciones de perturbación —como la geometría de la región o los esquemas de reemplazo— pueden conducir a un "desacuerdo", donde diferentes elecciones de parámetros producen mapas de relevancia contradictorios para la misma predicción. Esta variabilidad socava la fiabilidad de las explicaciones, particularmente en aplicaciones críticas como la observación de la Tierra. Si bien estudios existentes han señalado esta sensibilidad, existe una falta de caracterización sistemática sobre cómo las elecciones específicas de perturbación moldean las atribuciones, especialmente en el contexto de las imágenes de Radar de Apertura Sintética (SAR), donde los valores de reemplazo poseen un significado físico (p. ej., la intensidad de la retrodispersión).

Metodología
Los autores llevan a cabo un estudio de benchmarking exhaustivo basado en el caso de uso de la detección de inundaciones a partir de imágenes SAR utilizando un modelo U-Net entrenado con el conjunto de datos Sen1Floods11. El estudio investiga sistemáticamente dos parámetros clave del pipeline de perturbación:

1. Geometría del parche: El tamaño y la forma de las regiones perturbadas. Los autores comparan ventanas cuadradas de tamaños variables (8×8, 32×32, 128×128 píxeles) con diferentes pasos (solapados vs. no solapados) frente a segmentos basados en superpíxeles (generados mediante SLIC) que se alinean con las estructuras de la imagen.
2. Tipo de perturbación: El esquema de reemplazo utilizado para alterar la entrada. Se evalúan cinco estrategias:
   • Mínimo por canal: Reemplaza los parches con el valor mínimo de píxel del canal.
   • Media de clase: Reemplaza los parches con el valor medio de una clase definida por el usuario (fondo).
   • Reemplazo constante estocástico: Muestrea un valor constante de una distribución de vecindad local.
   • Sustitución de parches: Reemplaza los parches con parches aleatorios de otras imágenes del conjunto de datos.
   • Barajado de píxeles (Pixel shuffling): Baraja aleatoriamente los píxeles dentro de la región perturbada, preservando las estadísticas de intensidad pero destruyendo la disposición espacial.

La estimación de la relevancia sigue un proceso de cuatro pasos: (I) generación de imágenes localmente perturbadas e inferencia de probabilidades de clase; (II) computación de mapas de diferencia de probabilidad; (III) definición de un área de atribución (típicamente la región de agua predicha); y (IV) cálculo de puntuaciones de relevancia por parche mediante el promedio de las diferencias sobre el área de atribución.

Para evaluar los resultados, los autores emplean:

• Análisis de la distribución de relevancia: Uso de transformaciones de distancia con signo relativas a los bordes del agua para visualizar dónde se acumula la relevancia (agua vs. fondo) a través de histogramas 2D.
• Evaluación de la fidelidad (Exactitud): Un enfoque basado en la eliminación donde las regiones de entrada se eliminan progresivamente (reemplazadas por medias condicionales a la clase para simular ausencia) de acuerdo con su clasificación de relevancia. Se monitorea el impacto en el coeficiente Dice para determinar si las regiones de alta relevancia son verdaderamente críticas para la decisión.

Resultados clave
El estudio revela un desacuerdo significativo en los mapas de relevancia basado en las elecciones de parámetros:

• Impacto de la geometría del parche:
  • Tamaño: Los parches más grandes generan puntuaciones de relevancia de mayor magnitud debido a desplazaciones de predicción más grandes, pero producen mapas gruesos y fragmentados que oscurecen los detalles finos. Los parches más pequeños ofrecen una mayor resolución y una mejor localización de estructuras específicas, pero resultan en puntuaciones de menor magnitud.
  • Forma: Los segmentos basados en superpíxeles, que siguen los bordes de la imagen, reduen el "efecto de agregación" observado en los parches cuadrados (donde un solo parche cubre clases mixtas) y producen mapas de relevancia que se alinean más estrechamente con las estructuras subyacentes de la imagen.
• Impacto del tipo de perturbación:
  • Mínimo por canal: Actúa como un valor atípico extremo (baja retrodispersión), lo que a menudo suprime las señales informativas del agua y amplifica el contraste con el fondo. Esto conduce a mapas de relevancia dominados por las regiones de fondo, independientemente del contenido real de agua, lo que resulta en una baja fidelidad (un AUC alto en las curvas de eliminación indica que el modelo no depende de las regiones con mayor rango).
  • Media de clase, Constante estocástica y Sustitución de parches: Estas estrategias actúan como sustitutos del fondo. Muestran un comportamiento dependiente de la escena; en grupos con mucha presencia de agua, pueden invertir los signos de relevancia (el agua pasa de ser soporte a ser distracción). Su fidelidad varía según la composición de la escena, pero generalmente rastrean la dependencia del modelo hacia la textura y las señales de contraste.
  • Barajado de píxeles (Pixel shuffling): Preserva las estadísticas de los píxeles pero interrumpe la coherencia espacial. Consistentemente resalta los bordes entre agua y fondo en lugar de los interiores de la clase. Aunque produce una alta relevancia para cuerpos de agua fragmentados, esto puede reflejar la sensibilidad del modelo a la disrupción de los bordes en lugar de la clase de agua en sí, lo que potencialmente conduce a interpretaciones erróneas de la fidelidad.
• Análisis de clústeres: Los puntos de datos se agrupan naturalmente en cinco grupos basados en la cobertura de agua y la composición del cuerpo. El estudio encuentra que los efectos de la perturbación no son uniformes; por ejemplo, el barajado de píxeles degrada severamente las predicciones para aguas fragmentadas (Clústeres III-V) al destruir la separación de clases, mientras que tiene un efecto modesto en cuerpos de agua homogéneos (Clústeres I-II).

Significancia y Afirmaciones
El artículo argumenta que el diseño de la perturbación no es simplemente un detalle técnico, sino un factor determinante en la estimación de la relevancia. Los autores demuestran que:

1. Dependencia de parámetros: Diferentes elecciones de perturbación pueden dirigir los mapas de relevancia hacia explicaciones contradictorias (p. ej., resaltando el fondo vs. el agua, o los bordes vs. los interiores).
2. Sensibilidad contextual: La elección "correcta" de la perturbación depende de las restricciones específicas del conjunto de datos y las características de la escena (p. ej., propiedades de retrodispersión SAR, fragmentación del agua).
3. Rigor metodológico: El estudio enfatiza que las elecciones de perturbación deben ser cuidadosamente inspeccionadas, evaluadas y justificadas como una parte integral del proceso de explicación. Tratar estas elecciones como parámetros fijos o arbitrarios conlleva el riesgo de generar explicaciones ambiguas o infieles.
4. Limitaciones de la evaluación: Los autores señalan que las métricas de fidelidad estándar (como las curvas de eliminación) a veces pueden validar explicaciones por razones incorrectas (p. ej., el barajado de píxeles parece fiel porque interrumpe los bordes en los que el modelo confía, incluso si el objetivo principal del modelo es la detección de agua).

En última instancia, este trabajo subraya la necesidad de una comprensión robusta de cómo las configuraciones de perturbación influyen en el comportamiento del modelo para asegurar que las explicaciones de xAI en dominios críticos como la detección de inundaciones sean fiables y dignas de confianza.