A Human-Centered Validation of the Explainability-Performance Coefficient

Resumen Técnico: Una Validación Centrada en el Humano del Coeficiente de Explicabilidad-Rendimiento

Planteamiento del Problema
La rápida adopción del Aprendizaje Profundo (DL) en dominios de alto riesgo ha intensificado la necesidad de una Inteligencia Artificial Explicable (XAI) confiable. Sin embargo, evaluar objetivamente la fidelidad de las explicaciones sigue siendo un desafío crítico. Las métricas de evaluación existentes a menudo dependen de medidas indirectas como la fidelidad, la estabilidad o la robustez, que capturan solo aspectos parciales de la calidad de la explicación. Crucialmente, muchas métricas actuales no contabilizan explícitamente el compromiso entre la escasez de las características seleccionadas y la preservación del rendimiento predictivo del modelo. Además, existe una falta de consenso sobre si las explicaciones con puntuaciones altas se alinean con la comprensión humana, particularmente a través de diversas modalidades de datos (tabulares, texto e imagen) y arquitecturas de red.

Metodología
Los autores proponen una métrica agnóstica al modelo, la puntuación EPC, que sirve como un resumen escalar del Coeficiente de Explicabilidad-Rendimiento (EPC). La metodología se fundamenta en la premisa de que una explicación significativa no solo debe resaltar las características relevantes, sino también preservar la capacidad predictiva del modelo cuando este se ve restringido a dichas características.

1. Marco Teórico: El EPC cuantifica la "brecha de rendimiento" entre dos regímenes de perturbación basados en un vector de relevancia $R_x$ generado por un explicador:

   • Eliminación Top-k (Deletion Top-k): Anular el $k\%$ de las características consideradas más relevantes. Una explicación fiel debería causar una caída rápida en la confianza del modelo.
   • Eliminación Bottom-k (Deletion Bottom-k): Anular el $k\%$ de las características consideradas menos relevantes. Una explicación robusta debería mantener la confianza del modelo, ya que se eliminan las características no esenciales.
     El curva EPC grafica esta brecha de rendimiento frente al nivel de escasez $k$. La puntuación EPC se deriva calculando el área entre la curva EPC observada y un techo de referencia lineal óptimo ($f(k) = k/100$), normalizada para producir un valor escalar único donde puntuaciones más altas indican un mejor alineamiento con el compromiso ideal.

2. Configuración Experimental: El marco fue validado a través de tres modalidades de datos:

   • Datos Tabulares: Conjunto de datos de incumplimiento de préstamos bancarios (Kaggle).
   • Datos de Imagen: MNIST (reconocimiento de dígitos) e ImageNet (vía un subconjunto de Imagenette).
   • Datos de Texto: Análisis de sentimiento de IMDB.

   El estudio evaluó una suite diversa de explicadores locales, incluyendo métodos agnósticos al modelo (SHAP, LIME) y métodos específicos del modelo (Gradient $\times$ Input, LRP, Integrated Gradients, Grad-CAM). Un componente crítico de la metodología involucró probar diferentes estrategias de nulificación ($\Phi$). Para los datos de imagen, los autores compararon el enmascaramiento de cero estándar contra el desenfoque gaussiano para mitigar los artefactos fuera de distribución (out-of-distribution) que podrían sesgar las evaluaciones visuales.

3. Validación Centrada en el Humano: Para evaluar la alineación con la comprensión humana, las puntuaciones EPC se correlacionaron con recursos independientes anotados por humanos:

   • Texto: El léxico de sentimiento AFINN, midiendo el acuerdo entre los rankings de relevancia de palabras y la polaridad de sentimiento curada por humanos.
   • Imagen: Anotaciones de localización de objetos de ImageNet (Regiones de Interés), midiendo la precisión espacial de las explicaciones frente a los límites de los objetos identificados por humanos.

Resultados Clave

• Desempeño de la Métrica: La puntuación EPC discrimina con éxito entre explicaciones de alta calidad y superficiales. En todas las modalidades y arquitecturas (MLPs, CNNs, LSTMs), Integrated Gradients (IG) alcanzó consistentemente las puntuaciones EPC más altas, superando a los métodos basados en gradientes más simples y a los enfoques agnósticos al modelo.
• Viabilidad Computacional: Los métodos agnósticos al modelo (SHAP, LIME) exhibieron costos computacionales prohibitivos en espacios de alta dimensionalidad (ej. ImageNet), lo que llevó a su exclusión de los benchmarks complejos. Los métodos basados en gradientes fueron significativamente más eficientes.
• Impacto de la Estrategia de Nulificación: En la clasificación de imágenes, la elección del operador de nulificación alteró significativamente los resultados. El enmascaramiento de cero favoreció a los métodos de grano grueso como Grad-CAM debido a la introducción de bordes artificiales. Por el contrario, el desenfoque gaussiano eliminó este sesgo estructural, revelando que los explicadores a nivel de píxel (específicamente IG) poseen una fidelidad superior, logrando puntuaciones EPC significativamente más altas que los métodos regionales de grano grueso.
• Alineación Humana:
  • Texto: Los explicadores con puntuaciones EPC más altas mostraron una correlación de Pearson más fuerte con el léxico de sentimiento AFINN. IG logró la correlación más alta ($\rho = 0.65$), confirmando que la métrica se alinea con los juicios de sentimiento léxico humano.
  • Imagen: Las puntuaciones EPC más altas se correlacionaron con una precisión superior en la identificación de Regiones de Interés (ROI) anotadas por humanos en umbrales finos (Top@1). El estudio reveló que, si bien la localización de objetos (ROI) y la fidelidad de la explicación están relacionadas, no son equivalentes; los métodos a nivel de píxel identificaron la evidencia necesaria dentro de un ROI de manera más efectiva que los métodos de grano grueso, que a menudo resaltaban contexto de fondo prescindible.

Significancia y Reivindicaciones
El artículo afirma que la puntuación EPC proporciona un marco robusto, estandarizado y cuantitativo para comparar métodos de XAI a través de diversas arquitecturas y tipos de datos. Su principal significancia radica en su validación centrada en el humano: los autores demuestran que la puntuación EPC no es simplemente un constructo matemático abstracto, sino que se correlaciona fuertemente con juicios humanos independientes (sentimiento léxico y anotaciones espaciales).

El trabajo destaca que la fidelidad de la explicación está intrínsecamente ligada a la modalidad de los datos, la arquitectura de la red y las condiciones operativas del explicador (por ejemplo, funciones de activación y estrategias de nulificación). Específicamente, los autores argumentan que:

1. Integrated Gradients es el explicador más robusto a través de los benchmarks evaluados.
2. Sesgo de Evaluación: Las evaluaciones de fidelidad visual son altamente sensibles a las estrategias de perturbación; el desenfoque gaussiano es necesario para evaluar justamente los métodos de nivel de píxel.
3. Dimensiones Complementarias: La localización de objetos (dónde está la evidencia) y la fidelidad de la explicación (qué partes de la evidencia son necesarias) son dimensiones de la explicabilidad complementarias, no equivalentes. La puntuación EPC captura efectivamente esta última, extendiendo la validación más allá de la simple localización de objetos hacia la necesidad de características específicas para la predicción del modelo.

Los autores concluyen que la puntuación EPC sirve como una herramienta de diagnóstico fiable para identificar explicaciones fieles, aunque señalan que trabajos futuros deberían explorar técnicas de inpainting generativo para la nulificación y extender la métrica a Modelos de Lenguaje Extensos (LLMs) y Transformadores de Visión-Lenguaje.