ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

Resumen Técnico: ConceptSMILE – Auditoría de la Confiabilidad de la IA Explicable Basada en Conceptos

Declaración del Problema
Si bien la IA Explicable Basada en Conceptos (C-XAI) tiene como objetivo hacer que el razonamiento de los modelos sea más comprensible para los humanos mediante la expresión de predicciones a través de conceptos de alto nivel (por ejemplo, biomarcadores clínicos, objetos o atributos semánticos), la presencia de tales conceptos no garantiza automáticamente explicaciones confiables. Los modelos pueden producir salidas a nivel de concepto que parecen plausibles, pero que en realidad dependen de correlaciones espurias, características inestables, filtración de etiquetas (label leakage) o atajos no causales. En dominios de alto riesgo como la imagenología médica, una explicación de conceptos puede ser legible para el humano, pero infiel al comportamiento real del modelo. Las prácticas de evaluación existentes carecen a menudo de un marco unificado para auditar independientemente si las explicaciones basadas en conceptos se mantienen precisas, fieles, estables y consistentes bajo perturbaciones controladas.

Metodología: El Marco ConceptSMILE
El artículo presenta ConceptSMILE (Concept-level Statistical Model-agnostic Interpretability with Local Explanations), un marco de auditoría basado en perturbaciones y agnóstico al modelo, diseñado para evaluar la confiabilidad de las explicaciones basadas en conceptos. En lugar de reemplazar los métodos de explicación existentes, ConceptSMILE extiende la lógica basada en perturbaciones de SMILE (de atribución a nivel de característica o región) hacia la auditoría de explicaciones de conceptos comprensibles para el ser humano.

El marco opera a través de un flujo de trabajo:

1. Extracción de Conceptos: Extrae salidas a nivel de concepto de un modelo objetivo o de una vía de explicación. En el estudio, se auditaron dos vías distintas:
   • Vía Visual basada en MedSAM: Utiliza el Medical Segment Anything Model para generar conceptos visuales guiados por segmentación (lesiones, vasos sanguíneos, disco óptico).
   • Vía Semántica basada en VLM: Utiliza un Modelo de Lenguaje-Visión (Qwen2.5-VL) con prompts estructurados para generar respuestas de conceptos semánticos para los mismos conceptos retinianos.
2. Perturbación Controlada: La imagen de entrada se divide en superpíxeles. Se generan perturbaciones controladas enmascarando regiones específicas de superpíxeles (estableciéndolas en negro), creando un vecindario local de muestras perturbadas.
3. Medición del Desplazamiento de la Respuesta: El marco mide el desplazamiento en las respuestas de los conceptos ($\Delta y$) entre la entrada original y las entradas perturbadas.
4. Ponderación de Localidad: Las muestras perturbadas reciben pesos de localidad basados en su distancia (Coseno o Wasserstein) de la entrada original en un espacio de incrustación (embedding space) utilizando DINOv2. Las perturbaciones más cercanas reciben pesos más altos.
5. Modelado Sustituto: Se ajusta un modelo sustituto XGBoost local para aproximar la relación entre los patrones de perturbación y los desplazamientos en la respuesta del concepto. Este modelo sustituto captura relaciones no lineales entre las modificaciones de la entrada y la confianza del concepto.
6. Evaluación de Confiabilidad Multidimensional: El marco evalúa la confiabilidad a través de cinco dimensiones:
   • Precisión de Atribución: Si las regiones identificadas como importantes se alinean con la evidencia clínicamente significativa (medido mediante ACC, F1, AUROC).
   • Fidelidad: Qué tan bien el modelo sustituto aproxima los desplazamientos observados en la respuesta del concepto (medido mediante WMSE, WMAE, $R^2$, $R^2_w$).
   • Fidelidad (Faithfulness): Si las respuestas de los conceptos cambian significativamente cuando se perturban las regiones relevantes para el concepto (medido mediante la correlación de Pearson).
   • Estabilidad: Robustez ante artefactos no clínicos (por ejemplo, fechas o logotipos añadidos) medida mediante el índice de superposición de Jaccard.
   • Consistencia: Reproducibilidad de las explicaciones a través de ejecuciones repetidas bajo configuraciones idénticas (medido mediante varianza y desviación estándar).

Contribuciones Clave

• Auditoría a Nivel de Concepto: Introducción de ConceptSMILE como un marco basado en perturbaciones diseñado específicamente para auditar la confiabilidad de las explicaciones basadas en conceptos, yendo más allá de la plausibilidad visual hacia una confiabilidad medible.
• Extensión de SMILE: Reformulación de la lógica de SMILE de la atribución a nivel de superpíxel hacia la prueba de confiabilidad a nivel de concepto utilizando perturbaciones controladas, ponderación de localidad y modelado sustituto.
• Validación Agnóstica al Modelo: Demostración del marco en imágenes de fondo de ojo retinal utilizando dos vías distintas de extracción de conceptos (MedSAM y VLM), proporcionando un análisis comparativo de la confiabilidad de los conceptos visuales frente a los semánticos.

Resultos Experimentales
El marco fue evaluado en imágenes de fondo de ojo retinal de cuatro conjuntos de datos públicos (HRF, APTOS, ODIR, IDRiD) centrándose en tres conceptos: lesiones, vasos sanguíneos y el disco óptico.

• Fidelidad del Sustituto: La vía MedSAM logró una fidelidad de sustituto significativamente más fuerte ($R^2 = 0.8503$, $R^2_w = 0.8465$ con XGBoost ponderado por Wasserstein) en comparación con la vía VLM. Esto sugiere que los conceptos visuales guiados por segmentación proporcionan respuestas localmente más predecibles bajo la perturbación de superpíxeles.
• Precisión de Atribución: MedSAM demostró una mayor precisión de atribución espacial para estructuras bien definidas como los vasos sanguíneos y el disco óptico. Las explicaciones semánticas basadas en VLM fueron más variables y menos precisas espacialmente.
• Fidelidad (Faithfulness): La vía VLM mostró una fidelidad más fuerte y estadísticamente más significativa para los conceptos de vasos sanguíneos en todos los conjuntos de datos ($r \approx 0.58-0.71$), mientras que MedSAM mostró una mayor fidelidad para los conceptos de lesiones en varios conjuntos de datos. Esto indica que la confiabilidad depende del concepto y no solo de la vía.
• Estabilidad: La estabilidad varió según el concepto y el tipo de artefacto. Las explicaciones del disco óptico de MedSAM fueron altamente estables frente a artefactos de fecha añadida ($J_D \approx 0.96-0.98$), mientras que las explicaciones de lesiones de VLM mostraron alta estabilidad bajo artefactos de fecha y logotipo.
• Consistencia: La reproducibilidad no fue uniforme entre las vías. Las explicaciones del disco óptico de MedSAM fueron altamente consistentes en HRF y ODIR, mientras que las explicaciones de lesiones de VLM fueron más consistentes en ODIR e IDRiD.
• Robustez: Bajo artefactos de adquisición (variación de contraste y oclusión simulada por parpadeo), las explicaciones de vasos sanguíneos y lesiones generalmente mantuvieron una fidelidad de sustituto positiva, mientras que las explicaciones del disco óptico mostraron mayor variabilidad y valores de $R^2$ negativos ocasionales.

Significancia y Reivindicaciones
El artículo afirma que ConceptSMILE proporciona una capa de auditoría independiente para evaluar la confiabilidad de la XAI basada en conceptos. Su principal significancia radica en demostrar que:

1. Interpretabilidad $\neq$ Confiabilidad: Los conceptos comprensibles para el humano no son inherentemente confiables; deben ser auditados para verificar su precisión, fidelidad, estabilidad y consistencia.
2. La Confiabilidad Depende del Contexto: Ninguna vía o concepto es universalmente superior. MedSAM destaca en la atribución espacial y la fidelidad del sustituto para la anatomía estructurada, mientras que los VLMs pueden exhibir una fuerte fidelidad para conceptos semánticos específicos (como los vasos) y estabilidad ante ciertos artefactos.
3. Necesidad de Auditoría: En entornos de alto riesgo, las explicaciones basadas en conceptos deben tratarse como afirmaciones sujetas a prueba. ConceptSMILE ofrece un protocolo para identificar explicaciones frágiles, mal fundamentadas o inconsistentes antes de que se dependa de ellas en la toma de decisiones críticas.

Los autores declaran explícitamente que ConceptSMILE no proporciona certificación clínica ni prueba causal, sino evidencia de auditoría cuantitativa para ayudar a investigadores y clínicos a distinguir entre la interpretabilidad aparente y la confiabilidad fundamentada.