SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches

Resumen Técnico: SketchXplain

Declaración del Problema

Los métodos actuales de IA explicable (XAI) para la clasificación de imágenes, particularmente los mapas de prominencia (saliency maps), sufren de una "brecha de interpretabilidad". Aunque los mapas de prominencia resaltan fielmente los píxeles o neuronas relevantes, a menudo carecen de contexto semántico, apareciendo como "manchas nebulosas" poco intuitivas que no logran transmitir por qué una región es relevante. Esto obliga a los usuarios a realizar un esfuerzo cognitivo significativo para interpretar el comportamiento del modelo, lo que dificulta la toma de decisiones rápida y precisa. Los métodos basados en conceptos existentes mejoran la alineación semántica, pero suelen carecer de coherencia visual con la instancia de imagen específica, mientras que los dibujos de líneas simples o la detección de bordes no logran capturar las claves explicativas necesarias. Los autores argumentan que las explicaciones de la IA deben ser intuitivas, definidas por tres desiderata: Simplicidad (clara y concisa), Coherencia (alineada con el conocimiento y la evidencia del usuario) y Interpretación Rápida (que permita una asimilación veloz).

Metodología: SketchXplain

Los autores proponen SketchXplain, un marco de red neuronal profunda que genera explicaciones visuales basadas en bocetos. A diferencia de los métodos que simplemente convierten fotos en bocetos o resaltan píxeles, SketchXplain integra prominencia, cuellos de botella de conceptos y optimización de bocetos para producir dibujos abstractos y conscientes de las claves (cue-aware).

La arquitectura consta de tres módulos principales:

1. Predicción Base: Un codificador de imágenes ($M$) predice la etiqueta de clase ($\hat{y}$) a partir de la imagen de entrada ($x$).
2. Explicaciones de Conceptos:
   • Cuello de Botella de Conceptos (Concept Bottleneck): El modelo predice conceptos intermedios, interpretables por humanos ($\hat{\gamma}$) (por ejemplo, Unidades de Acción faciales o criterios ABCD de lesiones cutáneas) mediante clasificación binaria multietiqueta. Estos conceptos se utilizan luego para predecir la etiqueta de clase final.
   • Localización de Claves (Cue Localization): Utilizando Grad-CAM adaptado para transformadores, el sistema genera mapas de prominencia para cada concepto predicho. Estos mapas se ponderan según la importancia de cada concepto para la predicción final ($\hat{w}_\gamma$) para crear un mapa de prominencia unificado y ponderado por conceptos ($\hat{\epsilon}$).
3. Racionalización de Bocetos (Sketch Rationalization): Este módulo genera el boceto final a través de dos pasos:
   • Inicialización de Trazos: Un generador de imagen a imagen preentrenado extrae líneas detalladas (bordes, arrugas, texturas) de la foto. Estas líneas son enmascaradas por el mapa de prominencia ponderado por conceptos para retener solo los trazos más explicativos.
   • Optimización de Trazos: El sistema inicializa un conjunto de trazos paramétricos (curvas de Bézier cuadráticas) basados en las líneas enmascaradas. Estos trazos se optimizan iterativamente mediante descenso de gradiente para minimizar una función de pérdida compuesta ($L$):
     $$L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$$
     Donde:
     • $\hat{z}_s, \hat{z}_x, \hat{z}_y$ son embeddings de CLIP del boceto, la foto de entrada y la etiqueta predicha, respectivamente.
     • El primer término asegura la Alineación con la Foto (fidelidad a la imagen).
     • El segundo término asegura la Alineación Semántica (fidelidad a la etiqueta de predicción).
     • El tercer término ($\kappa$) impone Suavidad (simplicidad) al penalizar la alta curvatura.

Contribuciones Clave

1. Nueva Modalidad: Este es el primer trabajo en utilizar los bocetos como una modalidad explicativa intuitiva para la XAI visual, yendo más allá de los simples mapas de atribución o las descripciones verbales de conceptos.
2. Marco de Trabajo SketchXplain: Un método técnico que satisface los desiderata de simplicidad, coherencia e interpretación rápida combinando cuellos de botella de conceptos, localización de prominencia y renderizado de bocetos diferenciable.
3. Validación Empírica: Evaluación exhaustiva en dos dominios distintos:
   • Reconocimiento de Expresiones Faciales: Utilizando Unidades de Acción (AUs) como conceptos.
   • Diagnóstico de Lesiones Cutáneas: Utilizando los criterios ABCD (Asimetría, Borde, Color, Diámetro) como conceptos.

Resultados

Modelado y Métricas de Proximidad (Proxy Metrics)

• Simplicidad: Los bocetos de SketchXplain demostraron una complejidad visual significativamente menor (medida por entropía local y tamaño de archivo JPEG XL) en comparación con los mapas de prominencia y las "Fotos Salientes" (Salient Photos), mientras retenían más información que los contornos simples.
• Coherencia: SketchXplain logró la mayor alineación tanto con las etiquetas de predicción de la IA como con los conceptos explicativos (AUs/ABCDs) en comparación con las líneas de base como CLIPasso y los mapas de prominencia. Logró preservar con éxito las claves relevantes para la tarea mientras reducía el ruido.

Estudios de Usuario (Expresiones Faciales)

• Cualitativo: Los participantes encontraron SketchXplain más intuitivo que los mapas de prominencia (que carecían de semántica) y los contornos simples (que carecían de detalle). Los usuarios reportaron que SketchXplain resalta eficazmente las "líneas salientes" (como la Saliencia) mientras mantiene rasgos faciales reconocibles (como los Contornos) y claves expresivas (como CLIPasso).
• Cuantitativo (Tiempo Limitado): En pruebas de percepción rápida (duraciones de visualización de 33.3ms – 500ms), SketchXplain permitió una Alineación con la IA (identificación correcta de la emoción predicha) y una Recuperación de Conceptos (identificación de AUs específicas) significativamente mayores en comparación con los mapas de prominencia, CLIPasso e incluso la foto original en duraciones muy cortas. Los mapas de prominencia tuvieron el peor desempeño, probablemente debido a la falta de contexto de las características.

Estudios de Usuario (Lesiones Cutáneas)

• Cualitativo: En un estudio con participantes no clínicos, SketchXplain superó a otras visualizaciones al ayudar a los usuarios a identificar los criterios ABCD y diagnosticar el riesgo de melanoma. Los participantes señalaron que las "líneas desconectadas" y los "garabatos enfatizados" en SketchXplain ayudaron a confirmar la irregularidad del borde y la asimetría de manera más efectiva que los contornos suaves o las máscaras de prominencia difusas.
• Compromisos (Trade-offs): Si bien SketchXplain mejoró la interpretabilidad, introdujo una carga cognitiva ligeramente mayor que los contornos simples, aunque los usuarios consideraron que el intercambio valía la pena por el aumento en la coherencia con los conceptos clínicos.

Significado y Reivindicaciones

El artículo afirma que SketchXplain aborda la brecha de interpretabilidad al desplazar la XAI de una auditoría puramente analítica hacia una interpretación intuitiva. Al aprovechar la capacidad humana para procesar rápidamente bocetos abstractos (pensamiento de Sistema 1), el método apoya:

• Interpretación más Rápida: Los usuarios pueden asimilar las claves relevantes e inferir predicciones más rápido que con los métodos tradicionales de mapas de prominencia.
• Coherencia Mejorada: Los bocetos cierran la brecha entre la geometría espacial y los conceptos semánticos, alineando la lógica de la IA con la observación humana.
• Preservación de la Privacidad: Como subproducto, la abstracción inherente a los bocetos puede proteger la información identificable (por ejemplo, identidad, género) mientras mantiene la utilidad diagnóstica.

Los autores posicionan a SketchXplain no como un reemplazo para todos los métodos de XAI, sino como un enfoque complementario que aprovecha la abstracción visual para hacer que las decisiones de la IA sean más accesibles para los usuarios legos, particularmente en dominios donde la comprensión rápida e intuitiva es crítica.