Resumen Técnico: Visual-TCAV

Planteamiento del Problema

Las Redes Neuronales Convolucionales (CNN) han logrado un rendimiento notable en la clasificación de imágenes, pero siguen siendo modelos de "caja negra", lo que dificulta la confianza y la depuración en dominios críticos como la atención médica y la conducción autónoma. Los métodos existentes de IA Explicable (XAI) sufren limitaciones complementarias:

• Métodos de Saliencia (p. ej., Grad-CAM, Integrated Gradients): Proporcionan explicaciones locales a nivel de píxel que muestran dónde se identifica una clase, pero no logran explicar qué conceptos semánticos de alto nivel (p. ej., "rayado", "hoyuelos") impulsaron la predicción.
• Métodos Basados en Conceptos (p. ej., TCAV): Explican qué tan sensible es una red a conceptos definidos por humanos de forma global, pero no pueden atribuir la importancia de un concepto a una instancia de predicción específica, ni pueden visualizar la localización espacial de estos conceptos dentro de la imagen de entrada.

En consecuencia, existe una brecha en los métodos que puedan proporcionar simultáneamente anclaje espacial (localización de conceptos), atribución por instancia (cuantificación de la importancia de un concepto para una predicción específica) y agregabilidad (generación de conocimientos globales).

Metodología: Visual-TCAV

Visual-TCAV es un marco diseñado para cerrar la brecha entre los métodos de saliencia y los basados en conceptos. Opera sobre cualquier capa de una CNN que produzca mapas de características y genera dos salidas principales: un mapa de conceptos (localización espacial) y una atribución de concepto (importancia numérica).

1. Generación de CAV y Agrupación Espacial (Pooling)

Siguiendo el paradigma de TCAV, el método primero calcula un Vector de Activación de Concepto (CAV) utilizando el enfoque de Diferencia de Medias. Esto implica:

• Recolectar mapas de características de ejemplos de conceptos positivos definidos por el usuario y ejemplos negativos (aleatorios).
• Calcular la media aritmética (centroide) para ambos conjuntos.
• Derivar el CAV como la diferencia entre el centroide del concepto y el centroide aleatorio.
• Aplicar Agrupación Global Promedio (GAP) al CAV para crear un CAV agrupado (pooled-CAV). Este vector representa la correlación entre el concepto y cada canal del mapa de características, independientemente de la ubicación espacial.

2. Mapa de Conceptos (Anclaje Espacial)

Para localizar dónde se reconoce un concepto $c$ en una imagen de entrada, Visual-TCAV genera un mapa de conceptos $M^c$:

• Calcula una suma ponderada de los mapas de características ($F$) de la imagen de entrada, donde los pesos son los elementos del pooled-CAV ($p^c_i$).
• Se aplica una función ReLU para retener solo las regiones positivamente correlacionadas con el concepto.
• Normalización: Para asegurar la comparabilidad entre imágenes, el mapa se normaliza mediante una escala min-máx personalizada. Los límites ($\ell_c, u_c$) se derivan heurísticamente de las medias contraarmónicas de los mapas de conceptos generados a partir de los conjuntos de ejemplos positivos y negativos, respectivamente.
• El resultado es una visualización independiente de la clase que resalta las regiones espaciales donde la red reconoce el concepto.

3. Atribución de Conceptos (Importancia por Instancia)

Para estimar la magnitud de la contribución de un concepto a una predicción de clase específica, el método extiende los Gradientes Integrados (IG):

• IG de Mapa de Características: En lugar de integrar gradientes desde los píxeles de entrada, el IG se calcula en el espacio del mapa de características de una capa elegida. Esto mide la atribución de las activaciones del mapa de características al logit de la clase objetivo en relación con una línea base (tensor cero).
• Ponderación por Alineación de Conceptos: Las atribuciones de IG normalizadas se ponderan mediante el pooled-CAV normalizado ($\hat{p}^c$). Esto enfatiza los mapas de características fuertemente alineados con el concepto y reduce el peso de otros.
• Máscara Espacial: Las atribuciones ponderadas se multiplican elemento a elemento por el mapa de conceptos normalizado ($\hat{M}^c$), actuando como una máscara espacial para aislar las regiones relevantes del concepto.
• Agregación: La suma de todas las ubicaciones espaciales produce un escalar de atribución de concepto ($a_{c,k}$), que cuantifica la contribución del concepto $c$ a la clase $k$ para una entrada específica.

4. Explicaciones Globales

Los conocimientos globales se derivan promediando las atribuciones de conceptos por instancia a través de un conjunto de imágenes de entrada para una clase seleccionada, cuantificando la importancia general de un concepto para esa clase.

Contribuciones Clave

1. Marco Unificado: Visual-TCAV integra las fortalezas de los mapas de saliencia y los métodos basados en conceptos, satisfaciendo tres desiderata: (D1) anclaje espacial, (D2) atribución por instancia y (D3) agregabilidad.
2. Atribución Consciente de la Magnitud: A diferencia de TCAV, que depende únicamente de los signos de las derivadas direccionales (sensibilidad), Visual-TCAV utiliza la magnitud de los gradientes (vía Integrated Gradients) para medir el impacto real de un concepto en la puntuación de la predicción.
3. Validación Visual: La generación de mapas de conceptos permite la validación cualitativa de si el CAV se alinea con el concepto pretendido por el usuario sin requerir maximización de activación.
4. Validación de Verdad de Terreno (Ground Truth): Los autores introducen un experimento controlado utilizando conjuntos de datos sintéticos (pepino, taxi, cebra con etiquetas artificiales) donde la verdad de terreno para la importancia del concepto es conocida, demostrando que Visual-TCAV se alinea mejor con la verdad de terreno que el TCAV estándar.

Resultados

El método fue evaluado en ResNet50V2, InceptionV3 y VGG16 (ImageNet) y en una ResNet50V2 entrenada en CelebA.

• Explicaciones Locales: Visual-TCAV visualizó con éxito que los conceptos de alto nivel (p. ej., "auto") se reconocen en capas más profundas, mientras que los conceptos finos aparecen en capas anteriores. Identificó que las clasificaciones erróneas (p. ej., un "buey" clasificado erróneamente como "dálmata") fueron impulsadas por conceptos específicos (p. ej., "manchado") que contribuyeron significativamente al logit de la clase incorrecta.
• Explicaciones Globales: Las atribuciones agregadas se alinearon con las expectativas intuitivas (p. ej., "rayado" está altamente atribuido a "cebra"). El método también resaltó posibles sesgos del modelo, como la dependencia excesiva de características específicas.
• Validación Cuantitativa: En el experimento controlado basado en etiquetas, las atribuciones de Visual-TCAV reflejaron correctamente la verdad de terreno: a medida que los modelos fueron entrenados con porcentajes crecientes de imágenes etiquetadas, la atribución se desplazó de la entidad (p. ej., "cebra") a la etiqueta (p. ej., "Z").
• Comparación con TCAV: Mientras que las puntuaciones de TCAV se mantuvieron altas para ambos (entidades y etiquetas) incluso cuando los modelos fallaban al distinguirlos (debido a la dependencia de los signos de los gradientes), Visual-TCAV distinguió correctamente la importancia relativa al medir las magnitudes de los gradientes, mostrando una atribución cercana a cero para conceptos irrelevantes en modelos con sobreajuste.

Significado y Reivindicaciones

El artículo afirma que Visual-TCAV ofrece una explicación más completa que los métodos existentes al cuantificar cuánto influye un concepto en una predicción, no solo si la red es sensible a él.

• Aborda la limitación de TCAV al evaluar predicciones erróneas y verificar el anclaje espacial.
• Proporciona un mecanismo para detectar cuándo los modelos dependen de atajos (p. ej., etiquetas en lugar de objetos), lo cual es crítico para aplicaciones de seguridad crítica.
• Los autores señalan modestamente las limitaciones: recolectar ejemplos de conceptos requiere conocimiento de dominio, y el método no proporciona una garantía de completitud (es decir, no puede verificar que los conceptos probados sean exhaustivos de lo que el modelo ha aprendido).
• Se propone trabajo futuro para aplicar el método a Vision Transformers (ViTs) y tareas de regresión, aunque los autores reconocen los desafíos del anclaje espacial en arquitecturas basadas en atención.