Resumen Técnico: FAME – Explicación del Mapa de Activación de Características

Declaración del Problema

Los modelos de aprendizaje profundo, particularmente en clasificación de imágenes (IC) y reconocimiento facial (FR), logran alta precisión pero operan como "cajas negras", oscureciendo el razonamiento detrás de sus predicciones. Los métodos existentes de Inteligencia Artificial Explicable (XAI) se dividen en dos categorías principales, cada una con limitaciones significativas:

1. Mapeo de Activación de Clase basado en Gradientes (CAM): Métodos como Grad-CAM calculan atribuciones basadas en las activaciones de los mapas de características y las remuestrean a la resolución de la imagen. Este enfoque se basa en la suposición de que los elementos del mapa de características están influenciados únicamente por las regiones de píxeles subyacentes (campos receptivos locales). Los autores argumentan que esta suposición falla en redes más profundas donde los campos receptivos son grandes, superpuestos y no locales, lo que conduce a mapas de atribución engañosos.
2. Métodos basados en Perturbación: Técnicas como CorrRISE perturban las imágenes de entrada con parches fijos (por ejemplo, cuadrados negros o ruido) para observar cambios en la salida. Estos métodos a menudo introducen bordes artificiales o fallan en eliminar la información de manera efectiva (ya que las redes modernas manejan bien las entradas borrosas). Además, dependen de enmascaramiento aleatorio estocástico y parámetros definidos manualmente, careciendo de un enfoque principiado para la perturbación.

Metodología: Explicación del Mapa de Activación de Características (FAME)

Los autores proponen FAME, un marco unificado que une los paradigmas basados en gradientes y basados en perturbación. FAME se basa en Síntesis de Origen Objetivo por Capa (LOTS), una técnica de ataque adversarial diseñada originalmente para modificar imágenes y forzar a una red hacia una salida específica en una determinada capa.

Mecanismo Central

En lugar de utilizar parches fijos o un simple remuestreo de gradientes, FAME trata la generación de un mapa de atribución como un problema de optimización:

1. Perturbación Iterativa: Comenzando con una imagen de entrada $x$, FAME actualiza iterativamente la imagen a $\bar{x}$ utilizando gradientes normalizados para minimizar una función de pérdida específica $\mathcal{L}$ con respecto a un objetivo $t$ en una capa de red elegida.
   $$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$$
   donde $\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$.
2. Derivación de Atribución: El mapa de atribución se deriva de la diferencia absoluta entre la imagen original y la imagen perturbada: $\Delta x = |\bar{x} - x|$.
3. Suavizado: El mapa de perturbación a nivel de píxel resultante se suaviza utilizando un kernel gaussiano y se normaliza por máximo para producir el mapa de atribución final $e \in [0, 1]^{H \times W}$.

Adaptaciones Específicas de la Tarea

FAME adapta la función de pérdida y el objetivo según la tarea:

• Análisis de Mapas de Características: Para probar la validez de las suposiciones de CAM, el objetivo se establece en cero para elementos específicos del mapa de características $a[k]$. La pérdida $\mathcal{L}_a = \|a[k] - 0\|_1$ identifica qué píxeles de entrada deben eliminarse para anular una activación de característica específica.
• Clasificación de Imágenes: La pérdida se define directamente sobre el logit de una clase objetivo ($L_{cls} = z_o$), retropropagando hacia la entrada para resaltar los píxeles críticos para esa predicción de clase.
• Reconocimiento Facial: El método minimiza o maximiza la puntuación de similitud $s$ entre una imagen de galería ($x_g$) y una imagen de sonda ($x_p$).
  • Similares ($e^+$): Minimizar la similitud ($L_+ = s$) para encontrar regiones que apoyan la coincidencia.
  • Dissimilares ($e^-$): Maximizar la similitud ($L_- = 1-s$) para encontrar regiones que causan la discrepancia.
  • A diferencia de métodos relacionados (por ejemplo, FGGB), FAME no requiere umbralización arbitraria para separar regiones similares y disimilares.

Contribuciones Clave

1. Refutación de las Suposiciones de CAM: El artículo proporciona evidencia empírica de que la suposición de campos receptivos locales en los métodos basados en CAM no se sostiene para redes más profundas. Utilizando FAME, los autores demuestran que los elementos del mapa de características en redes profundas (por ejemplo, IResNet101) agregan información de regiones grandes, desplazadas y superpuestas de la entrada, haciendo que el simple remuestreo sea poco fiable.
2. Marco Unificado: FAME ofrece un único enfoque basado en optimización aplicable tanto a tareas de IC como de FR sin requerir cambios arquitectónicos específicos de la tarea o selección manual de umbrales.
3. Perturbación Principiada: Al utilizar perturbaciones impulsadas por gradientes en lugar de parches fijos, FAME evita introducir artefactos artificiales (como bordes afilados de cuadrados negros) y proporciona una interpretación más natural de cómo los cambios en la entrada afectan las salidas de la red.

Resultados Experimentales

Los autores evaluaron FAME en ImageNet (IC) y tres conjuntos de datos de Reconocimiento Facial (AR Face, SCface, CFP) utilizando diversas arquitecturas (ResNet, VGG, ConvNeXt, IResNet).

Clasificación de Imágenes

• Cualitativo: FAME produce mapas de atribución más compactos y semánticamente relevantes en comparación con Grad-CAM y Grad-CAM-EW, que a menudo resaltan regiones de fondo difusas o se centran solo en partes específicas (por ejemplo, solo la cabeza de un pájaro).
• Cuantitativo: En ImageNet, FAME logra puntuaciones competitivas de Intersección sobre Unión (IoU), quedando ligeramente detrás de FullGradCAM pero superando a las variantes estándar de Grad-CAM. Crucialmente, en las evaluaciones ROAD-Delete (que miden la degradación del rendimiento a medida que se eliminan píxeles salientes), FAME alcanza las puntuaciones más altas en ratios de eliminación bajos (10% y 30%), lo que indica que identifica los píxeles más críticos para la decisión del modelo de manera más efectiva que sus competidores.

Reconocimiento Facial

• Cualitativo: FAME genera mapas espacialmente coherentes que se alinean con la intuición humana. Para rostros ocluidos (por ejemplo, bufandas, gafas de sol), FAME se enfoca correctamente en las señales de identidad visibles (ojos, frente) mientras ignora las áreas ocluidas. En contraste, métodos como CorrRISE y FGGB a menudo producen mapas ruidosos o resaltan regiones de fondo irrelevantes.
• Cuantitativo: En múltiples protocolos de FR y profundidades de red, FAME supera consistentemente a Grad-CAM, CorrRISE y FGGB tanto en las métricas de Delete (caída de precisión) como de Insert (recuperación de precisión). Notablemente, FAME alcanza las puntuaciones de Inserción más altas (hasta un 96.7% en CFP), demostrando su capacidad para identificar regiones que, al restaurarse, recuperan rápidamente la precisión de verificación.

Significado y Afirmaciones

El artículo afirma que FAME proporciona un marco basado en optimización y adaptable a la tarea que produce explicaciones estables y relevantes para el modelo. Su significado principal radica en:

• Corrección de Conceptos Erróneos: Cuestiona la dependencia del remuestreo espacial ingenuo en redes profundas, mostrando que las arquitecturas más profundas codifican patrones integrados globalmente en lugar de características localizadas.
• Robustez: FAME demuestra una robustez superior a variaciones en la pose, oclusión y resolución en comparación con los métodos XAI más avanzados.
• Generalidad: Elimina la necesidad de umbrales arbitrarios (una limitación de FGGB) y parámetros de perturbación fijos (una limitación de CorrRISE), ofreciendo un enfoque más principiado para la atribución.

Los autores reconocen que FAME es computacionalmente más lento que los métodos basados en gradientes debido a su naturaleza iterativa, pero sugieren que la velocidad puede mejorarse mediante detención temprana o tamaños de paso más grandes con un impacto mínimo en la calidad. Se propone trabajo futuro para extender FAME a arquitecturas de transformadores y tareas de detección de objetos.