Resumen Técnico: Gradientes Integrados Espectrales para Atribución de Características de Gruesa a Fina

Enunciado del Problema

Los Gradientes Integrados (IG) son un método de atribución de características ampliamente adoptado, fundamentado en propiedades axiomáticas como la sensibilidad, la invarianza de implementación y la completitud. Sin embargo, la calidad de las atribuciones de IG depende en gran medida de la elección de la trayectoria de integración. El enfoque estándar de IG utiliza una trayectoria de línea recta que interpola uniformemente entre una línea base (típicamente una imagen negra) y la entrada objetivo. Esta interpolación uniforme trata todas las diferencias de píxeles por igual, introduciendo simultáneamente tanto características estructurales dominantes como ruido de alta frecuencia (texturas finas y artefactos) a lo largo de toda la trayectoria de integración.

En consecuencia, la acumulación de gradientes a lo largo de esta trayectoria a menudo incluye contribuciones erráticas del ruido de alta frecuencia en las etapas iniciales del proceso. Esto conduce a mapas de atribución que exhiben puntuaciones de importancia dispersas y patrones de ruido "salpicados", oscureciendo las características semánticas reales que impulsan la predicción del modelo. Si bien existen métodos alternativos basados en trayectorias (por ejemplo, IG Guiada, IG basada en Variedad), a menudo requieren cálculos iterativos de gradientes por paso, el uso de modelos generativos entrenados por separado o búsqueda estocástica, lo que introduce una complejidad computacional significativa.

Metodología: Gradientes Integrados Espectrales (SIG)

Los autores proponen Gradientes Integrados Espectrales (SIG), un método de atribución basado en trayectorias que construye rutas de integración basadas en la Descomposición en Valores Singulares (SVD) de la diferencia entre la entrada y la línea base. La idea central es que la SVD proporciona una jerarquía natural y adaptativa a los datos de la información visual:

• Valores singulares grandes corresponden a patrones estructurales dominantes (formas globales, límites de objetos, energía de baja frecuencia).
• Valores singulares pequeños corresponden a detalles finos, texturas de alta frecuencia y ruido.

SIG aprovecha esta jerarquía para imponer una progresión de gruesa a fina. En lugar de activar todas las características simultáneamente, SIG activa progresivamente los componentes singulares desde los más grandes hasta los más pequeños. Esto asegura que la trayectoria de integración priorice las estructuras semánticas robustas antes de introducir detalles finos, suprimiendo así la acumulación de gradientes ruidosos durante las etapas iniciales de la integración.

Formulación Técnica

1. Descomposición Espectral: Sea $\Delta = x - x'$ el tensor de diferencia entre la entrada $x$ y la línea base $x'$. La SVD descompone esta diferencia en componentes de rango uno: $\Delta = \sum_{i=1}^R \sigma_i u_i v_i^\top$, donde $\sigma_1 \ge \sigma_2 \ge \dots \ge 0$.
2. Construcción de la Trayectoria mediante Optimización: Los autores plantean la construcción de la trayectoria como un problema de optimización donde la diferencia intermedia $\Delta(\alpha)$ en el paso $\alpha$ debe preservar la máxima información de la diferencia objetivo bajo una restricción de rango. Según el teorema de Eckart-Young-Mirsky, la solución óptima es la SVD truncada, activando los componentes secuencialmente.
3. Relajación Continua: Para evitar discontinuidades inherentes a la truncación de rango rígida, SIG introduce una función de puerta suave $\phi_i(\alpha; \omega)$. Esta función controla la activación del $i$-ésimo componente singular basándose en el progreso de la trayectoria $\alpha$ y un parámetro de superposición $\omega$.
   • Los componentes con $\sigma_i$ más grandes se activan antes (umbral de inicio $s_i$ más pequeño).
   • El parámetro $\omega$ controla la superposición entre las ventanas de activación. Cuando $\omega \to 1$, SIG recupera la trayectoria lineal estándar de IG; cuando $\omega \to 0$, se aproxima a un orden espectral secuencial estricto. Los autores establecen empíricamente $\omega = 0.4$ para equilibrar la continuidad y el orden espectral.
4. Propiedades Axiomáticas: Como método basado en trayectorias que satisface las condiciones de frontera $\gamma(0)=x'$ y $\gamma(1)=x$, SIG hereda las garantías axiomáticas de IG (Completitud, Sensibilidad, Invarianza de Implementación). Además, los autores demuestran que SIG preserva la Simetría Geométrica, asegurando que si el modelo es invariante a transformaciones espaciales (por ejemplo, rotación), el mapa de atribución se transforma de manera equivariante.

Contribuciones Clave

1. Construcción de Trayectoria Espectral: La introducción de SIG, que utiliza la SVD para construir rutas de integración que respetan la jerarquía espectral de la información visual, priorizando estructuras gruesas sobre detalles finos.
2. Justificación Teórica: Proporcionar una base teórica para la construcción de la trayectoria mediante optimización con restricción de rango (teorema de Eckart-Young-Mirsky), ofreciendo una garantía de optimalidad para el criterio de construcción de la trayectoria que carecen otros métodos (por ejemplo, GIG, BIG).
3. Eficiencia: SIG requiere únicamente un cálculo de SVD por imagen y evaluaciones estándar de gradientes, añadiendo una sobrecarga computacional despreciable en comparación con IG estándar, a diferencia de los métodos que requieren optimización iterativa o modelos generativos.
4. Evaluación Exhaustiva: Validación empírica extensa en diversos conjuntos de datos (ImageNet, Oxford-IIIT Pet, Oxford 102 Flower) y arquitecturas (ResNet, VGG, Inception) utilizando múltiples métricas de evaluación.

Resultados Experimentales

El artículo evalúa SIG frente a un conjunto exhaustivo de líneas base, incluyendo Gradiente $\times$ Entrada, IG estándar, IG Guiada (GIG), IG de Desenfoque (BIG), IG basada en Variedad (MIG) y otros.

• Análisis Cualitativo: SIG produce mapas de atribución visiblemente más limpios, menos ruidosos y más enfocados en regiones semánticamente relevantes en comparación con IG y otras líneas base. Suprime eficazmente los gradientes espurios asociados con el ruido de alta frecuencia y los artefactos de los límites.
• Rendimiento Cuantitativo (Fidelidad):
  • DiffID e Inserción/Borrado: SIG coincide o supera consistentemente a los métodos existentes en tres conjuntos de datos y tres arquitecturas. Logra los mejores resultados en casi todos los escenarios en ImageNet y resultados competitivos de primer nivel en conjuntos de datos de granularidad fina.
  • ROAR (RemOve And Retrain): En CIFAR-10, SIG induce la degradación más aguda en la precisión del modelo cuando se eliminan los píxeles mejor atribuidos y el modelo se reentrena, lo que indica que identifica las características más discriminativas.
  • Consciente de Fugas (ROAD): SIG logra las mejores puntuaciones GAP en ImageNet, demostrando robustez frente a la fuga de información a través de máscaras de perturbación.
  • Localización No Perturbativa: SIG logra la mejor precisión media del Juego de Señalamiento y las mejores puntuaciones de IoU de SAM 2, confirmando una localización espacial superior de los objetos predichos.
• Eficiencia: SIG mantiene una posición óptima de Pareto entre la calidad de la explicación y el tiempo de ejecución. Introduce solo una sobrecarga computacional marginal (~16% de aumento) sobre IG estándar, superando significativamente a métodos computacionalmente costosos como SAMP.

Significado y Afirmaciones

El artículo afirma que SIG ofrece una solución sencilla pero efectiva al problema de la acumulación de ruido en los Gradientes Integrados. Al adherirse a una jerarquía espectral, SIG sigue naturalmente una progresión de gruesa a fina que se alinea con la semántica estructural de las imágenes naturales.

Los autores enfatizan que, si bien la optimización con restricción de rango justifica la construcción de la trayectoria, la fidelidad de las atribuciones resultantes es un hallazgo empírico respaldado por evaluaciones trianguladas (métricas basadas en perturbación, conscientes de fugas y de localización), en lugar de una garantía formal derivada únicamente de la construcción de la trayectoria.

El método se posiciona como una mejora práctica para tareas de clasificación de imágenes donde la ordenación de la varianza de la SVD se alinea con la estructura espacial. Los autores notan modestamente que el sesgo inductivo de gruesa a fina es más beneficioso para las imágenes; un estudio piloto sobre clasificación de texto sugiere que el método se acerca al rendimiento de IG estándar solo cuando el parámetro de superposición es grande, lo que indica que el orden espectral puede no corresponder universalmente a la importancia semántica en dominios no visuales.

El trabajo concluye que SIG mejora la calidad de la atribución sin costos computacionales prohibitivos, convirtiéndolo en un estándar viable para la atribución de características en aplicaciones de alto riesgo que requieren diagnósticos de modelos fiables.