Resumen Técnico: FRInGe – Gradientes Integrados en el Espacio de Distribución con Geometría Fisher–Rao

1. Declaración del Problema

Los métodos de atribución basados en gradientes, como los Gradientes Integrados (IG), se utilizan ampliamente para explicar las predicciones de redes neuronales profundas debido a su fidelidad al modelo y su escalabilidad. Sin embargo, el IG estándar adolece de varias limitaciones prácticas que afectan la estabilidad y la interpretabilidad de las explicaciones:

• Sensibilidad a la Línea Base: La elección de una línea base en el espacio de entrada (por ejemplo, imágenes de cero o ruido) es heurística y puede conducir a explicaciones cualitativamente diferentes.
• Artefactos de Trayectoria: La interpolación en línea recta estándar en el espacio de entrada a menudo atraviesa regiones donde los gradientes están mal condicionados, dominados por artefactos o saturados.
• Saturación: A lo largo de las trayectorias estándar, las salidas del modelo pueden cambiar rápidamente al principio y luego estabilizarse, concentrando los gradientes informativos en un segmento estrecho mientras que los pasos posteriores contribuyen con ruido.
• Error de Discretización: Aproximar la integral de trayectoria con sumas de Riemann finitas puede introducir errores sustanciales cuando los gradientes varían bruscamente.

Los intentos existentes de abordar estos problemas a menudo implican diseñar trayectorias directamente en el espacio de entrada o depender de modelos generativos explícitos para definir variedades de datos, lo que puede confundir la calidad de la atribución con la calidad del modelo generativo.

2. Metodología: FRInGe

Los autores proponen FRInGe (Gradientes Integrados Fisher–Rao), un método que redefine el punto de referencia y el programa de interpolación dentro del espacio de distribuciones predictivas en lugar del espacio de entrada. El método consta de tres componentes principales:

A. Referencia de Distribución Predictiva

En lugar de seleccionar una línea base de entrada heurística, FRInGe define la referencia en el espacio de distribuciones predictivas. Adopta una referencia de máxima entropía ($q^\star = \frac{1}{C}\mathbf{1}$), que representa una distribución uniforme sobre las clases. Esto operacionaliza "ninguna información" directamente a nivel de salida del modelo, eliminando la dependencia de diseños de línea base específicos del tipo de datos.

B. Programa Geodésico Fisher–Rao

La interpolación entre la distribución predictiva del modelo $p(x)$ y la referencia de máxima entropía $q^\star$ se define como una geodésica Fisher–Rao en el simplex de probabilidad.

• Utilizando la incrustación de raíz cuadrada $\psi(p) = \sqrt{p}$, el simplex se mapea al ortante positivo de una esfera unitaria.
• La geodésica se calcula mediante interpolación lineal esférica (slerp) en este espacio incrustado, asegurando que la trayectoria siga la geometría intrínseca de las distribuciones predictivas.

C. Trayectoria en el Espacio de Entrada mediante Métrica de Retroceso

Para realizar esta trayectoria en el espacio de distribuciones en el espacio de entrada, FRInGe utiliza la métrica de Fisher de retroceso.

• Pasos Conscientes de la Geometría: El método minimiza una pérdida de alineación esférica entre la predicción actual y el siguiente punto de paso en la geodésica. La dirección de descenso se calcula utilizando la métrica de Fisher de retroceso $G(x) = J_F(x)^\top S(x) J_F(x)$, donde $J_F$ es el Jacobiano de los logits y $S(x)$ es la matriz de información de Fisher de la distribución softmax.
• Estabilización por Región de Confianza: Para garantizar la estabilidad numérica y evitar desplazamientos de entrada grandes y no perceptuales, el método emplea una regla dual de región de confianza:
  1. Control KL: Limita el tamaño del paso basándose en la divergencia KL local (aproximada por la norma de Fisher), asegurando un progreso constante en el espacio predictivo.
  2. Límite Euclidiano: Impone un tamaño de paso euclidiano máximo para prevenir inestabilidad en regiones donde la geometría predictiva es plana.
• Regularización Espacial: Para desalentar perturbaciones adversarias de alta frecuencia, se añade un operador de suavizado espacial (por ejemplo, Laplaciano discreto) al sistema lineal que resuelve la dirección de actualización.

D. Cálculo de Atribución

Las atribuciones de características se obtienen integrando los gradientes de entrada a lo largo de la trayectoria en el espacio de entrada realizada. Dado que la trayectoria se mueve desde la entrada hacia la referencia, la integral acumulada se niega para restaurar la orientación estándar de línea base a entrada. El método satisface la completitud con respecto al punto final realizado de la trayectoria.

3. Contribuciones Clave

1. Definición en el Espacio de Distribución: FRInGe es el primer método de atribución que define tanto la referencia de IG como el programa de interpolación completamente dentro del espacio de distribuciones predictivas, utilizando una referencia de máxima entropía.
2. Geometría Intrínseca: Construye el programa de integración como una geodésica Fisher–Rao, evitando líneas rectas euclidianas arbitrarias en el espacio de entrada.
3. Realización por Retroceso: Induce la trayectoria correspondiente en el espacio de entrada mediante la métrica de Fisher de retroceso, creando un campo direccional consciente del modelo sin requerir un modelo generativo explícito de la variedad de datos.
4. Mecanismo de Estabilización: La integración de regiones de confianza basadas en KL y límites euclidianos asegura una realización numérica estable de la trayectoria, abordando problemas de saturación y error de discretización.

4. Resultados Experimentales

Los autores evaluaron FRInGe en 1.000 imágenes de validación de ImageNet a través de seis arquitecturas (Inception-v3, ResNet-18/50/101/152, VGG-19).

• Métricas de Calibración (MAS): FRInGe demuestra la mejora más significativa en las métricas de Puntuación Alineada por Magnitud (MAS) (tanto Inserción como Eliminación). Esto indica que las atribuciones de FRInGe están mejor calibradas con la dinámica de confianza del modelo; la masa de atribución acumulada rastrea estrechamente el cambio real en la confianza del modelo.
• Métricas de Perturbación: FRInGe permanece competitivo en las métricas estándar de AUC basadas en perturbación (Inserción/Eliminación) y de Infidelidad, aunque no domina uniformemente todas las líneas base (por ejemplo, SmoothGrad a veces tiene un mejor rendimiento en el AUC de Eliminación).
• Comparación con Líneas Base Geométricas: FRInGe supera a otros métodos conscientes de la geometría como GGIG y GeoIG en MAS e Infidelidad, lo que sugiere que sus ganancias provienen de la combinación de programación en espacio predictivo y geometría de retroceso, en lugar del diseño de trayectoria únicamente.
• Estudios de Ablación: Eliminar la geometría de retroceso (seguimiento euclidiano) o la regularización espacial conduce a trayectorias más ruidosas y de alta frecuencia, y a puntuaciones de calibración más bajas, confirmando que los tres componentes (referencia predictiva, geometría de Fisher y regularización) son necesarios para un rendimiento óptimo.
• Costo Computacional: FRInGe es computacionalmente más costoso que el IG estándar (requiere resolver conjugados de gradiente en cada paso), con tiempos de ejecución que van de 4x a 22x más lentos dependiendo de la arquitectura. Sin embargo, los autores señalan que esto es aceptable para análisis y auditoría fuera de línea.

5. Significado y Afirmaciones

El artículo afirma que FRInGe ofrece una alternativa fundamentada a los Gradientes Integrados Euclidianos al desplazar la definición de "progreso" desde la distancia en el espacio de píxeles hasta los cambios en el estado predictivo del modelo.

• Alineación con la Dinámica del Modelo: El beneficio principal es la alineación de la magnitud de la atribución con la dinámica de confianza interna del modelo. Al seguir la geodésica Fisher–Rao, el método evita la saturación y los artefactos comunes en las trayectorias en línea recta, produciendo explicaciones que son más fieles a cómo el modelo procesa realmente la información.
• Independencia de Modalidad: Al definir la referencia en el espacio de distribuciones (máxima entropía), el método reduce la necesidad de líneas base diseñadas a mano y específicas de la modalidad de datos.
• Limitaciones: Los autores reconocen la sobrecarga computacional como la principal limitación práctica. Sugieren que el trabajo futuro podría centrarse en aproximaciones estructurales más económicas de la métrica de retroceso inverso o en predictores amortizados para acelerar el método.

El artículo concluye que FRInGe demuestra exitosamente que las explicaciones que siguen la propia dinámica predictiva del modelo (mediante la geometría Fisher–Rao) producen atribuciones de mayor calidad y mejor calibradas que aquellas que siguen trayectorias euclidianas arbitrarias.