From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

Aquí se presenta un resumen técnico detallado del artículo "De lo Local a lo Global a lo Mecanístico: Un Marco Unificado Centrado en iERF para Interpretar Modelos de Visión."

1. Declaración del Problema

Los modelos de visión modernos (CNNs y Vision Transformers) logran alta precisión pero carecen de transparencia. Los métodos actuales de interpretabilidad están fragmentados en tres dominios desconectados:

• Local: Explica dónde mira un modelo para una entrada específica (por ejemplo, mapas de saliencia), pero a menudo falla en distinguir evidencia específica de la clase o en manejar características no localizadas.
• Global: Explica qué codifica el modelo en todo un conjunto de datos (por ejemplo, descubrimiento de conceptos), pero lucha con características "no localizadas" en Transformers donde las activaciones están dispersas, lo que dificulta la fundamentación semántica.
• Mecanístico: Explica cómo los cálculos internos ensamblan evidencia a través de las capas, pero carece de una unidad unificada para rastrear la evolución y la interacción de los conceptos.

Los métodos existentes a menudo dependen de gradientes (que pueden ser ruidosos o manipulados) o de post-procesamiento heurístico, y no logran proporcionar una unidad de análisis consistente que cierre la brecha entre la evidencia a nivel de píxel y los conceptos latentes abstractos.

2. Metodología Central: El Marco Centrado en iERF

Los autores proponen un marco unificado construido en torno a una única unidad fundamental de análisis: el Vector de Características Punto a Punto (PFV) emparejado con su Campo Receptivo Efectivo Específico de la Instancia (iERF).

• Vector de Características Punto a Punto (PFV): El vector de activación multicanal en una coordenada espacial específica en una capa oculta. Esto trata la ubicación espacial como un ancla invariante, aplicable tanto a CNNs (ventanas deslizantes) como a Transformers (tokens).
• Campo Receptivo Efectivo Específico de la Instancia (iERF): Un mapa de puntuaciones que identifica los píxeles de entrada específicos (o parches) que impulsan la activación de un PFV específico para una instancia de entrada dada. A diferencia de los campos receptivos teóricos, el iERF es dinámico y anclado a la evidencia.

El marco aborda las tres dimensiones de interpretabilidad utilizando esta unidad:

A. Explicación Local: Descomposición de la Razón de Compartición (SRD)

• Objetivo: Generar mapas de saliencia de alta resolución y discriminativos por clase.
• Mecanismo: SRD descompone un PFV objetivo en una mezcla ponderada de PFVs aguas arriba. Calcula las Razones de Compartición ($\mu$) basadas en la alineación direccional entre las contribuciones parciales y el vector objetivo, utilizando las transformaciones afines internas del modelo.
• Proceso: Los iERF se propagan recursivamente desde la entrada hasta la salida. El mapa de saliencia de clase final es una suma ponderada de los iERF en la salida del codificador, donde los pesos se ajustan para suprimir señales agnósticas a la clase.
• Ventaja: A diferencia de los métodos basados en gradientes, SRD depende únicamente de información generada por el modelo, lo que lo hace robusto al ruido y a la manipulación adversarial, y agnóstico a las funciones de activación.

B. Explicación Global: Explicación de Características Anclada a Conceptos (CAFE)

• Objetivo: Interpretar vectores latentes abstractos (por ejemplo, de Autoencoders Dispersos o tokens de Transformer) fundamentándolos en evidencia a nivel de píxel.
• Problema: En los Transformers, la atención automática mezcla el contexto global, causando que las características sean "no localizadas" (activadas por píxeles distantes). Los métodos tradicionales de "parche más activado" fallan aquí.
• Mecanismo: CAFE utiliza el iERF como una etiqueta semántica directa para cada vector de concepto. En lugar de observar qué token se activó, rastrea qué píxeles impulsaron la activación de ese token.
• Proceso: La relevancia se retropropaga desde un neurona SAE objetivo a través de la red troncal hasta la entrada. El iERF revela el verdadero impulsor semántico (por ejemplo, "pastillas derramadas" frente a un parche de fondo), resolviendo la ambigüedad para características no localizadas y Tokens de Clase.

C. Explicación Mecanística: Grafo de Conceptos Intercapa (ICG) e ICAT

• Objetivo: Rastrear cómo evolucionan e interactúan los conceptos a través de las capas para formar decisiones.
• Nodos: Vectores de conceptos por capa extraídos de espacios PFV (utilizando métodos como k-medias de biseción o SAEs). Cada nodo está anclado por su iERF.
• Aristas: Cuantificadas mediante Atribución de Concepto Intercapa (ICAT). ICAT mide la influencia de un concepto padre en la capa $a$ sobre un concepto hijo en la capa $b$.
• Método de Atribución: El artículo valida que los Gradientes Integrados (IG) son la instancia más fiel para ICAT (denominado ICAT$_{IG}$) utilizando un protocolo de inserción/borrado intercapa.
• Salida: Un multigrafo dirigido que muestra el flujo de evidencia desde características de bajo nivel (texturas) hasta conceptos de alto nivel (objetos) y decisiones finales.

3. Contribuciones Clave

1. Unidad de Análisis Unificada: Introducción del paquete PFV–iERF como un primitivo consistente para el análisis local, global y mecanístico en CNNs y Transformers.
2. SRD (Local): Un método sin gradientes y robusto para generar mapas de saliencia discriminativos por clase que supera a las líneas base más avanzadas en fidelidad y robustez.
3. CAFE (Global): Un enfoque novedoso para fundamentar características SAE no localizadas y tokens de Transformer en evidencia de píxeles verificable, resolviendo el problema de la "dimensionalidad espacial nula" de los Tokens de Clase.
4. ICG e ICAT (Mecanístico): Un marco para rastrear la influencia de concepto a concepto a través de las capas, identificando los Gradientes Integrados como el método de atribución óptimo para el análisis intercapa.
5. Evaluación Exhaustiva: Experimentos extensos en ResNet50, VGG16 y ViTs que demuestran un rendimiento superior en localización, dispersión, fidelidad y robustez adversarial.

4. Resultados Experimentales

• Local (SRD):
  • Superó a las líneas base (Grad-CAM, LRP, Gradientes Integrados, etc.) en ImageNet-S50 en Juego de Señalamiento, Localización de Atribución, Fidelidad y Estabilidad.
  • Demostró alta robustez contra ataques adversarios dirigidos (preservando las pistas relevantes para la clase mientras las competidoras fallaban).
  • Mantuvo una alta fidelidad en diversas funciones de activación (ReLU, Swish, GELU, Tanh), a diferencia de los métodos adaptados solo para ReLU.
• Global (CAFE):
  • En pruebas de inserción, CAFE guiado por iERF recuperó las activaciones latentes significativamente más rápido que las líneas base de clasificación de activación ingenuas.
  • Interpretó con éxito características no localizadas (por ejemplo, concepto de conteo "Tres", "Armadura de Caballero") donde los métodos tradicionales produjeron etiquetas semánticas ambiguas o incorrectas.
• Mecanístico (ICG):
  • Validó que los Gradientes Integrados proporcionan la caída/subida más pronunciada en las curvas de inserción/borrado, confirmando que es el método más fiel para ICAT.
  • Diagnosticó con éxito modos de fallo:
    • Clasificación Errónea: Reveló rutas de conceptos competidores (por ejemplo, "perro boxeador" vs. "gato tigre") que causaron errores.
    • Ataques Adversarios: Rastreó cómo las perturbaciones reutilizaron conceptos de bajo nivel (por ejemplo, "arrugas") para secuestrar representaciones de alto nivel.

5. Significado

Este artículo proporciona un mapa coherente y respaldado por evidencia desde los píxeles hasta los conceptos y las decisiones. Al anclar todas las tareas de interpretabilidad al iERF, el marco:

• Unifica campos dispares de interpretabilidad (local, global, mecanístico) bajo una única lente matemática.
• Resuelve los desafíos específicos de las arquitecturas modernas (Transformers) donde la mezcla de contexto global oscurece la evidencia local.
• Mejora la Confianza: Ofrece una herramienta robusta y resistente a la manipulación para depurar modelos, comprender modos de fallo y verificar que los modelos dependen de características semánticamente significativas en lugar de correlaciones espurias.
• Impacto Futuro: Establece una base para mover la interpretabilidad desde la visualización post-hoc hacia un análisis fundamentado en conceptos que pueda apoyar la dirección y la intervención de modelos.