Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models

Este artículo presenta el marco CA-LIG, una metodología unificada y jerárquica que mejora la interpretabilidad de los modelos Transformer al integrar gradientes integrados por capa con gradientes de atención específicos de la clase para generar mapas de atribución sensibles al contexto que rastrean la evolución de la relevancia a través de las capas y componentes estructurales.

Lo esencial

Imagina que los modelos de Inteligencia Artificial (IA) modernos, como los que usan los Transformers (la tecnología detrás de ChatGPT, BERT, etc.), son como grandes orquestas sinfónicas con docenas de secciones y músicos. Cuando tocan una pieza (hacen una predicción, como decir si un comentario es positivo o negativo), el resultado final es hermoso y preciso. Pero, ¿cómo sabemos exactamente qué violín o qué trompeta contribuyó a esa nota específica? ¿Quién llevó la melodía y quién solo hizo ruido de fondo?

Hasta ahora, los métodos para explicar a estas "orquestas" de IA tenían tres grandes problemas:

1. Miraban solo al final: Solo preguntaban al director de orquesta al final de la canción qué pasó, ignorando cómo evolucionó la música en cada sección.
2. Confundían la atención con la importancia: Pensaban que si un músico miraba a otro (atención), eso significaba que era importante, pero a veces solo estaban mirando sin tocar nada relevante.
3. No entendían el contexto: No veían cómo las notas de un instrumento cambiaban el significado de las notas de otro más adelante en la canción.

Los autores de este paper, Melkamu y Jugal, han creado una nueva herramienta llamada CA-LIG (Gradientes Integrados Conscientes del Contexto por Capas). Vamos a explicarlo con una analogía sencilla:

La Analogía: El Detective que Revisa el Caso Paso a Paso

Imagina que la IA es un detective que resuelve un caso (por ejemplo, "¿Es este mensaje de odio?").

• El problema de los métodos antiguos: El detective antiguo solo miraba la conclusión final en el informe. Decía: "El culpable es la palabra 'estúpido'". Pero no sabía cómo llegó a esa conclusión. ¿Fue porque la palabra estaba sola? ¿O porque estaba conectada con otra palabra que la hacía más fuerte? Además, a veces se fijaba en cosas que el detective solo miró pero no usó (como la atención).

• La solución CA-LIG (El nuevo detective):
  Este nuevo detective no solo mira el informe final. Él reconstruye todo el caso paso a paso, capa por capa (como si revisara las pistas en cada habitación de la casa del crimen).

  1. Revisión Capa por Capa (Layer-wise): En lugar de saltar al final, el detective entra en la primera habitación (la primera capa de la IA) y ve qué pistas recogió. Luego va a la segunda, la tercera, y así sucesivamente. Ve cómo una pista simple (una palabra) se transforma en una idea compleja a medida que avanza por la casa.
  2. No solo miras, sino que sientes (Gradientes Integrados): El detective no solo "mira" qué palabras se usaron. Calcula matemáticamente: "Si quitara esta palabra, ¿cambiaría la decisión del caso?". Esto le da una medida real de la importancia, no solo una suposición.
  3. Entendiendo la conversación (Conciencia del Contexto): Aquí está la magia. El detective entiende que la palabra "no" cambia todo el significado de la frase siguiente. CA-LIG conecta las pistas de una habitación con las de la siguiente. Si la palabra "no" en la capa 3 hace que la palabra "bueno" en la capa 5 se vuelva negativa, el detective lo registra.
  4. El Mapa de Evidencia (Fusión): Al final, el detective entrega un mapa de colores.
     • Verde brillante: "¡Esta palabra fue clave para decir 'SÍ'!" (Evidencia de apoyo).
     • Rojo brillante: "¡Esta palabra fue clave para decir 'NO'!" (Evidencia opuesta).
     • Blanco: "Esta palabra no importó mucho".

¿Por qué es mejor que lo anterior?

En el papel, los autores probaron esta herramienta en muchos escenarios:

• Análisis de sentimientos: En reseñas de películas (IMDB), CA-LIG no solo señala la palabra "genial", sino que entiende que "absolutamente genial" es mucho más fuerte que solo "genial".
• Detección de odio en lenguas ricas: Funcionó bien incluso en idiomas como el amárico (de Etiopía), donde las palabras cambian mucho de forma.
• Imágenes: ¡Sí! También lo probaron con fotos (gatos vs. perros). Mientras otros métodos señalaban el fondo o el suelo, CA-LIG señalaba exactamente las orejas, los ojos y la nariz del animal. Entendió que el contexto (la forma del cuerpo) es lo que define al gato, no solo un parche de color.

En resumen

Piensa en CA-LIG como un traductor de alta tecnología que no solo te dice qué dijo la IA, sino que te explica cómo pensó.

• Los métodos antiguos eran como leer solo el último párrafo de un libro para entender la historia.
• CA-LIG te permite leer todo el libro, capítulo por capítulo, entendiendo cómo cada personaje (cada palabra o píxel) influye en la trama final, y te dice exactamente qué partes de la historia empujaron la historia hacia un final feliz (verde) o hacia un final triste (rojo).

Gracias a esta herramienta, podemos confiar más en la IA porque ahora podemos ver el "cerebro" trabajando en tiempo real, capa por capa, en lugar de tratarlo como una caja negra mágica.

Resumen técnico

Resumen Técnico: CA-LIG para la Explicabilidad de Modelos Transformer

1. Planteamiento del Problema

Aunque los modelos basados en Transformers (como BERT, GPT, T5) han logrado un rendimiento de vanguardia en diversas tareas de Procesamiento del Lenguaje Natural (PLN) y visión por computadora, su naturaleza profundamente jerárquica y no lineal los hace "cajas negras" difíciles de interpretar.

El artículo identifica tres limitaciones fundamentales en los métodos de Inteligencia Artificial Explicable (XAI) existentes:

1. Sesgo hacia la capa final: La mayoría de los métodos generan explicaciones solo en la capa de salida, ignorando cómo la información semántica y contextual evoluciona a través de las capas intermedias del modelo.
2. Falta de unificación local-global: Los métodos actuales suelen capturar o bien la relevancia local de los tokens (basados en gradientes) o las interacciones globales (basados en atención), pero rara vez integran ambas perspectivas en una representación coherente.
3. Insuficiente conciencia del contexto: Los métodos existentes a menudo fallan al tener en cuenta las dependencias entre tokens, las conexiones residuales, las transformaciones de las redes feedforward y el flujo de información entre capas, elementos centrales de la arquitectura Transformer.

Además, se destaca que los pesos de atención crudos no son explicaciones fiables por sí solos, ya que no siempre reflejan el razonamiento real del modelo.

2. Metodología: Marco CA-LIG

Para abordar estas limitaciones, los autores proponen el marco CA-LIG (Context-Aware Layer-Wise Integrated Gradients). Este es un marco unificado y jerárquico que calcula atribuciones a nivel de capa y las fusiona con gradientes de atención específicos de la clase.

El proceso consta de cuatro etapas principales:

• A. Gradientes Integrados por Capa (Layer-wise Integrated Gradients - LIG):
  En lugar de calcular la importancia de los tokens solo en la capa final, CA-LIG extiende el método de Gradientes Integrados (IG) a cada bloque Transformer.

  • Se define una línea base (representación neutral) y se interpola la representación oculta real a lo largo de $m$ pasos.
  • Se calculan los gradientes de la puntuación de la clase objetivo con respecto a cada estado oculto interpolado.
  • Se agregan estos gradientes para obtener puntuaciones de relevancia por token en cada capa, preservando la propiedad de completitud (la suma de las atribuciones iguala la diferencia de salida entre la entrada y la base).

• B. Gradientes de Atención Específicos de la Clase:
  Se calcula el gradiente de la puntuación de salida ($y_c$) con respecto a la matriz de atención ($A$) de cada bloque. Esto captura cómo los cambios en las conexiones de atención entre tokens influyen en la predicción, revelando dependencias estructurales y no solo la importancia aislada de los tokens.

• C. Fusión Consciente del Contexto:
  Se fusionan las puntuaciones de relevancia de los tokens (de LIG) con los gradientes de atención.

  • Se utiliza una normalización simétrica Min-Max para las puntuaciones de relevancia.
  • Se aplica un producto elemento a elemento (Hadamard) ponderado por un coeficiente ajustable $\lambda \in [0, 1]$. Esto permite equilibrar la sensibilidad de los pesos de atención con la relevancia del nivel de entrada.
  • La fórmula resultante actúa como un mecanismo de "sensibilidad gateada" que enriquece la atribución con interacciones contextuales.

• D. Agregación y Despliegue (Rollout):
  Para obtener un mapa de atribución unificado, se multiplican recursivamente las matrices de atención ponderadas por relevancia a través de todos los bloques del Transformer.

  • Esto traza el flujo de información desde la entrada hasta las capas profundas.
  • El resultado final es un mapa de atribución firmado (positivo/negativo) que distingue entre evidencia de apoyo y evidencia opuesta, conservando la relevancia a través de las capas.

3. Contribuciones Clave

• Marco Jerárquico Unificado: Propone el primer marco que rastrea la evolución de la relevancia de los tokens a través de todas las capas del Transformer, no solo en la salida.
• Mecanismo de Fusión Gradiente-Atracción: Diseña una integración que combina gradientes por capa con estructuras de gradientes de atención, conectando la relevancia local de los tokens con patrones de interacción global.
• Conservación de Relevancia Contextual: Enforce la normalización y la conservación de la relevancia en las vías de atención multi-cabeza, mejorando la interpretabilidad en arquitecturas complejas.
• Evaluación Exhaustiva: Validación empírica en múltiples dominios (PLN y Visión), tareas (análisis de sentimientos, detección de discurso de odio, clasificación de documentos largos) y modelos (BERT, XLM-R, AfroLM, MAE Vision Transformer).

4. Resultados Experimentales

Los autores evaluaron CA-LIG frente a métodos baselines como Integrated Gradients (IG), Layer-wise Relevance Propagation (LRP), Attention Rollout y Attention Last.

• Evaluación Cualitativa:

  • En tareas de texto (ej. IMDB, 20 Newsgroups), CA-LIG produce mapas de calor más nítidos y semánticamente coherentes. Identifica correctamente pares de conceptos y dependencias de largo alcance (ej. vincular "evidence" con "bible" en un contexto religioso) que otros métodos pierden.
  • Evita la dominancia de tokens especiales (como el token [CLS]), redistribuyendo la relevancia a los tokens contextuales interactivos.
  • En tareas de visión (MAE en CIFAR-10), CA-LIG se enfoca en regiones semánticamente significativas (ojos, nariz, orejas) en lugar de ruido de fondo o píxeles dispersos, superando a Grad-CAM y LRP.

• Evaluación Cuantitativa:

  • Token-F1: En la tarea de razonamiento de reseñas de películas (IMDB), CA-LIG superó consistentemente a los métodos baselines, logrando una mayor superposición con las racionales anotadas por humanos.
  • Perturbación (AUC): En visión, CA-LIG mostró una mayor fidelidad: al insertar parches importantes, la confianza del modelo aumentó más rápido, y al eliminarlos, disminuyó más rápido que con otros métodos.

• Análisis de Sensibilidad por Capa:
  Un estudio de caso demostró que CA-LIG captura la progresión jerárquica del razonamiento:

  • Capas tempranas (1-4): Capturan características sintácticas superficiales.
  • Capas medias (5-8): Refinan el significado semántico y las dependencias contextuales.
  • Capas profundas (9-12): Consolidan la evidencia para la toma de decisiones.
    CA-LIG refleja estos cambios de representación, mientras que los métodos basados solo en la capa final no.

5. Significado e Impacto

El marco CA-LIG representa un avance significativo en la interpretabilidad de modelos profundos al:

1. Superar la opacidad de las capas intermedias: Permite a los investigadores y practicantes entender cómo se construye una decisión a medida que la información fluye a través de la red, no solo el resultado final.
2. Unificar perspectivas: Integra la fuerza de los métodos basados en gradientes (fiabilidad teórica) con la estructura de los métodos basados en atención (dependencias contextuales), creando explicaciones que son tanto fieles como estructuralmente coherentes.
3. Generalización: Demuestra que la "conciencia del contexto" es un requisito universal para la explicabilidad, aplicable tanto al lenguaje natural como a la visión por computadora.

En conclusión, CA-LIG proporciona explicaciones más fiables, coherentes y alineadas con el razonamiento humano, avanzando hacia la construcción de modelos Transformer transparentes y confiables. El código del proyecto será público tras la aceptación del artículo.