Resumen Técnico: Evaluación de la Fidelidad para Atribuciones de LLMs Solo Decodificador con Información Retenida Controlada

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLMs), particularmente las arquitecturas solo decodificador como Llama y Mistral, se evalúan cada vez más mediante métodos de atribución de entrada para explicar sus procesos de toma de decisiones. Sin embargo, comparar la "fidelidad" (confiabilidad) de estas explicaciones sigue siendo un desafío.

Las métricas existentes de fidelidad por perturbación suave, específicamente Soft-NC (Comprehensiveness Suave Normalizada) y Soft-NS (Suficiencia Suave Normalizada), adolecen de un sesgo crítico. Estas métricas evalúan la calidad de la atribución perturbando las entradas basándose en las puntuaciones de atribución. Sin embargo, diferentes métodos de atribución a menudo producen distribuciones de puntuaciones con medias diferentes. En consecuencia, los métodos con puntuaciones promedio más altas retienen más palabras durante la perturbación suave, inflando artificialmente sus puntuaciones de fidelidad simplemente porque la entrada perturbada contiene más información, y no porque la atribución sea más precisa. Este problema es particularmente pronunciado en los LLMs autoregresivos solo decodificador, donde las distribuciones de puntuaciones de atribución pueden variar significativamente entre los pasos de generación.

Metodología

1. $\pi$-Soft-NC y $\pi$-Soft-NS

Para abordar el sesgo en las métricas existentes, los autores proponen $\pi$-Soft-NC y $\pi$-Soft-NS. Estos son marcos de evaluación que comparan métodos de atribución bajo una probabilidad objetivo de retención controlada ($\pi$).

• Mecanismo: En lugar de comparar puntuaciones de atribución crudas, el marco transforma cada distribución de atribución utilizando una transformación alfa ($\tilde{s}_i = s_i^\alpha$). El parámetro $\alpha$ se resuelve numéricamente (por ejemplo, mediante búsqueda de dicotomía) de modo que la probabilidad de retención esperada de las puntuaciones transformadas coincida con un objetivo específico $\pi \in [0, 1]$.
• Comparación Justa: Al obligar a diferentes métodos a retener la misma cantidad esperada de información (mismo $\pi$), la evaluación aísla la calidad y la calibración de la distribución de atribución de las diferencias en la fuerza de la perturbación.
• Protocolos de Evaluación: Los autores introducen dos protocolos para evaluar diferentes aspectos de la atribución:
  • Enrutamiento Dinámico: La atención del transformador se vuelve a calcular dinámicamente basándose en la entrada perturbada. Esto mide cómo las atribuciones identifican palabras útiles bajo condiciones cambiantes del modelo.
  • Enrutamiento Fijo: Los mapas de atención se almacenan en caché desde la entrada original no perturbada y se reutilizan durante la perturbación. Esto aísla la contribución causal del contenido del token de la reasignación de la atención.
• Visualización: Barrer $\pi$ de 0 a 1 genera una curva ($\pi$-Soft-NC/NS vs. $\pi$). El Área Bajo la Curva (AUC) resume el rendimiento. Puntuaciones altas en $\pi$ bajo indican evidencia suficiente compacta, mientras que un rendimiento fuerte en $\pi$ alto indica una amplitud de comprensión amplia.

2. Grad-ELLM

Los autores introducen Grad-ELLM, un método de atribución basado en gradientes diseñado específicamente para LLMs autoregresivos solo decodificador.

• Inspiración: Adapta el concepto de agregación de gradiente-atención de Grad-ECLIP (diseñado para modelos de visión-lingüística con codificadores duales) a la generación secuencial de texto.
• Mecanismo:
  • Para cada paso de decodificación, calcula la atribución con respecto al logit del siguiente token.
  • Combina la importancia del canal derivada del gradiente (sensibilidad del logit a los canales de salida de la atención) con la importancia del token derivada de la atención (pesos de los tokens).
  • Para evitar pesos softmax excesivamente dispersos y "puntiagudos", emplea una normalización "relajada" (normalización min-max) sobre las similitudes consulta-clave, resultando en una distribución de atribución continua.
  • Las puntuaciones de atribución se agregan a través de las capas seleccionadas del decodificador para formar el mapa de calor final.

Contribuciones Clave

1. Identificación del Sesgo: El artículo identifica que las métricas Soft-NC/NS existentes comparan injustamente métodos con diferentes medias de puntuación, ya que evalúan inherentemente diferentes cantidades de información retenida.
2. Nuevas Métricas de Evaluación: La propuesta de $\pi$-Soft-NC y $\pi$-Soft-NS, que normalizan las comparaciones controlando la información retenida esperada mediante una probabilidad objetivo $\pi$.
3. Nuevo Método de Atribución: La introducción de Grad-ELLM, que integra señales de gradiente y atención específicamente para la naturaleza secuencial de los LLMs solo decodificador.
4. Análisis Empírico Exhaustivo: Una comparación rigurosa de métodos de atribución representativos (incluyendo Atención, Saliencia, Gradientes Integrados, DeepLIFT, Cero de Valor y ReAGent) en tareas de clasificación y generación abierta.

Resultados Experimentales

Los experimentos se realizaron en Llama-3.1-8B y Mistral-7B (con resultados adicionales en 70B) en cinco conjuntos de datos (IMDb, SST2, BoolQ, TellMeWhy, WikiBio).

• Diagnóstico de las Métricas Originales: El análisis de Soft-NC/NS crudos confirmó el sesgo; métodos como Random y Grad-ELLM retuvieron significativamente más tokens (mayor $\pi$) que métodos dispersos como DeepLIFT, lo que llevó a puntuaciones incomparables.
• Rendimiento bajo $\pi$-Soft-NC: Grad-ELLM logró la fidelidad orientada a la comprensión más fuerte (AUC promedio más alto) tanto en Llama como en Mistral. Esto sugiere que Grad-ELLM identifica efectivamente una cobertura amplia de evidencia.
• Rendimiento bajo $\pi$-Soft-NS: Ningún método único dominó la evaluación orientada a la suficiencia ($\pi$-Soft-NS). Métodos dispersos como Input$\times$Gradient funcionaron bien en el top-3, lo que indica que pueden identificar con mayor precisión las palabras más críticas, pero ningún método fue universalmente superior.
• Comparación con Random: La mayoría de los métodos solo mostraron una ventaja sobre las atribuciones aleatorias cuando la probabilidad de retención $\pi > 0.5$. Esto sugiere que para estas tareas se requiere información contextual significativa (más que solo los tokens mejor clasificados), o que los métodos actuales luchan con el ordenamiento preciso de las atribuciones principales.
• Análisis Cualitativo: En ejemplos de clasificación de sentimientos, Grad-ELLM destacó con éxito frases composicionales (por ejemplo, "muy poco positivo") en lugar de tokens aislados (por ejemplo, "positivo"), capturando mejor la sutileza de la negación que las líneas base.

Significado y Afirmaciones

El artículo afirma que su marco de evaluación propuesto proporciona un estándar riguroso para comparar métodos de XAI para LLMs. Al controlar la información retenida, $\pi$-Soft-NC/NS permite a los investigadores distinguir entre métodos que ofrecen evidencia suficiente compacta y aquellos que proporcionan evidencia amplia orientada a la comprensión.

Los autores enfatizan que Grad-ELLM está diseñado para producir distribuciones de atribución densas y calibradas en lugar de clasificaciones extremadamente dispersas. En consecuencia, aunque Grad-ELLM destaca bajo las métricas de perturbación suave propuestas, puede no ser óptimo para métricas de clasificación de perturbación dura (como Inserción/Borrado) donde el ordenamiento de unos pocos tokens principales domina. El artículo concluye que la atribución fiel debe evaluarse a lo largo de múltiples ejes (suficiencia vs. comprensión) en lugar de depender de una sola métrica, y que las métricas propuestas apoyan el progreso en la comprensión de cómo se organiza la evidencia de atribución en modelos autoregresivos.

Limitaciones reconocidas por los autores:

• Grad-ELLM requiere acceso a estados internos del modelo (gradientes, atención), lo que lo limita a modelos de código abierto.
• El estudio se centra en la fidelidad, no en la plausibilidad (interpretabilidad humana), lo cual sigue siendo difícil de cuantificar objetivamente.
• Las métricas aún dependen de perturbaciones a nivel de incrustación (embedding), que pueden no alinearse perfectamente con las distribuciones de texto natural.