Evaluation Framework for Highlight Explanations of Context Utilisation in Language Models

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más en aplicaciones que requieren la integración de contexto externo (Conocimiento Contextual, CK) con conocimiento paramétrico interno (PK), como en la Generación Aumentada por Recuperación (RAG) y la verificación de hechos. Sin embargo, existe una brecha crítica de transparencia:

• Opacidad: Los usuarios no pueden determinar si la salida de un modelo depende del contexto proporcionado o de sus datos de entrenamiento internos.
• Falta de Verdad Terrenal: Los métodos existentes para evaluar las "Explicaciones de Resaltado" (HE), que señalan tokens de entrada específicos responsables de una salida, dependen de métricas de fidelidad (por ejemplo, Comprehensiveness y Sufficiency). Estas métricas utilizan proxies de perturbación (enmascaramiento/eliminación de tokens) que crean artefactos fuera de distribución y carecen de un estándar de oro (verdad terrenal) para verificar si la explicación refleja realmente la fuente de información del modelo.
• La Brecha: No existe un marco para evaluar si las HE identifican con precisión qué piezas o tokens específicos del contexto influyeron en la decisión del modelo, particularmente cuando el contexto contradice la memoria paramétrica del modelo.

2. Metodología

Los autores proponen el primer marco de evaluación de estándar de oro para la atribución de contexto, utilizando casos de prueba controlados donde el uso del contexto de verdad terrenal está predeterminado.

A. Regímenes de Entrada Controlada

El marco construye cuatro escenarios específicos para probar diferentes aspectos de la utilización del contexto, asegurando que el modelo debe usar el contexto (haciendo que la respuesta del contexto contradiga el conocimiento paramétrico del modelo):

1. Conflicto (Único): Un pasaje de contexto contradice el PK del modelo.
2. Irrelevante (Único): Un pasaje de contexto es irrelevante pero contiene un token de respuesta distractora (incorrecta).
3. Doble Conflicto (Dual): Dos pasajes de contexto contradicen ambos el PK.
4. Mixto (Dual): Un pasaje irrelevante y un pasaje conflictivo.

• Nota: Los autores también crean versiones de "Intercambio" de configuraciones de doble contexto para probar el sesgo posicional.

B. Métricas de Evaluación

El marco evalúa las HE a través de tres ejes alineados con tres Preguntas de Investigación (RQ):

1. Precisión de Atribución a Nivel de Documento (RQ1 & RQ2):
   • $\Delta$Rank@k: Mide el margen de rango de los tokens del documento "usado" frente al documento "no usado" (o contexto frente a memoria). Un margen positivo indica que la HE prioriza correctamente la fuente relevante.
   • Simulabilidad: Utiliza Información Mutua Normalizada (NMutInf) y Longitud Mínima de Descripción (MDL-Bits) para determinar si los tokens resaltados superiores-$k$ pueden predecir la elección de fuente del modelo (CK vs. PK, o Pasaje 1 vs. Pasaje 2).
2. Precisión de Atribución a Nivel de Token (RQ3):
   • Rank Recíproco Medio (MRR): Evalúa qué tan alto clasifica la HE el token (o tokens) exacto de la respuesta de verdad terrenal encontrado en el contexto.

C. Métodos Evaluados

El marco prueba cuatro técnicas de HE:

1. Ablación de Características (FA): Enmascara tokens para medir el impacto en la probabilidad de la respuesta.
2. Gradientes Integrados (IG): Utiliza magnitudes de gradiente a lo largo de un camino desde una línea base hasta la entrada.
3. Visualización de Atención (ATTN): Utiliza pesos de atención de la cabeza de atención más influyente.
4. MechLight (Novel): Un enfoque de interpretabilidad mecánica. Identifica la cabeza de atención específica que impulsa más fuertemente la diferencia de logit entre respuestas competitivas (por ejemplo, CK vs. PK) y proyecta los pesos de atención de esa cabeza sobre los tokens de entrada como la explicación.

D. Configuración Experimental

• Conjuntos de Datos: FAKEPEDIA, WORLDCAPITAL, COUNTERFACT y CONFLICTQA.
• Modelos: Cinco LLM que van desde 1.5B hasta 7B parámetros (GPT2-XL, Pythia-2.8B/6.9B, Qwen2.5-3B/7B).

3. Contribuciones Clave

1. Marco de Estándar de Oro: Se introduce el primer punto de referencia de evaluación para HE en la utilización de contexto que depende del uso de contexto de verdad terrenal en lugar de proxies de perturbación indirectos.
2. Método MechLight: Se propone un nuevo método de interpretabilidad mecánica ligero que convierte señales internas del modelo (cabezas de atención que impulsan brechas de logit) en explicaciones de resaltado a nivel de token.
3. Evaluación Comparativa Exhaustiva: Se evaluaron métodos establecidos (FA, IG, ATTN) y el nuevo método MechLight a través de diversos modelos, conjuntos de datos y escenarios de contexto (único/dual, conflictivo/irrelevante).
4. Liberación Pública: Se liberaron el código y el conjunto de datos reconstruido para facilitar la investigación futura.

4. Resultados

Comparación de Rendimiento

• Mejor Desempeño: MechLight superó consistentemente a todos los demás métodos en todos los escenarios, conjuntos de datos y modelos. Mostró la mayor precisión al distinguir entre el uso de CK y PK e identificar el documento correcto en configuraciones de doble contexto.
• Segundo Mejor: Ablación de Características (FA) mostró potencial pero exhibió una alta varianza e inestabilidad, particularmente en escenarios de contexto largo.
• Rendimiento Deficiente: Gradientes Integrados (IG) y Visualización de Atención (ATTN) rindieron mal, a menudo produciendo márgenes cercanos a cero o valores negativos. Sorprendentemente, a pesar de obtener buenas puntuaciones en métricas de fidelidad tradicionales, ofrecieron poco valor para revelar patrones reales de uso del contexto.

Fallos Sistemáticos y Limitaciones

1. Sensibilidad a la Longitud del Contexto: La precisión de la explicación se degrada significativamente a medida que aumenta la longitud del contexto. Todos los métodos luchan para identificar el token de respuesta correcto en contextos largos (por ejemplo, CONFLICTQA).
2. Sesgo Posicional: En configuraciones de doble documento, todos los métodos exhibieron fuertes sesgos posicionales:
   • FA e IG tendían a favorecer pasajes posteriores (sesgo de recencia).
   • ATTN y MechLight tendían a favorecer pasajes anteriores (sesgo de primacía).
   • Este sesgo persistió incluso cuando se intercambió el orden de los documentos, lo que sugiere que es un artefacto del método o de la arquitectura del modelo en lugar de la relevancia del contenido.
3. Errores de Localización de Tokens: Los estudios de casos cualitativos revelaron que incluso cuando los modelos copian respuestas del contexto, las HE a menudo resaltan:
   • Tokens genéricos (palabras vacías, puntuación).
   • Descriptores o entidades cercanas adyacentes a la respuesta.
   • La propia frase de la pregunta (por ejemplo, "Qué", "Quién").

5. Significado

• Desafía las Prácticas Actuales: Los hallazgos desafían la utilidad de los métodos basados en gradientes (IG) y basados en atención (ATTN) ampliamente utilizados para aplicaciones de RAG y verificación de hechos, sugiriendo que pueden ser engañosos en cuanto a la atribución de fuentes.
• Fundamento para el Desarrollo Futuro: El marco proporciona una base rigurosa basada en verdad terrenal para desarrollar la próxima generación de métodos de atribución de contexto que deben superar la sensibilidad a la longitud y el sesgo posicional.
• Validación de la Interpretabilidad Mecánica: El éxito de MechLight destaca el potencial de la interpretabilidad mecánica (analizar componentes internos del modelo) sobre los métodos estándar de perturbación post-hoc para comprender el comportamiento del modelo en escenarios de recuperación complejos.

En conclusión, el artículo establece que, si bien los métodos actuales de HE ofrecen cierta perspectiva, son actualmente insuficientes para la atribución de contexto confiable en aplicaciones del mundo real con contextos largos. El marco propuesto y el método MechLight ofrecen un camino a seguir para construir sistemas LLM más transparentes y confiables.