💬 NLP

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

Este estudio evalúa la utilidad y las limitaciones de la atribución contrastiva basada en LRP como herramienta de interpretabilidad para analizar fallos de modelos de lenguaje grandes en escenarios realistas y benchmarks de larga duración, demostrando que, aunque proporciona señales informativas en algunos casos, no es universalmente aplicable.

Autores originales: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Publicado 2026-04-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Lenguaje Grande (como los que usan en ChatGPT) son como genios muy inteligentes pero un poco distraídos que viven dentro de una computadora. A veces, cuando les pides que resuelvan un problema, dicen algo incorrecto.

El problema es que, hasta ahora, los investigadores solo miraban qué decían mal (la respuesta final), pero no entendían por qué su cerebro de computadora tomó esa decisión equivocada. Era como ver que un coche se salió de la carretera, pero no saber si fue por un neumático pinchado, un conductor cansado o un mapa mal dibujado.

Esta paper (artículo científico) presenta una nueva herramienta para "abrir el capó" y ver exactamente qué pasó en el interior del cerebro del modelo. Aquí te lo explico con analogías sencillas:

1. El Problema: "El Detective Ciego"

Antes, los investigadores eran como detectives que solo veían el cadáver (el error) pero no podían ver la escena del crimen. Sabían que el modelo fallaba en exámenes de matemáticas o en seguir instrucciones, pero no sabían si fue por falta de atención, por leer mal una palabra o por un "prejuicio" interno.

2. La Solución: "La Lupa de Contraste" (Contrastive Attribution)

Los autores crearon una lupa especial llamada Atribución Contrastiva. Imagina que el modelo está eligiendo entre dos caminos:

Camino A (El error): El modelo elige decir "La capital de Francia es Lyon".
Camino B (Lo correcto): El modelo podría haber dicho "La capital de Francia es París".

En lugar de solo mirar el Camino A, esta lupa compara ambos caminos simultáneamente. Pregunta: "¿Qué palabras del texto original empujaron al modelo hacia Lyon en lugar de París?".

3. La Herramienta: "El Mapa de Calor y los Trazos de Energía"

Para hacer esto, usan una técnica llamada LRP (Propagación de Relevancia por Capas). Imagina que el modelo es un edificio de 30 pisos (capas).

El Mapa de Calor: Es como una foto térmica del texto de entrada. Muestra qué palabras están "calientes" (muy importantes) y cuáles están "frías" (irrelevantes) para la decisión final.
- Ejemplo: Si el modelo ignora la palabra "no" en una instrucción, el mapa de calor mostraría que esa palabra estaba fría, aunque debería haber estado hirviendo.
Los Trazos de Energía (Gráficos de Atribución): Como el texto puede ser muy largo (como un libro entero), calcular esto es difícil. Los autores inventaron un truco inteligente (como empaquetar varios paquetes en un solo camión) para ver cómo la "energía" o la importancia viaja desde la primera palabra hasta la última capa del modelo. Es como ver un río de luz que viaja por tuberías; a veces el río se desvía hacia un tubo equivocado.

4. Lo que Descubrieron: "Los Tres Ladrones"

Al usar esta lupa en cientos de errores reales, encontraron tres patrones principales de por qué fallan:

El "Ignorante" (Underweighting Relevant Tokens): El modelo ve una palabra clave (como "sin comas") pero la ignora. Es como si un chef leyera "sin sal" en la receta y, aun así, le echara sal.
El "Distraído" (Overweighting Irrelevant Tokens): El modelo se obsesiona con una palabra que no importa (como un nombre propio o un símbolo) y la usa como excusa para equivocarse. Es como si un conductor se fijara tanto en un cartel de "Café" que se saliera de la carretera.
El "Prejuicio Interno": A veces, el modelo tiene una "adicción" interna a ciertas palabras (como empezar siempre con "Primero...") que es tan fuerte que ignora todo lo que le dijiste en el texto.

5. ¿Funciona con modelos más grandes? (La Escalada)

Probaron esto con modelos pequeños (como un niño de 6 años) y modelos grandes (como un adulto de 4 años).

Resultado: Los modelos grandes suelen corregir los errores de los pequeños.
La magia: La lupa mostró que los modelos grandes no solo "memorizan" la respuesta correcta. ¡Cambian su forma de pensar! Empiezan a prestar atención a las instrucciones importantes (el "mapa de calor" se vuelve más brillante en las palabras correctas) y dejan de distraerse con el ruido.

6. ¿Por qué es importante esto?

Esta investigación es como un manual de reparación para la inteligencia artificial.

Para los creadores: Les dice exactamente dónde arreglar el modelo (¿es en la capa 10? ¿es en la palabra "no"?).
Para los usuarios: Nos ayuda a entender que cuando la IA falla, a veces es porque no "escuchó" bien, no porque sea tonta.
Limitación: A veces, en problemas de matemáticas muy complejos, la lupa no es suficiente y necesitamos una lupa aún más potente (nivel de neuronas individuales), pero este es un gran primer paso.

En resumen:
Los autores crearon una lupa mágica que nos permite ver el "pensamiento" de la IA en tiempo real mientras falla. Nos dice si el modelo falló por distracción, por ignorar reglas o por un sesgo interno, y nos ayuda a construir modelos más inteligentes y confiables en el futuro. ¡Es como pasar de adivinar por qué se rompió el coche a ver el video de la cámara de seguridad del motor!

1. El Problema

A pesar de los avances significativos en los Modelos de Lenguaje Grandes (LLM), su despliegue en escenarios del mundo real sigue revelando una amplia gama de fallos. El análisis de estos fallos se ha basado tradicionalmente en el análisis conductual (observar entradas, salidas y respuestas a perturbaciones), lo cual es efectivo para identificar qué falla, pero no explica por qué ocurre a nivel interno.

Existe una brecha crítica en la interpretabilidad: las herramientas existentes se han aplicado principalmente a entornos simplificados ("toy settings"), prompts cortos o plantillas altamente restringidas. Su aplicación a fallos realistas en benchmarks estándar (como GAIA2, MATH, IFEval) es escasa debido a:

La naturaleza abierta de los fallos.
Los contextos de entrada largos (miles de tokens) que exceden los límites computacionales de muchas herramientas de interpretabilidad actuales.
La falta de comprensión sobre la utilidad práctica de estos métodos en escenarios complejos.

2. Metodología

Los autores proponen un marco para analizar fallos mediante Atribución Contrastiva basada en la Propagación de Relevancia por Capas (LRP - Layer-wise Relevance Propagation).

A. Formulación del Problema

El análisis de fallos se formula como un problema de explicar por qué un modelo prefiere un token de salida incorrecto ( $t_{tgt}$ ) sobre una alternativa correcta ( $t_{con}$ ).

Se define la diferencia de logits contrastiva: $\Delta \ell = \ell(t_{tgt}) - \ell(t_{con})$ .
El objetivo es atribuir esta diferencia a los tokens de entrada y a los estados internos del modelo a través de las capas.

B. Método Base: AttnLRP

Se utiliza AttnLRP (Attention-aware Layer-wise Relevance Propagation), una variante de LRP que ha demostrado ser superior en fidelidad para modelos transformadores. Este método descompone la diferencia de logits en contribuciones de los embeddings de entrada y los estados ocultos intermedios, generando un Grafo de Atribución donde los nodos son relevancias y las aristas representan el flujo de relevancia entre capas.

C. Innovación: Construcción Eficiente de Grafos

Para manejar contextos largos y múltiples objetivos de atribución sin un costo computacional prohibitivo, los autores introducen una extensión eficiente:

Backpropagation Multi-Objetivo Empaquetado (Batch-Packed): En lugar de realizar una pasada hacia atrás por cada token objetivo (lo cual sería $O(n)$ ), utilizan la dimensión de batch para empaquetar múltiples objetivos en una sola pasada hacia atrás. Esto aprovecha la vectorización de GPU para recuperar el flujo de relevancia entre capas de manera escalable.
Estrategia de "Coarse-to-Fine" (De grueso a fino): Primero se construyen grafos a nivel de estado oculto agregado para identificar subgrafos importantes. Luego, opcionalmente, se refina la atribución a nivel de neurona dentro de esos subgrafos seleccionados, evitando la construcción de grafos neuronales completos para contextos largos que serían inviables.

D. Configuración Experimental

Benchmarks: IFEval (seguimiento de instrucciones), GAIA2 (tareas agénticas de largo contexto), MATH (razonamiento matemático) y EvalPlus (generación de código).
Modelos: Serie Qwen3 (0.6B, 1.7B, 4B, 8B) y Olmo-3-7B-Think para estudiar la evolución durante el entrenamiento.
Proceso de Fallos: Se identifican pares de tokens contrastivos (incorrecto vs. correcto) mediante un pipeline semi-automatizado con validación humana, asegurando que la sustitución del token incorrecto por el contraste recupere la trayectoria correcta.

3. Contribuciones Clave

Formulación de Atribución Contrastiva a Nivel de Token: Adaptan métodos de interpretabilidad para analizar fallos en configuraciones realistas y de largo contexto, superando las limitaciones de estudios previos en entornos sintéticos.
Método Escalable: Introducen una técnica de backpropagation empaquetada que permite construir grafos de atribución cruzados entre capas para entradas largas, haciendo viable el análisis a gran escala.
Estudio Empírico Sistemático: Realizan un análisis exhaustivo de cientos de casos de fallo, caracterizando patrones de atribución a través de diferentes conjuntos de datos, tamaños de modelo y puntos de control de entrenamiento (checkpoints).

4. Resultados Principales

A. Patrones de Fallo Detectables

El análisis de atribución revela que, en muchos casos, los fallos se deben a:

Subpeso en Tokens Relevantes (URT): El modelo asigna poca relevancia a tokens críticos de la instrucción o contexto.
Sobrepeso en Tokens Irrelevantes (OIT): El modelo otorga demasiada importancia a tokens semánticamente inútiles o distractores.
Limitaciones: En el conjunto de datos MATH, una fracción significativa de fallos no se explica ni siquiera con grafos de atribución, sugiriendo que los errores de razonamiento numérico requieren un análisis a nivel de neurona más fino que el actual análisis de estado agregado.

B. Efectos de la Escalabilidad (Model Scaling)

Al comparar modelos pequeños (0.6B) con modelos más grandes (1.7B, 4B):

Los modelos más grandes corrigen consistentemente las preferencias de tokens incorrectos de los modelos pequeños.
Evidencia Interpretativa: Esta corrección no es aleatoria; se acompaña de cambios sistemáticos en los patrones de atribución. Los modelos más grandes muestran una relevancia negativa más fuerte en los segmentos de instrucción y consulta, indicando una mayor atención a los requisitos de la tarea y menos dependencia de la continuación superficial de tokens anteriores.

C. Evolución durante el Entrenamiento

Al analizar checkpoints de entrenamiento (SFT, DPO, RLVR):

Las correcciones de fallos ocurren principalmente durante las fases tempranas y medias del Supervised Fine-Tuning (SFT), donde el modelo aprende a ignorar la continuación superficial y a prestar atención a la semántica de la tarea.
La fase de RLVR (Reinforcement Learning with Verifiable Rewards) aporta cambios más modestos en la atribución para tareas de seguimiento de instrucciones.
Se identifican capas críticas: Las transiciones de atribución decisivas (donde se resuelve el compromiso entre sesgo y contexto) ocurren consistentemente en las últimas 6-8 capas del modelo.

5. Significado e Implicaciones

Valor Diagnóstico Práctico: La atribución contrastiva no es solo teórica; ofrece señales accionables. Por ejemplo, se demostró que enmascarar solo ~2 tokens con mayor atribución puede revertir la predicción errónea, lo que sugiere estrategias de prompt tuning dirigidas.
Validación del Escalamiento: Proporciona evidencia mecanística de que escalar el tamaño del modelo mejora el razonamiento real (cambiando cómo se ponderan los tokens) y no solo explota señales espurias.
Monitorización de Entrenamiento: Los patrones de atribución pueden servir como herramienta de diagnóstico para monitorear si un modelo está aprendiendo a corregir fallos de manera genuina durante el entrenamiento.
Límites y Futuro: El estudio aclara que, aunque útil, la atribución a nivel de token no es universalmente aplicable (especialmente en matemáticas complejas). El trabajo futuro debe dirigirse hacia atribuciones contrastivas a nivel de frase o paso para capturar fallos acumulativos en cadenas de razonamiento.

En resumen, el artículo demuestra que la interpretabilidad basada en LRP, cuando se adapta para ser escalable y contrastiva, es una herramienta poderosa para desentrañar las causas internas de los fallos de los LLM en escenarios realistas, ofreciendo una visión más profunda que el análisis puramente conductual.