💬 NLP

Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution

Este trabajo revela que los métodos de atribución de características post-hoc presentan sesgos ocultos en el léxico y la posición de los tokens, demostrando una compensación entre ambos tipos de sesgos y proponiendo un marco de evaluación agnóstico para medirlos sistemáticamente.

Autores originales: Jonathan Kamp, Roos Bakker, Dominique Blok

Publicado 2026-02-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jonathan Kamp, Roos Bakker, Dominique Blok

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un oráculo mágico (una Inteligencia Artificial) que adivina cosas, como si un texto es positivo o negativo, o si dos frases están relacionadas. A veces, el oráculo acierta, pero no nos dice por qué.

Para entenderlo, los científicos usan unas "linternas" llamadas métodos de atribución. Estas linternas iluminan las palabras del texto que, según creen, fueron las más importantes para que el oráculo tomara su decisión.

El problema es que, si usas diferentes linternas en el mismo texto, ¡iluminan cosas totalmente distintas! Una linterna dice "¡fue la palabra 'gato'!", y otra dice "¡fue la palabra 'negro'!". Esto confunde a los usuarios: ¿deberían confiar en la linterna? ¿O en el oráculo?

Este paper es como una investigación forense para descubrir qué pasa realmente con esas linternas. Los autores descubrieron que las linternas no son imparciales; tienen sus propios "vicios" o sesgos.

Aquí te explico los hallazgos principales con analogías sencillas:

1. Las dos clases de "vicios" (Sesgos)

Los investigadores descubrieron que las linternas tienen dos tipos de preferencias extrañas:

El vicio de la posición (¿Dónde está?): Algunas linternas son como niños pequeños que solo miran el principio de la historia. Otras son como personas que solo leen el final del libro.
- Ejemplo: Una linterna llamada "Vanilla Gradient" siempre ilumina la primera palabra del texto, sin importar si esa palabra es importante o no. Es como si dijera: "Siempre es la primera, ¡seguro es la clave!".
El vicio léxico (¿Qué palabra es?): Otras linternas tienen un amor especial por ciertas palabras, como los signos de puntuación (puntos y comas) o artículos (el, la), ignorando las palabras con significado real.
- Ejemplo: Una linterna podría decir: "¡El punto final es lo más importante aquí!", cuando en realidad lo importante fue la palabra "explosión".

2. La prueba del "código de barras" (Datos artificiales)

Para ver si las linternas tenían estos vicios, los científicos crearon un experimento ridículo:

Escribieron oraciones que no tenían ningún sentido, solo usando palabras al azar o solo comas y puntos.
Le pidieron al oráculo que adivinara una clase (como "rojo" o "azul") basada en estos textos sin sentido.
El resultado: Como el texto no tenía sentido, el oráculo debería haber adivinado al azar. Pero las linternas siguieron iluminando ciertas posiciones o palabras específicas.
La analogía: Es como si un detective, ante un crimen donde no hay pistas, decidiera que el culpable siempre es "el que está sentado en la silla de la izquierda" o "el que lleva un sombrero rojo". ¡Eso es un vicio de la linterna, no una verdad!

3. ¿Las linternas nuevas son mejores? (BERT vs. ModernBERT)

Los autores probaron dos tipos de oráculos: uno clásico (BERT) y uno más moderno (ModernBERT).

La sorpresa: Pensaríamos que el oráculo moderno tendría linternas más perfectas. ¡Pero no!
Descubrieron un intercambio (trade-off): A veces, una linterna es muy buena en no tener vicios de posición, pero tiene muchos vicios de palabra. Y viceversa.
El oráculo moderno no es necesariamente "más honesto"; solo tiene sus propios tipos de ceguera.

4. La regla de la "oveja negra"

Este es quizás el hallazgo más interesante.

Imagina un grupo de 6 detectives (las 6 linternas) revisando un caso.
Si 5 detectives dicen "El culpable fue Juan" y uno dice "El culpable fue María", ¿a quién crees?
El paper descubre que, a menudo, el detective que da una respuesta diferente (la oveja negra) suele ser el que tiene más vicios y está equivocado.
Si una linterna se sale mucho de la norma de las demás, es muy probable que su explicación sea falsa. La "verdad" suele estar en el consenso del grupo.

5. ¿Funcionan las pruebas de realidad?

Existen métricas (pruebas matemáticas) que dicen si una explicación es "fiable". Los autores probaron estas métricas en sus experimentos ridículos (donde el oráculo no sabía nada).

El fallo: Las métricas tradicionales fallaron. No detectaron que las linternas estaban mintiendo.
Analogía: Es como tener un detector de mentiras que no funciona cuando el mentiroso está contando una historia inventada desde el principio. Nos dicen que necesitamos mejores herramientas para detectar cuándo una explicación es pura invención.

En resumen

Este paper nos dice que las explicaciones de la IA no son espejos perfectos de la realidad. Son productos con sus propios defectos de fábrica.

Si usas una sola linterna, podrías estar viendo solo lo que esa linterna quiere que veas (su vicio).
Si una explicación es muy diferente a las demás, desconfía de ella.
No asumas que la tecnología más nueva es automáticamente más honesta.

La lección final: Cuando alguien te diga "la IA tomó esta decisión porque...", pregunta: "¿Qué linterna usaste? ¿Y qué dicen las otras 5?". La verdad suele estar en el acuerdo de todos, no en la opinión excéntrica de uno solo.

Resumen Técnico: Sesgo de Explicación como Producto

1. El Problema

Las explicaciones de alta calidad son fundamentales para comprender los modelos de lenguaje (LLMs) y sus datos. Los métodos de atribución de características (como Integrated Gradients o Vanilla Gradient) son técnicas post-hoc que intentan identificar qué tokens de entrada contribuyeron más a una predicción.

Sin embargo, existe un problema crítico de inconsistencia: diferentes métodos de atribución a menudo generan explicaciones dispares para la misma entrada y el mismo modelo base. Esta falta de fiabilidad genera dos riesgos:

Los usuarios expertos pueden desconfiar de la utilidad de estas herramientas.
Los usuarios no expertos pueden confiar ciegamente en explicaciones que no reflejan los mecanismos reales de decisión del modelo (explicaciones "infieles").

El artículo identifica que estas inconsistencias no son aleatorias, sino que surgen de sesgos sistemáticos inherentes a los métodos de atribución, específicamente en dos dimensiones:

Sesgo Léxico: Preferencia sistemática por ciertos tipos de palabras o símbolos (ej. puntuación vs. palabras de contenido).
Sesgo Posicional: Preferencia sistemática por tokens en ciertas posiciones dentro de la secuencia de entrada (ej. inicio o final del texto).

2. Metodología

Los autores proponen un marco de evaluación agnóstico al modelo y al método basado en tres métricas cuantitativas para medir estos sesgos. El estudio se divide en dos fases experimentales:

A. Configuración Controlada (Datos Artificiales)

Objetivo: Aislar el sesgo eliminando el ruido semántico y de tarea.
Datos: Se crearon tres conjuntos de datos artificiales para clasificación binaria donde las etiquetas son aleatorias (el modelo no puede aprender una señal real):
1. noun-det-period: Sustantivos, determinantes y puntos.
2. period-comma: Solo puntos y comas.
3. unique-punctuation: Una permutación única de todos los signos de puntuación.
Modelos: Se compararon dos arquitecturas Transformer:
- BERT (bert-base-uncased, 110M parámetros).
- ModernBERT (ModernBERT-base, 149M parámetros, con embeddings posicionales rotatorios).
Métodos de Atribución: Se probaron 6 métodos: PartSHAP, LIME, Vanilla Gradient (VanGrad), Grad $\times$ I, Integrated Gradient (IntGrad) e IntGrad $\times$ I.

B. Configuración Semi-Controlada (Datos Naturales)

Tarea: Detección de relaciones causales en texto natural (clasificación de si un texto contiene causalidad).
Datos: Textos reales sobre temas como cambio climático y política, manipulados para controlar la posición de las señales causales (oraciones al inicio, medio o final).
Objetivo: Verificar si los patrones de sesgo observados en datos artificiales se mantienen en escenarios del mundo real.

Métricas de Evaluación de Sesgo:

Bias-cons (Consistencia): Mide la consistencia del sesgo entre diferentes semillas aleatorias (usando la distancia Jensen-Shannon).
Bias-agg (Agregado): Mide la desviación de la distribución de atribuciones agregadas respecto a una distribución uniforme (ausencia de sesgo).
Bias-attr (Atribución): Mide la divergencia de un método específico respecto a los demás métodos (¿es este método un "outlier"?).

3. Contribuciones Clave

Marco de Evaluación Unificado: Propone una estructura formal para cuantificar y separar el sesgo léxico del posicional, independientemente del modelo o método.
Descubrimiento de la Compensación (Trade-off): Demuestra que existe una relación inversa entre los tipos de sesgo; los modelos/métodos que muestran alto sesgo posicional tienden a mostrar bajo sesgo léxico, y viceversa.
Validación de Métricas de Fidelidad: Evalúa si las métricas estándar de fidelidad (sufficiency y comprehensiveness) pueden detectar estos sesgos, encontrando que fallan en modelos que no han aprendido la tarea (donde el sesgo debería ser evidente).
Hipótesis del "Outlier": Investiga si las explicaciones que más difieren de la mayoría son las más sesgadas.

4. Resultados Principales

En Datos Artificiales:

Inconsistencia de Modelos Modernos: Contrario a la intuición, ModernBERT no es necesariamente menos sesgado que BERT tradicional. De hecho, en algunos casos, ModernBERT mostró menos sesgo posicional pero más sesgo léxico.
Dominancia del Método: El método Vanilla Gradient (VanGrad) mostró consistentemente el mayor sesgo posicional (tendencia a los inicios de las secuencias) en la mayoría de los escenarios.
Correlación entre Métricas: Se encontró una fuerte correlación entre Bias-attr y Bias-agg. Los métodos que se desvían más de la mayoría (outliers) tienden a ser los que presentan el mayor sesgo global frente a una línea base sin sesgo.
Fallo de las Métricas de Fidelidad: Las métricas sufficiency y comprehensiveness no lograron detectar el alto sesgo de VanGrad en los datos artificiales, ya que ambos valores fueron cercanos a cero (indicando que el modelo no aprendió la tarea, lo cual es correcto, pero ocultando el sesgo del método de explicación).

En Datos Naturales (Causalidad):

Sesgo Posicional en BERT: El modelo BERT tradicional mostró una tendencia clara a atribuir importancia a la información al final de las secuencias de entrada, especialmente en ejemplos negativos (donde no hay señal causal clara).
ModernBERT: Mostró un sesgo general menor que BERT, alineándose con los hallazgos de datos artificiales, aunque con variaciones según el método de atribución.
Validación del Patrón: La relación entre ser un "outlier" (alta divergencia con otros métodos) y tener alto sesgo se mantuvo en el entorno natural.

5. Significado e Implicaciones

El Sesgo es un Producto del Método: La investigación concluye que gran parte de la inconsistencia en las explicaciones no proviene del modelo base, sino de los métodos de atribución en sí mismos.
Advertencia para Usuarios: No se debe asumir que un modelo más moderno (como ModernBERT) o un método de explicación más complejo garantiza una explicación más fiel.
Guía para la Selección de Métodos: Los usuarios deben evitar los métodos que actúan como "outliers" (aquellos que difieren significativamente de la mayoría de los métodos), ya que la evidencia empírica sugiere que estos son los más propensos a estar sesgados.
Limitaciones de las Métricas Actuales: Las métricas actuales de fidelidad son insuficientes para detectar sesgos sistemáticos en modelos que no han aprendido la tarea o en escenarios de bajo recurso. Se requiere un enfoque multidimensional (léxico + posicional) para evaluar la calidad de las explicaciones.

En resumen, el artículo demuestra que las explicaciones de IA no son meros reflejos de la lógica del modelo, sino productos que heredan y amplifican sesgos estructurales de los algoritmos de atribución, los cuales deben ser diagnosticados y mitigados activamente.