💻 computer science

Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations

Este artículo presenta la Regularización de Atribución Latente (LAR), un método durante el tiempo de entrenamiento que impone la consistencia de atribución bajo sustituciones de sinónimos que preservan el significado, demostrando que mejora significativamente la estabilidad de las explicaciones basadas en gradientes en Transformers ajustados sin comprometer la precisión del modelo, al tiempo que establece que la alineación adecuada de los tokens es esencial para medir con precisión dicha estabilidad.

Autores originales: Junaid Hassan

Publicado 2026-09-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junaid Hassan

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, una forma común de entender cómo una computadora toma una decisión es observar a qué partes de la entrada prestó más atención. Imagine que una máquina lee una oración y decide si es feliz o triste; los investigadores pueden generar un mapa que muestre qué palabras consideró más importantes el modelo para ese juicio. Estos mapas, conocidos como atribuciones de características, se utilizan cada vez más para explicar las decisiones de la IA a las personas. Sin embargo, ha surgido un patrón preocupante: si se cambia ligeramente la oración sustituyendo una palabra por un sinónimo que significa lo mismo, el mapa a menudo cambia por completo. La computadora podría, de repente, señalar una palabra diferente como la razón de su decisión, a pesar de que el significado de la oración y la respuesta final no han cambiado. Esto hace que la explicación parezca poco confiable, como si la IA fuera poco fiable o estuviera confundida, cuando en realidad, el cambio podría ser un espejismo creado por la forma en que la computadora lee el texto.

Un nuevo estudio del investigador independiente Junaid Hassan investiga este problema, revelando que gran parte de la aparente inestabilidad es en realidad un error de medición causado por la forma en que las computadoras descomponen las palabras. Los modelos de lenguaje modernos no leen palabras completas como los humanos; en su lugar, fragmentan el texto en piezas más pequeñas llamadas tokens de subpalabras. Cuando se reemplaza una sola palabra con un sinónimo, el número de estas pequeñas piezas puede cambiar, desplazando la posición de cada uno de los tokens que le siguen. Si los investigadores comparan las puntuaciones de importancia de las palabras basándose en su posición, a menudo están comparando cosas erróneas, como intentar emparejar la primera página de un libro con la segunda página de otro. El investigador desarrolló un método para solucionar esto mediante el emparejamiento de las palabras basándose en su identidad real en lugar de su posición, y descubrió que la estabilidad de estas explicaciones era mucho mejor de lo que se pensaba anteriormente.

Basándose en esta forma corregida de medir, el estudio introduce una nueva técnica de entrenamiento llamada Regularización de Atribución Latente. Este método enseña al modelo de IA a mantener consistentes sus mapas de explicación, incluso cuando el texto de entrada se altera ligeramente con sinónimos. Durante el proceso de entrenamiento, se le muestra al modelo una oración y una versión ligeramente cambiada de esa misma oración, y se le recompensa si las puntuaciones de importancia para las palabras no modificadas permanecen similares en ambas versiones. Esto se realiza junto con la tarea estándar de aprender a clasificar el sentimiento del texto correctamente. El objetivo no es solo obtener la respuesta correcta, sino asegurar que el razonamiento detrás de esa respuesta se mantenga constante cuando el léxico cambie.

El investigador probó este enfoque utilizando un modelo llamado DistilBERT en un conjunto de datos de reseñas de películas. Los experimentos se realizaron en dos escalas diferentes: una prueba más pequeña de 1,500 ejemplos y una más grande y realista de 20,000 ejemplos. En ambos casos, el modelo fue entrenado con y sin la nueva técnica de consistencia. Los resultados mostraron que los modelos entrenados con la técnica de consistencia produjeron explicaciones significativamente más estables. Cuando el texto era alterado con cantidades ligeras, medias o pesadas de sustituciones de sinónimos, las explicaciones se mantenían consistentes con mucha más frecuencia que las de los modelos entrenados sin la técnica. Por ejemplo, en la prueba más grande, la mejora de la estabilidad creció a medida que los cambios en el texto se volvían más difíciles, mostrando un beneficio claro bajo condiciones más duras.

Crucialmente, esta mejora en la estabilidad no se produjo a costa de la capacidad del modelo para comprender el texto. Los modelos entrenados con la nueva técnica alcanzaron la misma alta precisión en la clasificación de reseñas de películas que los modelos entrenados sin ella. En el experimento más grande, ambos grupos alcanzaron una precisión de alrededor del 82 por ciento, demostrando que el modelo podía aprender a ser más consistente sin olvidar su función principal. El estudio también confirmó que el hallazgo inicial de inestabilidad extrema era, de hecho, un artefacto del método de medición; una vez que se corrigió la alineación, la estabilidad base ya era alta, pero el nuevo método de entrenamiento la elevó aún más.

Los hallazgos sugieren que, para los desarrolladores que construyen sistemas de IA que explican sus decisiones a los usuarios, existe una forma práctica de hacer que esas explicaciones sean más fiables. Al añadir este control de consistencia durante la fase de entrenamiento, la IA puede aprender a ignorar el ruido causado por cambios menores en la redacción y centrarse en el significado real. El investigador señala que, aunque este trabajo se realizó en un tipo específico de modelo y una sola tarea, el método ofrece una adición de bajo riesgo al entrenamiento estándar que podría hacer que las explicaciones de la IA sean más dignas de confianza para aplicaciones del mundo real. El estudio concluye que la inestabilidad que a menudo se culpa a los propios modelos de IA pudo haber sido un truco de la medición y que, con las herramientas y el entrenamiento adecuados, podemos construir sistemas que se expliquen a sí mismos con mayor firmeza.

Resumen Técnico: Regularización de Atribución Latente (LAR)

Planteamiento del Problema

Las atribuciones de características basadas en gradientes en modelos Transformer ajustados (fine-tuned) suelen exhibir una alta inestabilidad cuando los inputs sufren pequeñas perturbaciones que preservan el significado semántico (por ejemplo, sustituciones de sinónimos). Si una explicación cambia drásticamente mientras la predicción del modelo y el significado del input permanecen constantes, la explicación carece de fiabilidad.

El artículo identifica un artefacto de medición crítico, previamente pasado por alto en este dominio: la deriva de tokenización (tokenization drift). La tokenización de subpalabras estándar (WordPiece) implica que la sustitución de una sola palabra puede alterar el número de tokens de subpalabra, desplazando la posición de todos los tokens subsiguientes. Evaluar la estabilidad de la atribución comparando índices posicionales brutos (como se hizo en trabajos previos como Yin et al., 2022) causa un desalineamiento severo. El autor demuestra que este enfoque directo colapsa las correlaciones de estabilidad de un valor plausible de $\approx 0.90$ a tan solo $\approx 0.03$ , creando una falsa impresión de inestabilidad total independiente del comportamiento real del modelo.

Metodología

1. Protocolo de Evaluación Corregido

Para abordar el artefacto de medición, el autor introduce un procedimiento de alineación exacta de tokens:

Alineación: En lugar de comparar tokens por posición, el algoritmo empareja los tokens en las secuencias original y perturbada mediante su identidad de cadena (string identity) exacta, preservando el orden.
Alcance: La métrica calcula la correlación de rango de Spearman solo sobre los tokens de "fondo" (aquellos que no fueron cambiados por la sustitución). Las palabras sustituidas se excluyen del cálculo de la correlación por diseño.
Requisito: Una muestra contribuye a la estadística solo si se han emparejado con éxito al menos tres tokens.

2. Regularización de Atribución Latente (LAR)

Basándose en la evaluación corregida, el autor adapta una estrategia de regularización en tiempo de entrenamiento para el PLN:

Objetivo: La pérdida de entrenamiento combina la entropía cruzada estándar ( $L_{CE}$ ) con una penalización de similitud de coseno entre las atribuciones de características del input original ( $x$ ) y un input perturbado ( $\tilde{x}$ ).
$L_{LAR} = L_{CE}(f(x), y) + \lambda \left(1 - \cos(a(x), a(\tilde{x}))\right)$
Método de Atribución: El estudio utiliza la norma $\ell_2$ del gradiente de entrada ( $\nabla_{e_i} \log_y(f(e)$ ) en lugar de Integrated Gradients (IG), elegida por su simplicidad computacional dentro del bucle de entrenamiento de doble retropropagación (double-backward).
Perturbación: Los inputs se perturban sustituyendo adjetivos y adverbios por sinónimos de WordNet. A diferencia de algunos métodos previos de generación contrastiva, este proceso no filtra la preservación de la confianza del modelo.
Asimetría entre Entrenamiento y Evaluación: Mientras que la evaluación utiliza la coincidencia de identidad de tokens, la pérdida de entrenamiento compara las atribuciones posicionalmente (truncando a la secuencia más corta). Esto es necesario porque la coincidencia basada en identidad es una operación discreta incompatible con la computación diferenciable de doble retropropagación requerida para los cálculos de gradiente de gradiente.

3. Configuración Experimental

Modelo: DistilBERT (66 millones de parámetros), inicializado desde un checkpoint no ajustado a la tarea (cabezal de clasificación inicializado aleatoriamente) para asegurar un aprendizaje genuino en lugar de una re-memorización.
Tarea: Clasificación de sentimiento binario en SST-2.
Escalas: Los experimentos se ejecutaron en dos escalas:
- Pequeña: 1,500 ejemplos, 1 época.
- Grande: 20,000 ejemplos, 2 épocas (alcanzando $\approx 82\%$ de precisión de validación).
Control: Un control de entropía cruzada únicamente con $\lambda=0$ , utilizando las mismas semillas, datos y configuraciones de optimizador.
Fortalezas de Perturbación: Evaluadas en niveles Ligero (15%), Medio (35%) y Pesado (60%) de tasa de sustitución.

Resultados Clave

1. El Artefacto de Alineación de Tokens

En experimentos preliminares sin regularización, la alineación posicional directa produjo una correlación de estabilidad de $\bar{\rho} \approx 0.035$ . Aplicar la corrección de alineación exacta de tokens al mismo dato y modelo elevó la estabilidad base a $\bar{\rho} \approx 0.90$ . Esto confirma que la aparente inestabilidad en la literatura previa era mayoritariamente un artefacto de medición.

2. Mejoras de Estabilidad con LAR

A través de ambas escalas de entrenamiento y 10 semillas independientes, LAR ( $\lambda=0.5$ ) produjo mejoras estadísticamente significativas en la estabilidad de la atribución en comparación con el control:

Escala Pequeña: Mejoras significativas en todas las fuerzas de perturbación (prueba t pareada $p \le 0.012$ ).
Escala Grande: Mejoras significativas en todas las fuerzas de perturbación (prueba de Wilcoxon $p = 0.002\text{--}0.004$ ; prueba de Wilcoxon $p = 0.004\text{--}0.006$ ).
Magnitud: La mejora en la estabilidad creció con la severidad de la perturbación (por ejemplo, $+0.026$ para perturbaciones ligeras, $+0.036$ para perturbaciones pesadas en el entorno de gran escala).
Consistencia: 9 de cada 10 semillas coincidieron en la dirección de la mejora en cada fuerza de perturbación.

3. Compensaciones de Precisión (Accuracy Trade-offs)

Crucialmente, las ganancias de estabilidad se obtuvieron sin una degradación medible de la precisión:

Escala Pequeña: Control (73.2%) vs. LAR (73.3%).
Escala Grande: Control (81.6%) vs. LAR (82.3%, $p=0.42$ ).

Significado y Reivindicaciones

El artículo posiciona sus contribuciones en la intersección de la robustez de la atribución (estudiada previamente en visión bajo ataques adversarios) y la estabilidad del PLN.

Corrección de Artefactos de Medición: La principal reivindicación es que las evaluaciones previas de la estabilidad de la atribución en PLN estaban fundamentalmente erradas debido a la deriva de la tokenización. El autor proporciona una corrección necesaria (alineación exacta de tokens) para permitir comparaciones fiables.
Primera Aplicación de Regularización de Consistencia al PLN: El autor cierra la brecha entre la regularización de atribución basada en visión (por ejemplo, Wang y Kong, 2022) y el PLN. Adapta el objetivo de similitud de coseno al ajuste fino de Transformers bajo perturbaciones que preservan el significado, en lugar de ruido adversario.
Objetivo de Entrenamiento Directo: A diferencia de trabajos previos que utilizaban métricas de estabilidad únicamente para la evaluación post-hoc, este artículo utiliza la métrica de estabilidad (específicamente la estabilidad por sustitución de sinónimos introducida por Yin et al., 2022) como un objetivo de entrenamiento directo.
Implicación Práctica: Para profesionales que despliegan Transformers ajustados donde las explicaciones son visibles para los usuarios finales, LAR ofrece una adición de bajo riesgo al ajuste fino estándar. Proporciona mejoras de estabilidad estadísticamente robustas, particularmente bajo perturbaciones semánticas significativas, sin sacrificar el rendimiento de la clasificación.

Limitaciones y Alcance

El autor señala explícitamente las siguientes restricciones:

Tarea/Arquitectura Única: Los resultados son específicos para SST-2 y DistilBERT.
Método de Atribución: El estudio utiliza normas de gradiente de entrada, no Integrated Gradients (IG).
Asimetría de Entrenamiento/Evaluación: El entrenamiento utiliza alineación posicional mientras que la evaluación utiliza alineación por identidad; cerrar esta brecha es una dirección para trabajos futuros.
Generación de Perturbación: La sustitución de sinónimos no filtra la preservación de la confianza del modelo, diferenciándose del protocolo original de la métrica de estabilidad.
Convergencia: Los experimentos a gran escala alcanzaron $\approx 82\%$ de precisión, lo cual está por debajo de un ajuste fino completo de SST-2 ( $\approx 90\%+$ ), dejando abierta la posibilidad de comportamientos distintos bajo una convergencia total.