Resumen Técnico: GECOBench: Un Conjunto de Datos y Benchmark de Texto con Control de Género para Cuantificar Sesgos en las Explicaciones

Declaración del Problema

Los modelos de lenguaje pre-entrenados (PLM), como BERT, son entrenados en vastos corpora que contienen sesgos sociales inherentes, incluyendo estereotipos de género. Si bien se sabe que estos sesgos afectan los pesos del modelo y el comportamiento de la predicción, no está claro hasta qué punto se propagan en las atribuciones de características generadas por los métodos de Inteligencia Artificial Explicable (XAI). Específicamente, existe una falta de marcos rigurosos y centrados en los datos para evaluar si los métodos XAI identifican correctamente las características que impulsan una predicción o si resaltan inadvertidamente correlaciones sesgadas y no causales presentes en los datos de pre-entrenamiento. Los benchmarks actuales suelen depender de métricas de "fidelidad" (faithfulness) o razonamientos anotados por humanos, que pueden no alinearse con las asociaciones estadísticas o la importancia de las características de verdad fundamental (ground truth), lo que dificulta la evaluación objetiva de la corrección de las explicaciones ante la presencia de sesgo.

Metodología

1. El Conjunto de Datos GECO

Los autores presentan GECO, un conjunto de datos de texto con control de género diseñado para proporcionar atribuciones de características de verdad fundamental para tareas de clasificación de género.

• Construcción: Las oraciones se obtienen de páginas de Wikipedia correspondientes a novelas clásicas (vía el proyecto Gutenberg).
• Manipulación: Cada oración se genera en tres variantes de género gramatical: Masculino ($x^M$), Femenino ($x^F$) y No binario ($x^{NB}$).
  • Manipulación de solo sujeto ($D_S$): Solo se alteran los pronombres del sujeto gramatical (ej. "Ella" $\to$ "Él"). Esto crea una tarea más desafiante donde el modelo debe distinguir entre los géneros del sujeto y del objeto.
  • Manipulación de todo el género ($D_A$): Se alteran todas las palabras relacionadas con el género (pronombres, posesivos y sustantivos con género como "Tía" $\to$ "Tío").
• Verdad Fundamental (Ground Truth): Por construcción, las palabras alteradas son las únicas características discriminativas. Por lo tanto, el mapa de atribución de características de verdad fundamental es binario: 1 para las palabras alteradas, 0 para todas las demás. Esto permite la evaluación objetiva de si un método XAI resalta las características estadísticamente asociadas (Propiedad de Asociación Estadística - SAP).
• Verificación de Sesgo: Los autores verifican que el conjunto de datos en sí no tiene sesgos utilizando una métrica de co-ocurrencia, asegurando que las desviaciones en las explicaciones del modelo se deban a los sesgos de pre-entrenamiento del modelo y no a los datos.

2. El Marco de Trabajo GECOBench

GECOBench es un marco de evaluación cuantitativa aplicado al conjunto de datos GECO para evaluar el rendimiento de XAI.

• Modelos: El marco evalúa el modelo BERT pre-entrenado bajo cuatro paradigmas de entrenamiento distintos para aislar el impacto de diferentes capas arquitectónicas:
  1. BERT-C: Solo se re-entrena la capa de clasificación; las capas de Embedding y Atención permanecen fijas.
  2. BERT-CE: Las capas de Embedding y Clasificación se re-entrenan desde cero; la Atención permanece fija.
  3. BERT-CEf: Las capas de Embedding y Clasificación se ajustan (fine-tuned); la Atención permanece fija.
  4. BERT-CEfAf: Las capas de Embedding, Atención y Clasificación se ajustan todas.
  • Baselines: Se utiliza un modelo BERT zero-shot (BERT-ZS) y un modelo de atención de una sola capa (OLA-CEA) entrenado desde cero en GECO (libre de sesgo de pre-entrenamiento) para la comparación.
• Métodos XAI Evaluados: El estudio aplica varios métodos de atribución post-hoc, incluyendo enfoques basados en gradientes (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) y métodos sustitutos (LIME, Kernel SHAP, Gradient SHAP).
• Métrica de Evaluación: Se utiliza la métrica de Precisión de Masa (Mass Accuracy - MA) para cuantificar la corrección. La MA mide la superposición entre las puntuaciones de atribución normalizadas y la máscara binaria de verdad fundamental, penalizando los falsos positivos (resaltar palabras que no son la verdad fundamental) mientras es robusta ante los falsos negativos (omitir algunas palabras de la verdad fundamental).
• Cuantificación de Sesgo: Los autores definen la Precisión de Masa Relativa (Relative Mass Accuracy - RMA) para medir la desviación del rendimiento de la explicación respecto a un baseline zero-shot, cuantificando así el "sesgo de explicación".

Principales Contribuciones

1. Conjunto de Datos GECO: Un novedoso conjunto de datos controlado por género con atribuciones de características de verdad fundamental a nivel de palabra, lo que permite la evaluación objetiva de la corrección de XAI basada en la asociación estadística.
2. GECOBench: Un flujo de trabajo de benchmarking riguroso para cuantificar cómo los sesgos de pre-entrenamiento afectan las atribuciones de características y cómo las estrategias de ajuste fino (fine-tuning) mitigan estos sesgos.
3. Análisis Empírico de Sesgo en las Explicaciones: El artículo demuestra que los métodos de atribución de características son susceptibles a los sesgos de pre-entrenamiento y que la corrección de estas explicaciones depende fuertemente de qué capas del modelo se ajustan.

Resultados

Rendimiento de la Explicación (RQ1)

• Dificultad del Conjunto de Datos: El rendimiento en el conjunto de datos de solo sujeto ($D_S$) es generalmente menor que en el conjunto de datos de todo el género ($D_A$) en todos los métodos, probablemente debido al menor número de tokens discriminativos.
• Comparación de Métodos: Integrated Gradients, LIME y Gradient SHAP superan consistentemente a otros métodos y al baseline aleatorio.
• Comparación con Baselines: El Pattern Variant (un método independiente del modelo basado en la covarianza entrada-objetivo) sirve como un límite superior para el rendimiento. Aunque ningún método alcanza la puntuación del Pattern Variant, Integrated Gradients y Gradient SHAP funcionan bien en el régimen de transferencia de aprendizaje.
• Modelo Sin Sesgo: El modelo OLA-CEA (entrenado desde cero sin pre-entrenamiento) muestra un rendimiento de explicación significativamente mayor en todos los métodos, confirmando que los sesgos de pre-entrenamiento degradan la calidad de la explicación.

Mitigación de Sesgo (RQ2)

• Dependencia de Capas: Existe una clara dependencia entre el rendimiento de la explicación y el número de capas ajustadas.
• Impacto de los Embeddings: Los modelos donde la capa de embedding es re-entrenada o ajustada (BERT-CE, BERT-CEf) muestran la mejora más significativa en la corrección de la explicación en comparación con los modelos donde los embeddings están fijos (BERT-C).
• Sesgo Residual: Incluso cuando la precisión de clasificación se mantiene constante en diferentes regímenes de entrenamiento, los modelos con embeddings fijos retienen sesgos residuales que impactan negativamente la corrección de las atribuciones de características. Se demuestra que ajustar los embeddings es la estrategia más efectiva para mitigar estos sesgos.
• Observaciones Específicas: En algunos casos, los métodos XAI en modelos sesgados resaltan palabras irrelevantes (ej. "Bella" en lugar del pronombre "ella") debido a las asociaciones de pre-entrenamiento, mientras que los modelos sin sesgo se enfocan correctamente en los pronombres alterados.

Significado y Reivindicaciones

El artículo afirma que GECOBench proporciona el primer marco basado en datos y con principios para evaluar la corrección de las atribuciones de características en NLP, abordando específicamente la tensión entre las explicaciones centradas en el modelo y las centradas en los datos.

• Propagación del Sesgo: El estudio establece que los sesgos en los corpora de pre-entrenamiento no se limitan a los resultados de la predicción, sino que también permean las explicaciones generadas por los métodos XAI.
• La Corrección como Indicador de Sesgo: Los autores argumentan que la corrección de los datos de las atribuciones de características (específicamente la adherencia a la SAP) es indicativa de los sesgos subyacentes del modelo.
• Estrategia de Mitigación: Los resultados sugieren que simplemente ajustar la cabeza de clasificación es insuficiente para obtener explicaciones sin sesgo; es necesario re-entrenar o ajustar las capas de embedding para mitigar la influencia de los sesgos de pre-entrenamiento en las atribuciones de características.
• Alcance: Los autores posicionan este trabajo como un primer paso hacia la evaluación sistemática del sesgo en XAI. Reconocen limitaciones, como la simplificación del género mediante la alteración de pronombres y el enfoque en asociaciones estadísticas univariantes, pero enfatizan que el marco logra aislar y cuantificar con éxito el impacto del sesgo en la corrección de la explicación en un entorno controlado.

El artículo concluye que se requiere cautela al usar métodos XAI para la depuración de modelos o tareas descendentes (como el análisis de sentimiento) en modelos pre-entrenados, ya que las atribuciones sesgadas pueden resaltar tokens de género espurios en lugar de características semánticamente relevantes.