What Triggers my Model? Contrastive Explanations Inform Gender Choices by Translation Models

Este estudio utiliza explicaciones contrastivas y atribución de saliencia para identificar los tokens de entrada en inglés que desencadenan elecciones de género específicas en modelos de traducción automática hacia alemán y español, revelando una notable superposición entre estas atribuciones del modelo y las percepciones humanas de género.

Lo esencial

Imagina que tienes un traductor robot muy inteligente, pero un poco "ciego" a veces. Este robot lee una frase en inglés y la traduce al alemán o al español. El problema es que, a veces, el robot tiene que decidir si una persona es "él" o "ella" (por ejemplo, si un "médico" es un doctor o una doctora), pero la frase original no le da ninguna pista clara.

En este caso, el robot no sabe qué hacer, así que apuesta por su intuición, que en realidad son estereotipos aprendidos de millones de libros y noticias que leyó antes. Si la palabra es "médico", el robot suele asumir que es un hombre. Si es "enfermera", asume que es una mujer.

Los autores de este estudio querían responder a una pregunta muy curiosa: ¿Qué es exactamente lo que hace que el robot decida "él" o "ella"? ¿Qué palabras en la frase original le dan esa pista?

Para averiguarlo, usaron una técnica llamada "Explicaciones Contrastivas". Aquí tienes una analogía sencilla para entenderlo:

🔍 La Analogía del Detective y la Huella Digital

Imagina que el robot es un detective que tiene que adivinar el género de una persona basándose en una descripción borrosa.

1. La Escena del Crimen (La Frase Original): Tienes una frase como: "El escritor está cansado después de escribir todo el día". La palabra "escritor" no dice si es hombre o mujer.
2. La Prueba (El Robot): El robot traduce esto al alemán y elige la forma masculina (der Schriftsteller).
3. El Experimento (La Contraste): Los investigadores le dicen al robot: "Oye, imagina que en lugar de 'escritor', la palabra clave era 'madre'. ¿Cómo cambiaría tu traducción?".
4. La Huella Digital (Saliencia): Al comparar las dos versiones, el estudio mira qué palabras de la frase original hicieron que el robot cambiara de opinión. Es como si el robot dejara una huella digital en las palabras que más le importaron.

🧠 ¿Qué descubrieron?

Los investigadores compararon las "huellas digitales" del robot con lo que pensaban 20 humanos reales cuando leían la misma frase.

• El Gran Acuerdo: ¡Sorprendentemente, el robot y los humanos piensan casi igual! Cuando los humanos decían: "Ah, la palabra 'madre' me hace pensar que es una mujer", el robot también miraba esa palabra y decía: "¡Sí! Esa es la pista importante".

  • Analogía: Es como si el robot y los humanos fueran dos personas mirando una pintura borrosa. Ambos señalan la misma mancha de color para adivinar qué hay en el cuadro.

• La Pequeña Diferencia (El Estilo): Aunque señalan la misma mancha, lo hacen de forma distinta.

  • Los Humanos miran el contexto completo: miran adjetivos, frases enteras y la "vibra" de la oración. Es como si miraran la pintura desde lejos para ver el cuadro completo.
  • El Robot es más obsesivo con las palabras sueltas (sustantivos y verbos). Es como si el robot solo mirara los pinceles individuales y no el cuadro completo. Si hay un verbo fuerte o un sustantivo específico, el robot se fija mucho más en eso que en la estructura de la frase.

🎯 ¿Por qué es importante esto?

Antes, los científicos solo decían: "Oye, este robot es sexista". Pero no sabían por qué.

Este estudio es como darle un manual de instrucciones al robot. Ahora sabemos que:

1. El robot no es "malo" por capricho; está siguiendo pistas que los humanos también usan.
2. Pero como el robot se fija demasiado en palabras sueltas y no en el contexto completo, a veces se equivoca donde un humano no lo haría.

💡 La Conclusión en una frase

El estudio nos dice que para arreglar los prejuicios de los robots traductores, no basta con decirles "sé más amable". Tenemos que enseñarles a mirar la pintura completa (el contexto) y no solo los pinceles sueltos (palabras aisladas), para que entiendan el género de las personas tan bien como lo hacemos nosotros.

Es un paso gigante para pasar de simplemente "medir el problema" a entender de dónde viene y cómo solucionarlo de verdad.

Resumen técnico

Resumen Técnico: Explicaciones Contrastivas para la Elección de Género en Traducción Automática

1. El Problema

A pesar de los esfuerzos previos, los modelos de Traducción Automática (TA), especialmente los basados en Redes Neuronales (NMT) y Modelos de Lenguaje Grandes (LLM), continúan exhibiendo sesgo de género.

• Limitación de la investigación actual: La mayoría de los estudios se centran en medir el sesgo en escenarios de traducción no ambiguos (donde hay pronombres o referencias claras) o utilizan conjuntos de datos artificiales.
• El vacío: Existe una falta de comprensión sobre cómo los modelos toman decisiones de género en datos naturales y ambiguos, donde no hay pronombres de referencia (anáfora) para desambiguar. Además, la investigación sobre interpretabilidad en este contexto carece de un umbral de puntuación definido para determinar qué palabras de entrada son "influyentes" en la decisión del modelo.
• Objetivo: Este estudio busca pasar de simplemente medir el sesgo a explorar sus orígenes, identificando qué tokens de entrada (contexto) "disparan" la elección de un género específico en el idioma de destino.

2. Metodología

Los autores emplean técnicas de explicabilidad (XAI) y explicaciones contrastivas para analizar un modelo NMT (OPUS-MT) traduciendo del inglés (EN) al alemán (DE) y al español (ES).

• Datos:
  • Se utiliza un conjunto de datos pequeño pero valioso de 60 oraciones naturales en inglés con referencias de género ambiguas (ej. "writer", "consumer").
  • Los datos incluyen anotaciones humanas de 20 personas que identificaron qué palabras del contexto influyeron en su percepción del género.
• Generación de Explicaciones Contrastivas:
  • Se traduce la oración original al DE/ES.
  • Se crea una traducción contrastiva (foi) manualmente, donde el referente objetivo se inflexiona al género opuesto (ej. Berater vs. Beraterin).
  • El objetivo es responder: "¿Por qué el modelo eligió X en lugar de Y?".
• Atribución de Saliencia:
  • Se utiliza el toolkit inseq para calcular puntuaciones de atribución (saliencia) basadas en la norma del gradiente de la predicción del modelo.
  • Se mide cuánto influye cada token de entrada en aumentar la probabilidad de la traducción original frente a la traducción contrastiva.
• Análisis de Niveles de Atribución (Para RQ1):
  Se prueban cuatro enfoques para definir qué palabras se consideran "salientes":
  1. Top X% de palabras (5-25%).
  2. Solo la palabra con la puntuación más alta.
  3. Palabras que superan un umbral fijo de puntuación (0.01-0.10).
  4. Subconjunto mínimo de palabras que acumulan un X% de la puntuación total de la oración.
• Evaluación de Plausibilidad (Para RQ3):
  • Se calcula la precisión micro (superposición entre palabras salientes del modelo y anotaciones humanas).
  • Se realiza un análisis lingüístico (POS y distancia de dependencia) para comparar cómo el modelo y los humanos utilizan el contexto.

3. Contribuciones Clave

• Novedad en Datos Ambiguos: Es uno de los primeros estudios que aplica técnicas de interpretabilidad a datos naturales y completamente ambiguos, alejándose de los conjuntos de datos artificiales o basados en pronombres.
• Definición de Umbrales: Aborda el desafío de la falta de umbral de puntuación en la interpretabilidad, comparando sistemáticamente diferentes niveles de atribución contra anotaciones humanas.
• Análisis Comparativo Humano-Máquina: Proporciona una comparación detallada de qué tipos de palabras (categorías gramaticales) y qué estructuras sintácticas influyen en el modelo frente a los humanos.
• Herramienta de Depuración: Demuestra que la interpretabilidad es una herramienta viable para entender el origen del sesgo de género, no solo para medirlo.

4. Resultados Principales

• Sesgo del Modelo: El modelo OPUS-MT tradujo la gran mayoría de referentes ambiguos al género masculino (88.3% en DE, 83.3% en ES), mientras que las anotaciones humanas mostraron una distribución más equilibrada (33.3% femenino).
• Superposición Modelo-Humano (RQ1 y RQ3):
  • Se encontró una alta superposición entre las palabras salientes del modelo y las anotaciones humanas.
  • El enfoque más efectivo fue el Enfoque 4 (Top 15% relativo de puntuaciones acumuladas), logrando una precisión micro promedio de 0.851.
  • Esto indica que, en general, el modelo y los humanos se ven influenciados por el mismo contexto, aunque el modelo tiende a ser más sesgado hacia el masculino.
• Análisis Lingüístico (RQ2):
  • Categorías POS: El modelo se ve influenciado predominantemente por sustantivos y verbos (más del 60% de las palabras salientes). En cambio, los humanos muestran una distribución más equilibrada, dando más peso a nombres propios y adjetivos.
  • Distancia de Dependencia: El modelo se ve influenciado casi exclusivamente por palabras muy cercanas al referente objetivo (distancia de dependencia 1 y 2). Los humanos, por el contrario, consideran un contexto más amplio, incluyendo palabras más lejanas (distancia 3, 4, etc.).
• Outliers: El modelo a veces considera salientes palabras que los humanos ignoran (números, tokens con errores de tokenización como <unk>, o nombres propios específicos), sugiriendo que el modelo puede ser más sensible a tokens únicos o errores de procesamiento.

5. Significado e Implicaciones

• Validación de la Interpretabilidad: El estudio confirma que las técnicas de explicabilidad (específicamente las explicaciones contrastivas) son efectivas para revelar los mecanismos internos de los modelos de TA en escenarios ambiguos.
• Origen del Sesgo: Al identificar que el modelo depende fuertemente de sustantivos y verbos cercanos, y que esto difiere de la percepción humana (que usa un contexto más amplio), se pueden diseñar estrategias de mitigación más específicas (ej. reentrenamiento o ajuste fino que pondere mejor el contexto lejano).
• Hacia Soluciones Mejoradas: La investigación sugiere que para mitigar el sesgo de género, no basta con corregir la salida; es necesario entender y modificar cómo el modelo asigna importancia a diferentes partes de la oración de entrada.
• Limitaciones: El estudio se basa en un modelo de código abierto (OPUS-MT) y un conjunto de datos pequeño, lo que limita la generalización a modelos SOTA (State-of-the-Art) más grandes, aunque el fenómeno de sesgo es relevante para todos.

En conclusión, el artículo demuestra que, aunque existe una alta correlación entre lo que el modelo "ve" y lo que los humanos perciben como contexto relevante, existen diferencias críticas en qué tipo de información se prioriza y cómo se procesa estructuralmente, lo cual es fundamental para desarrollar sistemas de traducción más justos y equitativos.