Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures

Resumen Técnico: Desambiguación de Género en Traducción Automática

1. El Problema

A pesar de los avances recientes en Modelos de Lenguaje Grandes (LLM) de arquitectura decoder-only (como GPT-4, Llama, Gemma), estos modelos siguen siendo propensos a sesgos sistemáticos, siendo el sesgo de género uno de los más críticos en la Traducción Automática (TA).

• La raíz del problema: Existen diferencias sistemáticas entre idiomas en cómo se marca el género. Idiomas como el inglés marcan el género principalmente a través de pronombres (he/she), mientras que idiomas morfológicamente ricos como el italiano o el alemán requieren concordancia de género en sustantivos, adjetivos y verbos.
• El desafío: Al traducir del inglés al italiano, el modelo debe desambiguar señales implícitas en el origen para hacerlas explícitas en el destino. En la práctica, los modelos a menudo ignoran las pistas contextuales (pronombres) y recurren a estereotipos o a un sesgo de priorización masculina (asumir el género masculino por defecto), incluso cuando el contexto indica lo contrario.
• Limitación de las métricas actuales: Las métricas estándar de precisión de género a menudo enmascaran este problema, ya que un modelo puede producir la forma correcta por estereotipo (ej. "enfermera" -> "la enfermera") sin haber utilizado realmente la pista contextual del pronombre.

2. Metodología

Los autores extienden un marco de evaluación existente (basado en Minimal Pair Accuracy o MPA) para adaptarlo a modelos decoder-only y diagnosticar la fuente de los errores.

• Modelos Evaluados: Se seleccionaron tres modelos decoder-only de 7B parámetros (misma arquitectura base) para un control riguroso:

  1. Llama2: Modelo base de propósito general (sin adaptación específica a TA).
  2. TowerBase: Variante de Llama2 con continued pretraining en corpora monolingües y paralelos.
  3. TowerInstruct: Variante de TowerBase con instruction tuning (ajuste fino) específico para tareas de traducción.
  • Comparativa: Se compararon con sistemas encoder-decoder tradicionales (OPUS-MT, NLLB-200, mBART) estudiados previamente.

• Datos y Configuración:

  • Se utilizó el conjunto de datos WinoMT (basado en Winogender/WinoBias) para inglés -> italiano.
  • Nuevo Conjunto de Datos (Neutral Set): Se creó una versión neutralizada de WinoMT donde los pronombres de género (he/she) se reemplazaron por formas neutras (they/them) y se ajustó la concordancia gramatical. Esto permite medir el Sesgo de Prioridad (Prior Bias): la preferencia de género del modelo en ausencia de pistas explícitas.
  • Prompting: Se utilizaron plantillas de zero-shot estandarizadas para asegurar la comparabilidad entre modelos.

• Métricas de Evaluación:

  1. Precisión de Género Estándar: Porcentaje de traducciones donde el género del sustantivo coincide con la etiqueta dorada.
  2. Precisión de Parejas Mínimas (MPA): Una traducción se considera precisa solo si el modelo cambia correctamente el género del sustantivo al cambiar el pronombre en el par mínimo (ej. he -> ella vs. she -> ella). Esto detecta si el modelo usa el contexto o solo estereotipos.
  3. Sesgo de Prioridad (Prior Bias): Nueva métrica que mide la distribución de géneros (masculino/femenino) generados en el Neutral Set.
  4. Análisis de Atención: Se examinaron los patrones de atención interna (self-attention) en las capas y cabezas de los transformadores para ver cómo se integran las pistas de género en la representación de la palabra objetivo.

3. Contribuciones Clave

1. Introducción de "Prior Bias": Una nueva métrica cuantitativa que mide las suposiciones de género inherentes de un modelo cuando no hay pistas contextuales, revelando la tendencia a asumir lo masculino como norma.
2. Evaluación de Arquitecturas Decoder-Only: Aplicación del marco de diagnóstico a modelos LLM modernos, llenando un vacío en la literatura que se centraba principalmente en arquitecturas encoder-decoder.
3. Análisis de la Efectividad del Instruction Tuning: Demostración empírica de cómo las diferentes etapas de entrenamiento (pre-entrenamiento continuo vs. ajuste por instrucciones) afectan la capacidad de desambiguación de género.
4. Diagnóstico de Mecanismos Internos: Vinculación entre los patrones de atención interna y el rendimiento de salida, mostrando que el modelo aprende a atender a las pistas antes de poder utilizarlas efectivamente para reducir el sesgo.

4. Resultados Principales

• Rendimiento General: Contrario a la intuición, los modelos decoder-only no superan consistentemente a los sistemas encoder-decoder en métricas específicas de género, a pesar de su mayor escala y pre-entrenamiento masivo.
• El Efecto del Instruction Tuning:
  • Llama2 y TowerBase: Muestran un alto sesgo masculino (aprox. 85% de formas masculinas en el conjunto neutral) y baja capacidad para integrar pistas contextuales (MPA baja ~12-13%).
  • TowerInstruct: El ajuste fino con instrucciones produce mejoras significativas:
    • Aumento drástico en la precisión femenina (de 23.3% a 52.0%).
    • Mejora sustancial en MPA (de ~13% a 36.7%), indicando una mejor integración de pistas contextuales.
    • Reducción del Sesgo de Prioridad Masculino (de ~85% a ~75% en formas masculinas, aumentando las femeninas al 25%).
• Análisis de Atención:
  • Se observó que las cabezas de atención específicas (ej. Capa 15, Cabezas 10 y 25) muestran una atención más fuerte a los pronombres femeninos que a los masculinos.
  • El continued pretraining (TowerBase) mejora la capacidad de identificar las pistas de género (aumenta la atención), pero no necesariamente de usarlas para corregir el sesgo en la salida.
  • Solo el instruction tuning (TowerInstruct) logra traducir esa atención interna en una reducción efectiva del sesgo de salida, sugiriendo que el ajuste por instrucciones refina la señal latente ya aprendida.
• Trade-off: La mejora en TowerInstruct no es uniforme; aunque mejora la precisión femenina y reduce el sesgo, la precisión en referentes masculinos disminuye ligeramente, lo que sugiere una redistribución de la probabilidad en lugar de una mejora global absoluta.

5. Significado e Implicaciones

• Más allá de la precisión superficial: El estudio demuestra que una alta precisión general puede ocultar una dependencia de estereotipos. Las métricas de diagnóstico (MPA y Prior Bias) son esenciales para entender el comportamiento real de los modelos.
• El papel del entrenamiento: Los resultados indican que el simple aumento de datos o el pre-entrenamiento continuo no resuelven el sesgo de género en TA. El ajuste por instrucciones (instruction tuning) es una estrategia prometedora y escalable para mitigar estos sesgos, ya que entrena al modelo a seguir instrucciones contextuales más allá de las asociaciones estadísticas del corpus.
• Limitaciones: El estudio se limita al género binario (masculino/femenino) debido a las limitaciones del conjunto de datos WinoMT y las herramientas lingüísticas actuales, dejando abierta la investigación para géneros no binarios. Además, el análisis de atención es correlacional, no causal.

Conclusión: Aunque los modelos LLM decoder-only son el estado del arte en TA, no son inherentemente superiores en la resolución de sesgos de género. Sin embargo, el instruction tuning ofrece una vía viable para mejorar la conciencia contextual y reducir la tendencia a asumir el género masculino por defecto, proporcionando una herramienta diagnóstica crucial para el desarrollo de sistemas de traducción más justos.