ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation

1. El Problema

La traducción automática (TA) y los Modelos de Lenguaje Grande (LLM) enfrentan un desafío persistente al manejar el género gramatical, especialmente al traducir desde lenguas neutras en género (como el inglés) hacia lenguas con género gramatical marcado (como el italiano).

• Asimetría Lingüística: El inglés a menudo omite el género gramatical (ej. "I am happy", "nurse"), mientras que el italiano exige concordancia explícita en múltiples categorías (adjetivos, participios, artículos).
• Sesgo de Predominio Masculino: Cuando el texto fuente es ambiguo, los sistemas de TA tienden a recurrir a la opción estadísticamente más probable o estereotipada, que suele ser la forma masculina. Esto refuerza sesgos sociales y reduce la precisión de la traducción.
• Falta de Evaluación Unificada: Existe una carencia de marcos estandarizados para cuantificar este sesgo de manera comparable entre idiomas, ya que la mayoría de las evaluaciones actuales se centran en el inglés o carecen de una anotación lingüística fina.

2. Metodología: El Marco ConGA

Los autores presentan ConGA (Contextual Gender Annotation), un conjunto de directrices de anotación basado en la lingüística para evaluar el sesgo de género a nivel de palabra.

• Dataset: Se utilizó el corpus gENder-IT (derivado de MuST-SHE), que contiene oraciones en inglés y sus traducciones al italiano.
• Modelos Evaluados: Se generaron traducciones utilizando dos modelos de gran escala:
  • TowerLLM (TowerInstruct-7B).
  • mBART.
  • Se utilizó una temperatura baja (0.2) para garantizar consistencia semántica y alineación precisa.
• Esquema de Etiquetado:
  • En Inglés (Fuente): Se etiquetan los referentes animados según el contexto semántico con tres etiquetas:
    • <M> (Masculino): Género explícito o fuertemente implicado.
    • <F> (Femenino): Género explícito o fuertemente implicado.
    • <A> (Ambiguo): Género no inferible (ej. pronombres de primera persona, roles neutros).
  • En Italiano (Destino): Solo se etiquetan las realizaciones gramaticales explícitas (<M> o <F>). Las formas neutras o ambiguas que no requieren marca de género se dejan sin etiquetar.
  • Identificadores de Entidad: Cada etiqueta incluye un identificador numérico (ej. <A1>, <F1>) para rastrear la correspondencia de referentes entre oraciones y calcular métricas precisas.
• Proceso de Evaluación: Se comparan las etiquetas de oro (inglés) con las realizaciones de los modelos (italiano) calculando Precisión, Recall y F1-score. Se distinguen tres categorías de resultados:
  1. Coincidencia (Match): El género se preserva correctamente.
  2. Discrepancia por Error (Mismatch Error): Cambio incorrecto de género (ej. F $\to$ M).
  3. Discrepancia por Sesgo (Mismatch Bias): Resolución de una entidad ambigua (<A>) hacia un género específico (ej. A $\to$ M o A $\to$ F).

3. Contribuciones Clave

1. Marco ConGA: Una metodología estandarizada y lingüísticamente fundamentada para la anotación de género que distingue entre género semántico (fuente) y realización gramatical (destino).
2. Recurso de Referencia (Gold Standard): Creación de un corpus anotado manualmente que sirve como base de datos de referencia para evaluar el sesgo de género en traducción EN-IT.
3. Métricas Cuantitativas Específicas: Propuesta de un enfoque para medir no solo la precisión del género explícito, sino también la tendencia a introducir género en casos ambiguo (resolución de <A>), lo cual es la métrica central para detectar sesgo sistémico.
4. Análisis de Modelos LLM: Evaluación exhaustiva de modelos modernos (TowerLLM y mBART) frente a arquitecturas anteriores, demostrando que los sesgos persisten incluso en sistemas avanzados.

4. Resultados Principales

El análisis cuantitativo reveló patrones sistemáticos de sesgo en ambos modelos evaluados:

• Sesgo Masculino Generalizado: Ambos modelos muestran una fuerte tendencia a sobre-generar formas masculinas y sub-generar formas femeninas.
  • TowerLLM: Precisión masculina del 31.8% vs. Femenina del 49.5%. Sin embargo, la Recall masculina es significativamente mayor (48.6%) que la femenina (35.4%).
  • mBART: Resultados similares, con una Recall masculina del 46.3% frente a un 29.9% femenina.
• Resolución de Ambigüedad (El hallazgo crítico):
  • Cuando el texto fuente es ambiguo (<A>), los modelos eligen casi exclusivamente la forma masculina.
  • Estadísticas de Sesgo (A $\to$ M vs A $\to$ F):
    • TowerLLM: 215 casos de A $\to$ M frente a solo 35 casos de A $\to$ F.
    • mBART: 221 casos de A $\to$ M frente a 29 casos de A $\to$ F.
  • Esto confirma que los modelos no solo carecen de información, sino que aplican activamente una heurística centrada en el masculino como valor por defecto.
• Errores vs. Sesgo: La mayoría de las discrepancias no son errores de traducción pura (cambio de F a M cuando el origen es F), sino sesgos de introducción (cambio de A a M).

5. Significado e Impacto

• Validación de la Persistencia del Sesgo: El estudio demuestra que, a pesar de los avances en arquitecturas neuronales y modelos de lenguaje grandes, el sesgo de género estructural (el "masculino por defecto") sigue siendo un problema no resuelto en la traducción automática.
• Herramienta para la Mitigación: El marco ConGA y el dataset anotado proporcionan una base para estrategias de mitigación, como el ajuste fino (fine-tuning) o la optimización de preferencias directas (DPO) utilizando pares de preferencia de alta calidad.
• Reproducibilidad: Ofrece un estándar reproducible para evaluar la equidad en sistemas multilingües, moviéndose más allá de la simple detección cualitativa hacia una evaluación cuantitativa rigurosa.
• Implicaciones Éticas: Al cuantificar cómo los sistemas de IA reproducen y amplifican estereotipos de género a escala, el trabajo subraya la necesidad urgente de desarrollar sistemas de NLP conscientes del género para evitar la perpetuación de desigualdades sociales en herramientas de traducción masiva.

En conclusión, ConGA no solo identifica el problema, sino que proporciona la metodología y los datos necesarios para medirlo objetivamente y, eventualmente, corregirlo en futuros sistemas de traducción.