FairQE: Multi-Agent Framework for Mitigating Gender Bias in Translation Quality Estimation

1. El Problema

La Estimación de Calidad (QE, por sus siglas en inglés) busca evaluar automáticamente la calidad de la traducción automática (TA) sin depender de traducciones de referencia humanas. Sin embargo, estudios recientes han demostrado que los modelos de QE existentes presentan sesgos de género sistemáticos que comprometen la equidad de la evaluación. Se identifican dos escenarios problemáticos principales:

• Casos Ambiguos de Género: Cuando la oración fuente no especifica el género, los modelos de QE tienden a otorgar puntuaciones más altas a las realizaciones masculinas, incluso cuando no hay indicios de género en el origen.
• Casos Explícitos de Género: Cuando la fuente requiere explícitamente una forma femenina, los modelos a menudo favorecen incorrectamente las traducciones masculinas (un fenómeno conocido como "inversión de preferencia").

Estos sesgos no solo distorsionan la evaluación, sino que pueden tener efectos en cascada en procesos de toma de decisiones posteriores, como la selección de modelos, el filtrado de datos y el monitoreo de despliegue, perpetuando estereotipos de género.

2. Metodología: El Marco FairQE

Los autores proponen FairQE, un marco basado en agentes múltiples y consciente de la equidad. Este sistema combina modelos de QE tradicionales con agentes basados en Grandes Modelos de Lenguaje (LLM) para detectar y mitigar el sesgo. El flujo de trabajo consta de cuatro etapas secuenciales y cinco agentes:

A. Detección de Pistas de Género (Agentes: Agentcue)

El primer paso es identificar si la oración fuente contiene pistas lingüísticas relacionadas con el género.

• Se utiliza una taxonomía explícita de 12 categorías (6 explícitas y 6 ambiguas).
• El agente clasifica la entrada como "ambigua" o "explícita" y extrae las pistas correspondientes en la fuente y la traducción objetivo.

B. Generación de Variantes de Género Invertido (Agentes: Agentamb y Agentexp)

Basándose en las pistas detectadas, el sistema genera variantes de la traducción original cambiando el género:

• Para casos ambiguos: Genera todas las realizaciones válidas (Femenino, Masculino, Neutro) que no estaban presentes en la traducción original.
• Para casos explícitos: Verifica si la traducción original cumple con la restricción de género de la fuente. Si no cumple, genera variantes corregidas; si cumple, genera variantes de contraste para comparación.

C. Estimación de Calidad de Doble Flujo

Se evalúan tanto la traducción original como las variantes generadas mediante dos vías paralelas:

1. Puntuación Cuantitativa (Agente Agentqe): Un modelo de QE convencional (ej. COMETKiwi o MetricX) asigna puntuaciones a todas las variantes. Esto permite medir la volatilidad de las predicciones ante perturbaciones de género.
2. Razonamiento para Mitigación de Sesgo (Agente Agentuqe): Un LLM analiza las pistas, las variantes y la coherencia.
   • En casos ambiguos, verifica la consistencia: ¿La calidad debería ser la misma para todas las realizaciones de género?
   • En casos explícitos, valida la fidelidad: ¿La traducción respeta estrictamente la restricción de género de la fuente?

D. Agregación Dinámica Consciente del Sesgo

La etapa final sintetiza la puntuación cuantitativa ($q_{orig}$) y la puntuación basada en razonamiento ($q_{uqe}$) para obtener la puntuación final ($q_{final}$).

• Se calcula un puntaje de sesgo ($B$) basado en la volatilidad de las puntuaciones del modelo convencional en casos ambiguos y en las violaciones de preferencia en casos explícitos.
• Se utiliza un mecanismo de "puerta suave" (soft-gating) para determinar un peso $w$. Si el sesgo es bajo, se prioriza la precisión del modelo QE tradicional. Si el sesgo es alto, se incrementa la influencia del razonamiento del LLM para corregir la puntuación.
• Fórmula clave: $q_{final} = w \cdot q_{uqe} + (1 - w) \cdot q_{orig}$.

3. Contribuciones Clave

1. Marco FairQE: Un sistema multi-agente que aborda simultáneamente escenarios de género ambiguo y explícito, ofreciendo estimaciones de calidad más equitativas.
2. Mecanismo de Agregación Dinámico: Una innovación que cuantifica el sesgo utilizando variantes de género invertido y ajusta la puntuación final dinámicamente, preservando la precisión del modelo base mientras corrige el sesgo.
3. Evaluación Exhaustiva: Demostración empírica de que FairQE mejora la equidad de género sin sacrificar (e incluso mejorando) el rendimiento general de la QE en benchmarks estándar.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples pares de idiomas (EN-ES, EN-FR, EN-IT, EN-AR, EN-DE, EN-HI) utilizando conjuntos de datos como GATE, MT-GenEval y mGeNTE, bajo la configuración de la tarea compartida WMT 2023.

• Equidad de Género (Ambigua): FairQE logró que la relación de puntuación Femenino/Masculino se acercara significativamente a 1 (paridad) en la mayoría de los pares de idiomas, superando a modelos base como COMETKiwi 22/23 XL y MetricX 24.
• Equidad de Género (Neutro vs. Género): El sistema mostró una preferencia correcta por las traducciones neutras cuando el género era ambiguo, superando a los modelos base que tendían a asignar género innecesariamente.
• Precisión en Casos Explícitos: En tareas de precisión binaria (¿la traducción alineada al género recibe mayor puntuación?), FairQE alcanzó hasta un 99.7% de precisión en EN-DE, superando a los modelos base y a evaluadores basados puramente en LLM (como GEMBA-MQM).
• Rendimiento General de QE: En la evaluación meta basada en MQM (Multidimensional Quality Metrics), FairQE logró un rendimiento competitivo o superior al de los modelos base, demostrando que la mitigación del sesgo no degrada la capacidad de evaluación general. De hecho, al integrar señales de LLM, mejoró la puntuación avg-corr de 0.743 a 0.812 en comparación con su modelo base COMETKiwi 22.

5. Significado e Impacto

El trabajo de FairQE es significativo porque:

• Demuestra que la equidad y la precisión no son mutuamente excluyentes: Se puede mitigar el sesgo de género en la evaluación de traducción sin sacrificar la fiabilidad general del sistema.
• Ofrece una solución "Plug-and-Play": El marco es agnóstico al modelo, lo que significa que puede integrarse con diversas arquitecturas de QE existentes para mejorarlas.
• Aborda un problema sistémico: Proporciona un método metodológico concreto para corregir los sesgos inherentes en los modelos de evaluación, lo cual es crucial para el desarrollo ético de sistemas de IA y traducción automática.
• Establece un nuevo estándar: Sugiere que la combinación de puntuaciones cuantitativas tradicionales con razonamiento lógico de LLMs es una vía prometedora para la evaluación de calidad más justa y robusta.

En conclusión, FairQE representa un avance crucial hacia la evaluación de traducción automática que es tanto técnicamente precisa como socialmente justa, evitando la reproducción de estereotipos de género en los procesos de filtrado y selección de modelos.