Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

Resumen Técnico: Relación entre los Sesgos de Género en las Representaciones de Palabras y las Brechas de Género

Planteamiento del Problema
Se sabe que los modelos de aprendizaje automático para el Procesamiento de Lenguaje Natural (NLP), particularmente aquellos que utilizan representaciones de palabras (word embeddings), heredan sesgos de sus datos de entrenamiento, reflejando a menudo estereotipos sociales respecto a la raza y el género. Mientras que investigaciones recientes se centran en la eliminación de sesgos (debiasing) de estos modelos para mejorar la precisión y eliminar estereotipos, este artículo postula una perspectiva alternativa: estos sesgos inherentes pueden no ser meros errores, sino más bien reflejos de disparidades estadísticas reales (brechas de género) dentro de las culturas que produjeron el texto de entrenamiento. El problema central abordado es si la magnitud y la dirección del sesgo de género en las representaciones de palabras pueden correlacionarse cuantitativamente con las brechas de género estadísticas del mundo real en educación, política, economía y salud a través de diferentes culturas.

Metodología
Los autores realizaron un análisis transcultural utilizando datos de Twitter de 2018, cubriendo 99 países y 51 regiones de EE. UU. (50 estados y Washington, D.C.).

1. Recopilación y Preprocesamiento de Datos:

   • El conjunto de datos consistió en tweets en inglés recopilados durante 100 días en 2018.
   • Los tweets se filtraron para incluir solo aquellos con tres o más palabras. Las URLs, nombres de usuario, hashtags, imágenes y emojis fueron reemplazados por tokens.
   • Se construyeron corpus para cada país y estado. Para las culturas que excedían los 10 millones de tweets, se utilizó una muestra de 10 millones. El corpus más pequeño contenía 98,000 tweets (Mauricio) y el más grande 122 millones (Reino Unido).
   • Los autores señalaron que estos corpus son órdenes de magnitud más pequeños que los utilizados en otros estudios de representaciones de tweets (p. ej., Li et al., 2017).

2. Construcción de Representaciones (Embeddings):

   • El algoritmo principal utilizado fue Word2Vec (skip-gram).
   • Para el análisis comparativo, los autores también probaron GloVe, Word2Vec CBOW y FastText.
   • Los parámetros incluyeron un tamaño de ventana de 10, una frecuencia mínima de palabra de 5 y vectores de salida de 200 dimensiones.

3. Medición del Sesgo:

   • Los autores definieron un "eje masculino-femenino" promediando los vectores de palabras específicas de hombres ($\vec{male}$) y palabras específicas de mujeres ($\vec{female}$).
   • Métrica Primaria: Se calculó la proyección promedio del eje de un conjunto de palabras temáticamente neutras ($W$) sobre el eje masculino-femenino utilizando la fórmula:
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • Esta proyección sirve como la medida del sesgo de género para conjuntos de palabras temáticas específicas (p. ej., gobierno, amenaza, cuidado infantil, intelecto).

4. Análisis de Correlación:

   • Los autores correlacionaron los puntajes de sesgo de los conjuntos de palabras temáticas contra 18 estadísticas internacionales de brecha de género (del Índice de Brecha de Género Global) y 5 estadísticas basadas en EE. UU. (del CDC, la Oficina del Censo de EE. UU. y Represent Women).
   • Selección de Características: Para evitar el sobreajuste (overfitting), el algoritmo realizó una selección de características en el 20% de los países/estados para reducir la selección de palabras dentro de un conjunto temático, luego calculó el coeficiente de determinación $R^2$ contra el conjunto de datos completo. Este proceso se repitió cinco veces y se promedió.

Resultados Clave
El estudio encontró correlaciones significativas y selectivas entre los sesgos lingüísticos y las brechas de género estadísticas:

• Hallazgos Internacionales:

  • Empoderamiento Político: El conjunto de palabras "gobierno" mostró una correlación positiva con el índice de la brecha de género en Empoderamiento Político. A medida que el lenguaje político exhibía un sesgo femenino más fuerte, la brecha de género en el poder político disminuía (es decir, la influencia de las mujeres aumentaba).
  • Participación Económica: Los conjuntos de palabras "intelecto" y "lugar de trabajo" se correlacionaron positivamente con las estadísticas de participación económica.
  • Salud: Los términos de "enfermedad" mostraron correlaciones indirectas con las estadísticas de salud y supervivencia.
  • Brecha General: La palabra única "linda" (pretty) demostró la mayor determinación ($R^2$) contra el índice de brecha de género general.
  • Líneas Base Aleatorias: Cuatro conjuntos de palabras muestreados aleatoriamente no mostraron una correlación significativa ($R^2 < 0.09$) con ninguna brecha de género, confirmando que los resultados no son artefactos de la metodología.

• Hallazgos de los Estados de EE. UU.:

  • Brecha Salarial: El conjunto de palabras "amenaza" (p. ej., peligroso, tóxico, sospechoso) mostró una fuerte correlación inversa ($R^2 = 0.51$) con la brecha salarial de género. En los estados donde las palabras de amenaza estaban más asociadas con las mujeres, la brecha salarial era mayor (las mujeres ganaban menos centavos por cada dólar).
  • Educación y Fuerza Laboral: Las palabras "STEM-alum" se correlacionaron con porcentajes más altos de títulos de matemáticas y ciencias de la computación en mujeres. Las palabras de comportamiento "criminal" se correlacionaron negativamente con la proporción de legisladoras estatales.
  • Ejercicio: Las palabras que describen "persistencia y devoción" se correlacionaron con la reducción de las brechas de género en las tasas de ejercicio.

• Comparación de Algoritmos y Métricas:

  • Entre los cuatro algoritmos probados, Word2Vec (skip-gram) combinado con la métrica de proyección de eje produjo los coeficientes de determinación más altos tanto para las correlaciones directas como indirectas.
  • Valencia y Dominancia: Los adjetivos que se correlacionaron con la reducción de las brechas de género (p. ej., salarios más altos, más legisladoras) tuvieron puntuaciones de valencia (positividad) y dominancia significativamente más altas que aquellos correlacionados con el aumento de las brechas.

Contribuciones Clave

1. Cuantificación de las Relaciones Sesgo-Brecha: El artículo proporciona un método para cuantificar el sesgo de género en las representaciones de palabras y correlacionarlo directamente con las brechas de género estadísticas en 99 países y 51 regiones de EE. UU.
2. Especificidad Temática: Demuestra que los sesgos de género no son monolíticos; conjuntos de palabras temáticos específicos (p. ej., gobierno, amenaza) se correlacionan con dominios específicos de disparidad de género (p. ej., poder político, brecha salarial), mientras que los conjuntos de palabras aleatorios no lo hacen.
3. Las Redes Sociales como Proxy Cultural: El estudio valida que los datos de Twitter, incluso con tamaños de corpus más pequeños y restricciones de solo idioma inglés, pueden servir como una fuente plausible para calcular sesgos de género culturales que se alinean con las estadísticas del mundo real.
4. Validación Algorítmica: Identifica a Word2Vec con la proyección de eje como la configuración más efectiva para detectar estas correlaciones específicas en comparación con GloVe, FastText y métricas de sesgo alternativas.

Significado y Afirmaciones
Los autores afirman que su trabajo respalda tres afirmaciones principales:

1. Los sesgos de género culturales en el lenguaje están asociados con brechas estadísticas de género reales.
2. Estos sesgos pueden caracterizarse por la fuerza y la dirección de su correlación con brechas específicas.
3. Los conjuntos de palabras temáticos capturan diferentes dimensiones de los sesgos y brechas de género, permitiendo un análisis matizado.

El artículo concluye que estos hallazgos se alinean con teorías sociales que sugieren que las diferencias en la valoración implícita de género (sesgo lingüístico) se manifiestan en diferencias en las oportunidades y el estatus de género. Sin embargo, los autores declaran explícitamente que su análisis ilustra correlaciones, no causalidad. Advierten que el poder interpretativo es limitado y que el uso de tweets exclusivamente en inglés crea puntos ciegos culturales, excluyendo a poblaciones sin acceso a la tecnología o sin competencia en el idioma inglés. Se sugiere como trabajo futuro incorporar modelos causales y expandir a otros idiomas.