Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

Resumen Técnico: Estimación de las Direcciones del Género Gramatical en Embeddings Contextuales bajo Contextos Controlados y Naturales

1. Planteamiento del Problema

Los modelos de lenguaje contextuales pre-entrenados (p. ej., BERT, XLM-R) codifican estereotipos de género social omnipresentes. Si bien los métodos de mitigación de sesgos existentes abordan esto eficazmente en inglés (un idioma sin género gramatical), enfrentan limitaciones críticas cuando se aplican a lenguas gramaticalmente marcadas por el género como el español y el francés. En estos idiomas, dos señales de género distintas coexisten dentro de los embeddings:

1. Género Gramatical Morfosintáctico Obligatorio: Una propiedad lingüística inherente donde los sustantivos inanimados están fijados como masculinos o femeninos y requieren concordancia con artículos y adjetivos.
2. Sesgo de Género Semántico Social: Estereotipos no deseados aprendidos de corpus del mundo real.

Los enfoques actuales confunden estas dos señales. Además, el trabajo previo de desentrañamiento se ha limitado a los embeddings de palabras estáticos, dejando inexploradas las representaciones contextuales. Un desafío significativo es la contaminación semántica: incluso los sustantivos inanimados semánticamente neutros absorben descripciones de género contextualizadas de textos naturales, lo que dificulta el aislamiento de la dirección de género gramatical pura necesaria para un debiasing efectivo.

2. Metodología

Los autores proponen un marco de trabajo consciente de la contaminación para desentrañar el género gramatical del sesgo semántico en los embeddings contextuales. La metodología consta de cuatro componentes principales:

A. Construcción de Datos

• Sustantivos Inanimados: Se construyeron conjuntos de datos equilibrados de sustantivos inanimados en español y francés (aprox. 6,000 por idioma) filtrando sustantivos humanos, ocupacionales y propios.
• Fuentes de Contexto: Se crearon dos tipos de contextos distintos para cada sustantivo:
  • Plantillas Controladas: Plantillas fijas y semánticamente neutras diseñadas para minimizar el ruido de tópico, léxico y coocurrencia, sirviendo para extraer señales gramaticales puras.
  • Contextos Naturales: Oraciones de Wikipedia utilizadas para cuantificar el grado de contaminación semántica presente en el uso del mundo real.
• Léxico de Evaluación: Se creó un conjunto separado de 100 pares de ocupaciones masculino-femenino por idioma para probar si el debiasing preserva las distinciones de género semántico legítimas.

B. Cuantificación de la Contaminación
El marco caracteriza la contaminación semántica como el grado en que los embeddings de los sustantivos inanimados se alinean con un eje de género semántico (derivado de conjuntos de palabras de atributos masculino/femenino). Utilizando un marco de puntuación de estilo WEAT, los autores computan una puntuación de contaminación para cada sustantivo. Para asegurar la robustez, se aplican dos estrategias de normalización:

• Normalización basada en la Media: Corrige los desplazamientos globales de la contaminación.
• Normalización basada en la Mediana: Proporciona robustez contra valores atípicos y distribuciones sesgadas.

C. Estimación de la Dirección del Género Gramatical
Se implementan tres estimadores para identificar la dirección del género gramatical ($d_g$) a partir de los embeddings de los sustantivos:

1. Estimador de Centroide: Computa la diferencia entre los embeddings medios de los conjuntos masculinos y femeninos (enfoque de desplazamiento de distribución).
2. Análisis Discriminante Lineal (LDA): Modela el género como un problema de separación supervisada para maximizar la separabilidad de las clases.
3. Máquina de Soporte Vectorial Lineal (SVM): Utiliza el vector normal del hiperplano separador como la dirección de género.

D. Marco de Evaluación
Se propone un sistema de métricas de doble objetivo para equilibrar dos metas conflictivas:

1. Puntuación de Reducción de Sustantivos Inanimados ($R_{noun}$): Mide la supresión de la fuga de género gramatical en sustantivos inanimados tras la proyección ortogonal.
2. Puntuación de Preservación de Ocupaciones ($P_{occ}$): Mide la retención de las distinciones de género semántico en términos de ocupaciones tras la proyección.
3. Puntuación de Compromiso (Trade-off): Se utiliza la media armónica ($T_{harm}$) de las dos puntuaciones anteriores como la métrica principal para clasificar los métodos, penalizando desequilibrios extremos.

3. Resultados Clave

Los experimentos se realizaron en cuatro codificadores pre-entrenados (BETO, mBERT, XLM-R para español; CamemBERT, mBERT, XLM-R para francés) utilizando embeddings de la última capa.

• Rendimiento de los Estimadores: El estimador de Centroide superó consistentemente a las bases discriminativas (LinearSVM y LDA) en todas las métricas. Alcanzó la mayor puntuación de compromiso armónico (0.870), lo que sugiere que el género gramatical en los embeddings contextuales se manifiesta más como un desplazamiento de distribución global que como una frontera de clasificación compleja.
• Impacto de la Fuente de Contexto: Los contextos controlados no ponderados produjeron las direcciones de género gramatical más puras.
  • Los entornos de contextos controlados no ponderados lograron la mayor reducción de la fuga gramatical ($R_{noun} \approx 0.98$) manteniendo una fuerte preservación semántica.
  • Los contextos naturales introdujeron variabilidad que debilitó la claridad de la señal estimada.
  • Las estrategias de ponderación (media/mediana) proporcionaron mejoras marginales en casos específicos y a menudo redujeron el rendimiento de la reducción a nivel de sustantivo, actuando más como un ajuste conservador que como un motor de rendimiento primario.
• Eficacia del Debiasing: El método de proyección ortogonal logró eliminar los componentes de género gramatical de los sustantivos inanimados sin alterar la estructura semántica léxica general, tal como lo validaron las pruebas de estabilidad semántica.

4. Contribuciones

El artículo reclama las siguientes contribuciones primarias:

1. Desentrañamiento Contextual Pionero: Es el primer trabajo que intenta el desentrañamiento del género gramatical-semántico específicamente para modelos de lenguaje contextuales, yendo más allá de los embeddings estáticos utilizados en la literatura previa.
2. Formalización de la Contaminación Semántica: Los autores definen y cuantifican formalmente la contaminación semántica en las representaciones de sustantivos inanimados para modelos contextuales, introduciendo estrategias de ponderación conscientes de la contaminación para suprimir artefactos de distribución sesgados.
3. Nuevo Marco de Evaluación: El artículo propone un marco de evaluación de doble objetivo (Reducción de Fuga + Preservación Semántica) con una métrica de compromiso armónico, abordando la falta de estándares equilibrados para el debiasing en lenguas gramaticalmente marcadas por el género.

5. Significación y Limitaciones

Significación:
El estudio demuestra que las plantillas controladas son superiores a los corpus naturales para aislar las señales de género gramatical, eliminando eficazmente el ruido del corpus. Establece que la agregación simple basada en centroides es más robusta que los clasificadores discriminativos para extraer estas direcciones en espacios contextuales de alta dimensión y ruidosos. Esto proporciona una base fiable para la investigación multilingüe del sesgo de género al separar las reglas gramaticales formales del sesgo semántico inherente.

Limitaciones y Direcciones Futuras:

• Alcance Tipológico: Los hallazgos se restringen al español y al francés (lenguas romances con sistemas de género binario). Los autores señalan que no está claro si estos comportamientos de desentrañamiento lineal se generalizan a lenguas con interacciones caso-género, sistemas neutros o estructuras de género no binarias.
• Especificidad del Modelo: Los resultados se basan en embeddings de la última capa congelada de arquitecturas transformer específicas. El comportamiento del desentrañamiento a través de diferentes capas o arquitecturas de modelos sigue siendo una pregunta abierta.
• Estrategias de Ponderación: Los esquemas de ponderación actuales por media/mediana se reconocen como subóptimos. Los autores sugieren que trabajos futuros deberían explorar paradigmas adaptativos, como el ponderado adversarial o las intervenciones causales, para modelar mejor la contaminación semántica.

Los autores concluyen que, si bien las estrategias de ponderación ofrecen ajustes menores, el enfoque más efectivo para estimar las direcciones del género gramatical sigue siendo el uso de contextos controlados no ponderados combinados con la estimación basada en centroides.