Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Resumen Técnico: "¿Es Incluso Relevante? Cuando BERT Ignora Pistas Explícitas de Género"

Planteamiento del Problema
Aunque el sesgo de género en los Modelos de Lenguaje Grandes (LLM) ha sido investigado extensamente para el inglés, los idiomas con género gramatical o morfológico permanecen comparativamente poco estudiados. Esta brecha es crítica porque las estructuras gramaticales pueden oscurecer o distorsionar la medición de estereotipos sociales. El artículo se centra en el neerlandés, un idioma que ocupa una posición intermedia entre sistemas totalmente marcados por género (como el alemán) y sistemas mayoritariamente sin género (como el inglés). El neerlandés exhibe una tensión entre la "neutralización" (donde formas históricamente masculinas, morfológicamente no marcadas, funcionan como términos genéricos) y la "feminización" (donde formas explícitamente femeninas se derivan mediante sufijos). Los autores investigan cómo un modelo BERT neerlandés, entrenado desde cero, codifica la información de género y si las pistas contextuales explícitas (por ejemplo, el pronombre zij que significa "ella") pueden anular las asociaciones estadísticas aprendidas (por ejemplo, fontanero $\rightarrow$ masculino) dentro de las representaciones internas del modelo.

Metodología
El estudio emplea un análisis a nivel de puntos de control (checkpoints) de un modelo BERT neerlandés entrenado completamente desde cero sobre el corpus SoNaR-500 (subconjunto de libros, $\approx$26 millones de palabras). La metodología integra técnicas de proyección de subespacio estático con plantillas de oraciones controladas para rastrear la evolución del sesgo durante el entrenamiento.

1. Entrenamiento del Modelo: Se entrena un modelo BERT desde cero durante 100 épocas. Se guardan puntos de control intermedios para rastrear la emergencia de representaciones de género a lo largo del tiempo.
2. Construcción del Subespacio de Género: En cada punto de control, se entrena una Máquina de Vectores de Soporte (SVM) lineal sobre las incrustaciones contextuales de 60 pares de palabras de género inequívocos (por ejemplo, man vs. vrouw) para derivar un eje de género dinámico. Los autores evitan pronombres ambiguos (como zij, que puede significar "ella" o "ellos") para asegurar que el subespacio refleje distinciones de género claras.
3. Evaluación del Sesgo: Los autores proyectan las incrustaciones de términos de profesión desde plantillas de oraciones controladas sobre los subespacios de género aprendidos. La estructura de la plantilla es [OBJETIVO] es un/a [ATRIBUTO] (por ejemplo, "Ella es una fontanera").
   • Variables: El estudio varía sistemáticamente el género del objetivo (masculino/femenino), la marca morfológica del atributo (neutro/no marcado vs. sufijo femenino) y la alineación con el estereotipo (pro-estereotípico vs. anti-estereotípico basado en estadísticas de la fuerza laboral).
   • Métrica: La precisión se mide verificando si la incrustación de profesión proyectada se alinea con el género especificado por el contexto de la oración (el objetivo) en lugar de la asociación estadística predeterminada del modelo.

Resultados Clave
El análisis arroja cuatro hallazgos principales sobre la formación y el comportamiento de las representaciones de género:

1. Emergencia de Separabilidad Lineal: La información de género se vuelve claramente linealmente separable en el espacio de incrustaciones alrededor de la época 20. Aunque la precisión aumenta constantemente, se estabiliza justo por encima de 0,92, lo que indica que el género es una característica estable de las representaciones aprendidas al inicio del proceso de entrenamiento.
2. Distribución de la Información de Género: Contrario a la idea de una única "unidad de género", la información de género se distribuye a través de múltiples dimensiones de incrustación. Sin embargo, la distribución es asimétrica:
   • Las representaciones masculinas se codifican difusamente a través de muchas dimensiones, funcionando como un predeterminado robusto y no marcado.
   • Las representaciones femeninas se concentran en un subconjunto más pequeño y específico de dimensiones.
3. Fallo del Reemplazo Contextual: Las pistas contextuales explícitas a menudo fallan en anular las prioridades aprendidas. En contextos anti-estereotípicos (por ejemplo, "Ella es una fontanera"), la representación interna del modelo de la profesión permanece alineada con el género masculino estereotípico significativamente más a menudo que con la pista contextual femenina. Los emparejamientos estereotípicos se predicen con una precisión del 82,5 %, mientras que los emparejamientos anti-estereotípicos caen al 43,7 %.
4. Dominio de los Marcadores Morfológicos: El modelo depende en gran medida de pistas morfológicas de nivel superficial en lugar de integrar información contextual. Cuando una profesión tiene un sufijo femenino explícito (por ejemplo, verpleegster), la representación se alinea con el subespacio femenino con alta precisión (83 % en contextos anti-estereotípicos). Sin embargo, cuando el atributo es morfológicamente neutro (por ejemplo, verpleger), el modelo recurre a la interpretación masculina, incluso cuando el sujeto es explícitamente femenino.

Contribuciones Clave

• Análisis a Nivel de Puntos de Control: Este trabajo proporciona una de las primeras investigaciones controladas a nivel de puntos de control sobre cómo emerge la información de género en una arquitectura basada en Transformers, extendiendo trabajos previos sobre modelos recurrentes (LSTM) a modelos BERT modernos.
• Proyección de Subespacio Contextual: Los autores adaptan el análisis de subespacio basado en proyección a un entorno contextual, combinándolo con plantillas de oraciones controladas para medir directamente la interacción entre pistas de género explícitas y connotaciones de género aprendidas.
• Perspectivas sobre el Género Morfológico: Al utilizar el neerlandés, el estudio demuestra que incluso pistas femeninas fuertes y explícitas (pronombres) pueden ser anuladas por predeterminados estereotípicos cuando el término de profesión está morfológicamente no marcado. Esto resalta los desafíos específicos del sesgo en idiomas donde el género gramatical y los estereotipos sociales interactúan de manera compleja.
• Línea Base Mecanística: Los hallazgos establecen una línea base para comprender cómo se forma y estabiliza el sesgo estructural de género, sugiriendo que la "contextualización" en estos modelos no es suficientemente dinámica a lo largo de la dirección del género para reflejar de manera fiable pistas explícitas en escenarios anti-estereotípicos.

Significado y Afirmaciones
El artículo afirma que sus resultados desafían la suposición de que las incrustaciones contextuales integran robustamente pistas locales para ajustar las representaciones de palabras. En cambio, los autores argumentan que, para el modelo BERT neerlandés, las pistas contextuales son frecuentemente eclipsadas por prioridades internas y marcadores morfológicos. El comportamiento de "predeterminado masculino" persiste porque las formas no marcadas e históricamente masculinas funcionan como términos genéricos en los datos de entrenamiento, creando una ventaja estructural para las representaciones codificadas como masculinas.

Los autores concluyen que, aunque el modelo aprende a distinguir el género, lo hace de una manera que refuerza las asimetrías existentes: lo masculino es el predeterminado difuso, mientras que lo femenino es una señal marcada y concentrada que requiere sufijación morfológica explícita para ser codificada de manera fiable. En consecuencia, las aplicaciones que dependen de estas representaciones (como la traducción o la resolución de coreferencia) pueden reproducir estereotipos de género incluso cuando la entrada los contradice explícitamente. El artículo nota modestamente que estas conclusiones se limitan al nivel representacional capturado por las sondas y no miden directamente el rendimiento de tareas posteriores, pero ofrecen una perspectiva crítica sobre los mecanismos de formación del sesgo en el PLN multilingüe.