Resumen Técnico: Más allá del contenido: Cómo el género gramatical moldea la representación visual en los modelos de texto a imagen

Planteamiento del problema

La investigación sobre el sesgo en los modelos de Texto a Imagen (T2I) se ha centrado predominantemente en la representación demográfica y los atributos estereotípicos dentro del contenido semántico de los prompts. Sin embargo, una pregunta fundamental sigue sin explorarse: ¿influye la estructura gramatical del lenguaje mismo, independientemente del contenido semántico, en los resultados visuales de los sistemas de IA? Específicamente, el artículo investiga si el género gramatical —una característica estructural donde los sustantivos se asignan a categorías masculinas o femeninas (por ejemplo, en francés, alemán, español, italiano y ruso)— altera sistemáticamente la representación de género de las imágenes generadas, incluso cuando el concepto subyacente contradice las asociaciones de género estereotípicas (por ejemplo, una palabra gramaticalmente femenina para un "guardia").

Metodología: El benchmark GRAMVIS

Para aislar el efecto causal del género gramatical, los autores introducen GRAMVIS, el primer benchmark translingüístico diseñado para examinar este fenómeno.

Construcción del conjunto de datos

• Selección de palabras: El conjunto de datos comprende 200 palabras únicas "divergentes de género". Estas son términos donde el género gramatical del sustantivo en un idioma específico contradice la asociación de género estereotípica del concepto (por ejemplo, une sentinelle en francés es gramaticalmente femenina pero se refiere a un "guardia", un concepto estereotípicamente asociado con hombres).
• Idiomas: El estudio abarca siete idiomas:
  • Cinco idiomas con género: Francés, español, alemán, italiano y ruso (cubriendo idiomas de altos y medios recursos).
  • Dos idiomas de control sin género: Inglés y chino.
• Ingeniería de prompts: Se diseñaron cuatro plantillas de prompts semánticamente neutras (por ejemplo, "Una foto del rostro de un/a [SUSTANTIVO] único/a trabajando"). Estas plantillas aseguran que el único elemento que señala el género sea el género gramatical del sustantivo insertado. Los prompts fueron traducidos a los siete idiomas objetivo, manteniendo la equivalencia semántica mientras variaban los marcadores de género gramatical.
• Generación de imágenes: El estudio generó 28,800 imágenes utilizando tres modelos T2I de vanguardia:
  • DALL·E 3 (OpenAI)
  • Ideogram v3 (Ideogram)
  • Flux Pro 1.1 (Black Forest Labs)
  • Nota: Todos los modelos seleccionados admiten los siete idiomas objetivo y utilizan entrenamiento RLHF/DPO.

Marco de evaluación

• Clasificación: Las imágenes generadas fueron clasificadas por género (Masculino/Femenino/Ninguno) utilizando un sistema de Visión-Lenguaje (VLM) multi-modelo compuesto por BLIP2, LLaVA y Qwen-VL. Se asignó la etiqueta "ninguno" si los modelos no coincidían, con un umbral de votación por mayoría de al menos dos modelos de acuerdo en un género binario.
• Métricas: La representación de género se calculó como el porcentaje de imágenes masculinas o femeninas respecto a la suma de las clasificaciones masculinas y femeninas (excluyendo "ninguno" para el análisis primario). La significancia estadística se evaluó mediante pruebas t de dos colas comparando las salidas de lenguaje con género frente a las líneas de base sin género.

Resultados clave

1. El género gramatical impulsa la representación visual (RQ1)

El estudio confirma que el género gramatical influye significativamente en los resultados de T2I:

• Marcadores masculinos: Los marcadores gramaticales masculinos aumentaron consistentemente la representación masculina en todos los idiomas y modelos probados. En promedio, los marcadores masculinos aumentaron la representación masculina al 73% (comparado con el 22% en el inglés sin género), un efecto estadísticamente significativo (p < .001) en el 100% de las comparaciones con el inglés.
• Marcadores femeninos: Los marcadores femeninos mostraron efectos más variables. Aumentaron la representación femenina al 38% (comparado con el 28% en inglés), logrando significancia estadística en solo el 46.7% de las comparaciones con el inglés. Sin embargo, contra las líneas de base en chino, los marcadores femeninos mostraron efectos más fuertes y consistentes (80% de significancia).
• Asimetría: El efecto de los marcadores masculinos es robusto y consistente, mientras que los marcadores femeninos son más susceptibles a los esfuerzos de mitigación de sesgos específicos del modelo, particularmente en inglés.

2. Impacto de la disponibilidad de recursos lingüísticos (RQ2)

La fuerza de los efectos del género gramatical se correlaciona con la disponibilidad de recursos del idioma en los datos de entrenamiento del modelo:

• Idiomas de altos recursos: Idiomas como el español y el alemán exhibieron los efectos masculinos más fuertes (por ejemplo, el modelo Flux en español mostró un aumento de 75.5 puntos porcentuales en la representación masculina).
• Idiomas de medios recursos: Idiomas como el italiano y el ruso mostraron efectos masculinos significativos pero efectos femeninos más inconsistentes o negativos.
• Interpretación: Los modelos parecen desarrollar asociaciones gramático-visuales más fuertes para los idiomas con datos de entrenamiento más extensos.

3. Sensibilidad de la arquitectura del modelo (RQ3)

Diferentes modelos T2I procesan el género gramatical con distintas sensibilidades:

• Flux Pro 1.1: Demostró la mayor sensibilidad al género gramatical, mostrando los efectos más fuertes y consistentes tanto para los marcadores masculinos como para los femeninos.
• Ideogram v3: Mostró efectos masculinos moderados y efectos femeninos variables.
• DALL·E 3: Exhibió la representación de género más equilibrada, con menores efectos masculinos y, notablemente, efectos femeninos invertidos en idiomas de altos recursos (por ejemplo, alemán y ruso), donde la gramática femenina paradójicamente aumentó la representación masculina. Esto sugiere que DALL·E 3 puede emplear técnicas de mitigación de sesgos más agresivas que sobrecorrigen para los marcadores femeninos.

4. Ambigüedad y comparaciones de control

• Ambigüedad: Los prompts en idiomas con género produjeron imágenes significativamente más ambiguas visualmente (clasificadas como "ninguno") en comparación con las líneas de base sin género (5.1% frente a 0.4% para el inglés).
• Líneas de base de control: Comparar contra el chino (un idioma sin género menos estudiado) reveló efectos de género gramatical más fuertes y consistentes que las comparaciones con el inglés. Los autores hipotetizan que la extensa investigación de mitigación de sesgos centrada en los sistemas T2I en inglés ha atenuado los efectos observables del género gramatical en el inglés, un patrón menos evidente en el chino.

Significado y contribuciones

El artículo establece que la estructura del lenguaje mismo, no solo el contenido, moldea los resultados visuales generados por la IA. Esto introduce una nueva dimensión para comprender el sesgo en los sistemas multimodales:

1. Sesgo Estructural: Demuestra que el género gramatical es un motor primario de sesgo, independiente de los estereotipos semánticos.
2. Benchmark Translingüístico: GRAMVIS proporciona un marco integral para evaluar cómo las características gramaticales interactúan con las arquitectas de los modelos y los datos de entrenamiento a través de múltiples idiomas.
3. Variabilidad de los Modelos: Los hallazgos resaltan que la mitigación de sesgos no es uniforme; diferentes arquitecturas de modelos responden de manera distinta a las claves lingüísticas, con algunos (como Flux) preservando las estructuras lingüísticas y otros (como DALL·E 3) interviniendo activamente, lo que a veces conduce a resultados contraintuitivos.

Los autores concluyen que comprender estas influencias estructurales es crítico para desarrollar sistemas de IA multilingües verdaderamente equitativos, ya que los esfuerzos actuales de mitigación de sesgos centrados en el contenido semántico pueden fallar al abordar los sesgos inherentes a la estructura gramatical del prompt.