Relating Word Embedding Gender Biases to Gender Gaps: A Cross-Cultural Analysis

Resumo Técnico: Relacionando os Vieses de Gênero em Embeddings de Palavras com Lacunas de Gênero

Definição do Problema
Modelos de aprendizado de máquina para Processamento de Linguagem Natural (PLN), particularmente aqueles que utilizam word embeddings, são conhecidos por herdar vieses de seus dados de treinamento, frequentemente refletindo estereótipos sociais relativos a raça e gênero. Enquanto pesquisas recentes focam em desenviesar (debiasing) esses modelos para melhorar a precisão e remover estereótipos, este artigo propõe uma perspectiva alternativa: esses vieses inerentes podem não ser meramente erros, mas sim reflexos de disparidades estatísticas reais (lacunas de gênero) dentro das culturas que produziram o texto de treinamento. O problema central abordado é se a magnitude e a direção do viés de gênero em word embeddings podem ser quantitativamente correlacionadas com lacunas de gênero estatísticas do mundo real em educação, política, economia e saúde através de diferentes culturas.

Metodologia
Os autores realizaram uma análise transcultural usando dados do Twitter de 2018, abrangendo 99 países e 51 regiões dos EUA (50 estados e Washington, D.C.).

1. Coleta e Pré-processamento de Dados:

   • O conjunto de dados consistiu em tweets em língua inglesa coletados ao longo de 100 dias em 2018.
   • Os tweets foram filtrados para incluir apenas aqueles com três ou mais palavras. URLs, nomes de usuário, hashtags, imagens e emojis foram substituídos por tokens.
   • Os corpora foram construídos para cada país e estado. Para culturas que excederam 10 milhões de tweets, uma amostra de 10 milhões foi utilizada. O menor corpus continha 98.000 tweets (Maurício), e o maior 122 milhões (Reino Unido).
   • Os autores observaram que estes corpora são ordens de magnitude menores do que aqueles usados em outros estudos de tweet embedding (ex: Li et al., 2017).

2. Construção de Embeddings:

   • O algoritmo principal utilizado foi o Word2Vec (skip-gram).
   • Para análise comparativa, os autores também testaram GloVe, Word2Vec CBOW e FastText.
   • Os parâmetros incluíram um tamanho de janela de 10, uma frequência mínima de palavra de 5 e vetores de saída de 200 dimensões.

3. Medição de Viés:

   • Os autores definiram um "eixo masculino-feminino" calculando a média dos vetores de palavras específicas de masculino ($\vec{male}$) e feminino ($\vec{female}$).
   • Métrica Primária: A projeção média do eixo de um conjunto de palavras temáticas neutras ($W$) sobre o eixo masculino-feminino foi calculada usando a fórmula:
     $$\text{avg}_{w \in W} \left( \frac{\vec{w} \cdot (\vec{female} - \vec{male})}{||\vec{female} - \vec{male}||^2} \right)$$
   • Esta projeção serve como a medida do viés de gênero para conjuntos de palavras temáticas específicas (ex: governo, ameaça, cuidados infantis, intelecto).

4. Análise de Correlação:

   • Os autores correlacionaram os escores de viés de conjuntos de palavras temáticas contra 18 estatísticas internacionais de lacuna de gênero (do Global Gender Gap Index) e 5 estatísticas baseadas nos EUA (do CDC, U.S. Census Bureau e Represent Women).
   • Seleção de Atributos: Para evitar o overfitting, o algoritmo realizou a seleção de atributos em 20% dos países/estados para selecionar as palavras dentro de um conjunto temático, e então computou o coeficiente de determinação $R^2$ contra o conjunto de dados completo. Este processo foi repetido cinco vezes e a média foi calculada.

Resultados Principais
O estudo encontrou correlações significativas e seletivas entre vieses linguísticos e lacunas de gênero estatísticas:

• Descobertas Internacionais:

  • Empoderamento Político: O conjunto de palavras "governo" mostrou uma correlação positiva com o índice de Lacuna de Gênero de Empoderamento Político. À medida que a linguagem política exibia um viés feminino mais forte, a lacuna de gênero no poder político diminuía (ou seja, a influência das mulheres aumentava).
  • Participação Econômica: Os conjuntos de palavras "intelecto" e "local de trabalho" correlacionaram-se positivamente com estatísticas de participação econômica.
  • Saúde: Termos de "doença" mostraram correlações indiretas com estatísticas de saúde e sobrevivência.
  • Lacuna Geral: A palavra única "pretty" (bonita) demonstrou a maior determinação ($R^2$) contra o índice de lacuna de gênero geral.
  • Baselines Aleatórios: Quatro conjuntos de palavras amostrados aleatoriamente não mostraram correlação significativa ($R^2 < 0,09$) com qualquer lacuna de gênero, confirmando que os resultados não foram artefatos da metodologia.

• Descobertas dos Estados dos EUA:

  • Lacuna Salarial: O conjunto de palavras "ameaça" (ex: perigoso, tóxico, suspeito) mostrou uma forte correlação inversa ($R^2 = 0,51$) com a lacuna salarial de gênero. Em estados onde as palavras de ameaça estavam mais associadas a mulheres, a lacuna salarial era maior (as mulheres ganhavam menos centavos por dólar).
  • Educação e Força de Trabalho: Palavras "STEM-alum" (ex-alunos de STEM) correlacionaram-se com porcentagens mais altas de diplomas femininos em matemática e computação. Palavras de comportamento "criminal" correlacionaram-se negativamente com a proporção de legisladoras estaduais.
  • Exercício: Palavras descrevendo "persistência e devoção" correlacionaram-se com a redução das lacunas de gênero em taxas de exercício.

• Comparação de Algoritmos e Métricas:

  • Entre os quatro algoritmos testados, o Word2Vec (skip-gram) combinado com a métrica de projeção de eixo apresentou os coeficientes de determinação mais altos tanto para correlações diretas quanto indiretas.
  • Valência e Dominância: Adjetivos que correlacionaram com a redução de lacunas de gênero (ex: salários mais altos, mais legisladoras) tiveram escores de valência (positividade) e dominância significativamente maiores do que aqueles correlacionados com o aumento das lacunas.

Principuições Principais

1. Quantificação da Relação Viés-Lacuna: O artigo fornece um método para quantificar o viés de gênero em word embeddings e correlacioná-lo diretamente com lacunas estatísticas de gênero em 99 países e 51 regiões dos EUA.
2. Especificidade Temática: Demonstra que os vieses de gênero não são monolíticos; conjuntos de palavras temáticas específicos (ex: governo, ameaça) correlacionam-se com domínios específicos de disparidade de gênero (ex: poder político, lacuna salarial), enquanto conjuntos de palavras aleatórios não o fazem.
3. Redes Sociais como Proxy Cultural: O estudo valida que os dados do Twitter, mesmo com corpora menores e restrições de idioma inglês, podem servir como uma fonte plausível para computar vieses de gênero culturais que se alinham com estatísticas do mundo real.
4. Validação Algorítmica: Identifica o Word2Vec com projeção de eixo como a configuração mais eficaz para detectar essas correlações específicas em comparação ao GloVe, FastText e métricas de viés alternativas.

Significância e Alegações
Os autores afirmam que seu trabalho apoia três afirmações principais:

1. Vieses de gênero culturais na linguagem estão associados a lacunas de gênero estatísticas reais.
2. Esses vieses podem ser caracterizados pela força e direção de sua correlação com lacunas específicas.
3. Conjuntos de palavras temáticas capturam diferentes dimensões de viés e lacunas de gênero, permitindo uma análise matizada.

O artigo conclui que esses achados alinham-se com teorias sociais que sugerem que diferenças na avaliação implícita de gênero (viés linguístico) se manifestam em diferenças de oportunidades e status de gênero. No entanto, os autores declaram explicitamente que sua análise ilustra correlações, não causalidade. Eles alertam que o poder interpretativo é limitado e que o uso de tweets exclusivamente em inglês cria pontos cegos culturais, excluindo populações sem acesso à tecnologia ou proficiência em inglês. Sugere-se que trabalhos futuros incorporem modelos causais e expandam para outros idiomas.