Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts

1. Problema e Motivação

O artigo investiga se os Modelos de Linguagem (LMs) e Grandes Modelos de Linguagem (LLMs) são influenciados por estereótipos de gênero aprendidos durante a compreensão de histórias, especificamente em contos de fadas.

• Contexto: Contos de fadas tradicionais frequentemente perpetuam normas de gênero rígidas (ex: príncipes corajosos salvando princesas indefesas).
• Desafio: Embora modelos de QA (Resposta a Perguntas) performem bem em conjuntos de dados como o FairytaleQA, não está claro se eles compreendem a narrativa ou se apenas exploram correlações de gênero aprendidas nos dados de treinamento.
• Objetivo: Avaliar a robustez dos modelos quando confrontados com narrativas que violam esses estereótipos (narrativas contrafactuais) e determinar se o treinamento com dados aumentados pode mitigar esses vieses.

2. Metodologia

Os autores utilizaram o conjunto de dados FairytaleQA (278 contos de fadas culturalmente diversos com 10.580 perguntas) e aplicaram Aumento de Dados Contrafactual (CDA) para perturbar as informações de gênero.

Abordagens de Perturbação

Foram testadas três técnicas para criar versões contrafactuais dos dados (trocando substantivos e pronomes de gênero, mantendo os rótulos de verdade):

1. Tradução Baseada em Regras: Utiliza um dicionário estático de pares de palavras (ex: prince $\leftrightarrow$ princess, seamstress $\leftrightarrow$ tailor). É controlado, mas limitado a um domínio específico.
2. Reescrita por LLM: Utiliza um LLM (GPT-3.5-turbo) para reescrever o texto alterando o gênero. Oferece maior flexibilidade, mas pode introduzir inconsistências ou alterar adjetivos não relacionados.
3. Tradução Baseada em Regras Assistida por LLM: Combina as duas abordagens. Usa um tagger POS (NLTK) para identificar palavras e, se não estiverem no dicionário, consulta o LLM para gerar o par oposto. Este método busca equilibrar precisão e adaptabilidade.

Configuração Experimental

• Modelos Base: T5 e BART, fine-tuned no FairytaleQA original.
• Experimentos:
  1. Sensibilidade: Testar modelos treinados no conjunto original contra dados de teste perturbados (contrafactuais).
  2. Robustez via Fine-tuning: Treinar modelos em três cenários: (a) apenas dados contrafactuais, (b) 50% original + 50% contrafactual, e (c) 100% original + 100% contrafactual.
• Métricas: Pontuação ROUGE-L F1 para avaliação de QA e uma análise qualitativa/quantitativa para geração de histórias (caso de estudo).
• Nota Importante: Nomes próprios (ex: Cinderella) não foram alterados para evitar viés cultural adicional, focando apenas em substantivos e pronomes comuns.

3. Principais Resultados

Sensibilidade a Perturbações

• Modelos fine-tuned no conjunto original sofreram uma queda consistente de desempenho ao serem testados em dados perturbados (contrafactuais).
• Isso indica que os modelos dependem fortemente de correlações de gênero aprendidas (estereótipos) para responder corretamente, em vez de compreender a lógica narrativa.
• A queda foi mais pronunciada em perguntas extrativas (onde a resposta está explícita no texto) do que em perguntas abstrativas (que exigem raciocínio), sugerindo que o modelo falha ao tentar extrair informações quando o padrão de gênero esperado é violado.

Impacto do Fine-tuning com Dados Contrafactuais

• Melhoria na Robustez: Modelos fine-tuned em dados mistos (50% original + 50% contrafactual) mostraram maior robustez em testes contrafactuais, mantendo um desempenho estável.
• Equilíbrio: O modelo treinado na mistura 50/50 conseguiu lidar bem tanto com narrativas normativas quanto contrafactuais, superando modelos treinados apenas em dados contrafactuais (que sofreram uma leve queda no desempenho original).
• Isso demonstra que a inclusão de exemplos contrafactuais não degrada a capacidade geral do modelo, mas sim a torna mais inclusiva e menos dependente de estereótipos.

Estudo de Caso: Geração de Histórias Inclusivas

• Ao usar LLMs para gerar novos contos de fadas baseados em prompts contrafactuais, as histórias resultantes apresentaram:
  • Maior coerência e continuidade.
  • Foco em traços de personalidade em vez de aparências físicas.
  • Redução na propagação de estereótipos de gênero (ex: personagens femininas agindo como líderes ou heróis sem violar a lógica da história).
  • Pontuação qualitativa superior (5.67/6.0) comparada às histórias geradas a partir de prompts originais (4.93/6.0).

4. Contribuições Chave

1. Avaliação de Viés em Narrativas: Demonstrou empiricamente que modelos de linguagem são sensíveis a perturbações de gênero em tarefas de compreensão de leitura, revelando dependência de estereótipos.
2. Método de Aumento de Dados: Propôs e avaliou uma abordagem híbrida (LLM-assisted rule-based) para geração de dados contrafactuais, superando limitações de métodos puramente baseados em regras ou puramente generativos.
3. Estratégia de Mitigação: Evidenciou que o fine-tuning com uma mistura de dados originais e contrafactuais é uma estratégia eficaz para criar modelos robustos e inclusivos, sem sacrificar significativamente a precisão geral.
4. Aplicação Prática: Mostrou que a inclusão de dados contrafactuais melhora a qualidade e a diversidade de histórias geradas por IA, alinhando-se a princípios de ensino culturalmente responsivo.

5. Significância e Limitações

• Significância: O trabalho fornece um caminho prático para mitigar vieses de gênero em LLMs aplicados a domínios educacionais e criativos. Sugere que a simples exposição a narrativas que desafiam estereótipos durante o treinamento pode "desaprender" preconceitos e fomentar uma IA mais inclusiva.
• Limitações:
  • O estudo opera dentro do binário de gênero normativo (masculino/feminino), não abordando indivíduos não-binários ou de gênero não-conforme.
  • A análise focou principalmente no viés de gênero, ignorando interseccionalidades com raça, classe e padrões de beleza, que também são prevalentes em contos de fadas.

Em resumo, o artigo conclui que os modelos atuais são sensíveis a estereótipos de gênero, mas que a aumentação de dados contrafactuais é uma ferramenta poderosa e necessária para desenvolver sistemas de IA mais justos, robustos e capazes de compreender narrativas complexas além dos preconceitos aprendidos.