Unequal Verdicts: Investigating Gender Bias in LLM-Based Fake News Detection

Resumo Técnico: Veredictos Desiguais: Investigando o Viés de Gênero na Detecção de Fake News Baseada em LLMs

Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implementados para a verificação automatizada de fatos e detecção de notícias falsas, sua suscetibilidade ao viés de gênero neste contexto específico permanece subexplorada. A literatura existente reconhece que os LLMs herdam estereótipos sociais de seus dados de treinamento, mas nenhum estudo quantificou sistematicamente como pistas de gênero nos atributos do locutor afetam os julgamentos de veracidade de declarações idênticas. Essa lacuna representa um risco à confiabilidade e à equidade dos sistemas de verificação de fatos automatizados, pois a rotulagem enviesada pode distorcer o discurso público ao amplificar ou suprimir vozes específicas baseando-se apenas no gênero percebido.

Metodologia
Para abordar essa lacuna, os autores conduziram a primeira investigação sistemática do viés de gênero na detecção de notícias falsas baseada em LLM usando dados do mundo real.

• Aumento de Conjunto de Dados: O estudo utilizou o benchmark LIAR, uma coleção de declarações curtas rotuladas manualmente do PolitiFact. Os autores aumentaram este conjunto de dados modificando a coluna speaker_job (cargo do locutor). Para cada declaração, eles geraram três variantes de gênero para o título do cargo do locutor: Neutro (ex: "Advogado/a"), Masculino (ex: "Conselheiro") e Feminino (ex: "Presidente/Chairwoman"). As declarações em si permaneceram idênticas, garantindo que apenas a apresentação de gênero variasse.
• Curadoria de Dados: O processo envolveu a filtragem de entradas que não eram pessoas e casos onde o gênero do locutor era revelado indiretamente (ex: por nome ou contexto específico). O conjunto de dados final curado consistiu em 8.243 amostras (4.805 Verdadeiras, 3.438 Falsas), com cada instância pareada com três variantes de gênero.
• Configuração Experimental: Seis LLMs de última geração foram avaliados: cinco modelos de código aberto (Phi-4 14B, Llama-3.1 8B, Llama-3.2 3B, Gemma-3 12B, Qwen-3 14B) e um modelo proprietário (GPT-4.1 Mini). Os modelos foram instruídos via prompt a classificar as declarações como "VERDADEIRO" ou "FALSO" com base na declaração e na variante de gênero específica do locutor.
• Métricas de Avaliação: Os autores projetaram um framework abrangente para medir o viés em três dimensões:
  1. Instabilidade (Taxas de Inversão/Flip Rates): Medindo a frequência com que as previsões mudam quando a variante de gênero muda (Taxa de Inversão Pareada, Taxa de Inversão Direcional, Taxa de Inversão Condicional).
  2. Desacordo Agregado: Medindo a sensibilidade geral a pistas de gênero (Índice de Sensibilidade de Pista de Gênero - GSI, Taxa de Desacordo Único - UDR).
  3. Disparidades de Equidade: Avaliando diferenças sistemáticas entre as variantes Masculina e Feminina usando Paridade Demográfica (DP), Igualdade de Chances (EO) e Igualdade de Oportunidades (EOpp).

Principais Contribuições

1. Criação de Conjunto de Dados: Construção de um conjunto de dados LIAR aumentado com títulos de cargos de locutores com variantes de gênero, permitindo a investigação controlada do viés de gênero na detecção de notícias falsas.
2. Framework de Avaliação: Design de um framework multi-métrica para examinar sistematicamente o viés de gênero, distinguindo entre instabilidade de previsão e favoritismo direcional sistemático.
3. Evidência Empírica: Demonstração de que todos os modelos avaliados exibem sensibilidade de gênero, revelando duas manifestações distintas de viés: instabilidade (julgamentos inconsistentes) e direcionalidade (favoritismo sistemático).
4. Liberação de Recursos: Liberação pública do conjunto de dados aumentado para apoiar pesquisas futuras e estratégias de mitigação.

Resultados Experimentais
O estudo descobriu que todos os seis modelos exibiram sensibilidade de gênero, embora a magnitude e a natureza do viés tenham variado significativamente:

• Instabilidade: As taxas de inversão total (onde uma declaração recebeu rótulos diferentes através das variantes de gênero) variaram de 9,79% a 35,13%. Especificamente, as comparações Masculino–Feminino mostraram taxas de inversão entre 6,5% e 23,6%. Isso indica que até quase uma em cada quatro declarações recebeu veredictos diferentes baseados apenas em pistas de gênero.
• Viés Direcional: Cinco dos seis modelos mostraram efeitos direcionais estatisticamente significativos.
  • Viés de Ceticismo Masculino: Gemma-3 12B e Llama-3.1 8B exibiram os padrões mais fortes, atribuindo sistematicamente mais rótulos "Falso" a locutores codificados como masculinos.
  • Viés de Ceticismo Feminino: Phi-4 14B e Qwen-3 14B mostraram tendências menores de atribuir mais rótulos "Falso" a locutoras codificadas como femininas, embora com magnitude prática negligenciável.
  • GPT-4.1 Mini: Este modelo demonstrou superioridade em equidade, sem efeitos direcionais significativos e com as menores taxas de inversão geral (5,8%–7,1%).
• Sensibilidade à Verdade: Cinco dos seis modelos mostraram maior sensibilidade a pistas de gênero para declarações com uma verdade de referência ("ground truth") verdadeira, sugerindo que as pistas de gênero modulam o ceticismo mais fortemente quando as afirmações carecem de sinais óbvios de falsidade.
• Alinhamento de Segurança: O GPT-4.1 Mini exibiu um padrão único onde a variante Neutra teve uma taxa de desacordo maior do que as variantes Masculina ou Feminina, potencialmente indicando que termos de gênero explícitos acionam mecanismos de alinhamento de segurança que impõem consistência.

Significância e Alegações
O artigo alega que o viés de gênero compromete fundamentalmente tanto a confiabilidade quanto a equidade da detecção de notícias falsas baseada em LLM. Os autores afirmam que os LLMs atuais não podem servir como sistemas de verificação de fatos imparciais sem mitigação direcionada. No entanto, eles também destacam que a natureza específica de cada modelo desses vieses sugere oportunidades acionáveis para intervenção na arquitetura, nos dados de treinamento e nas estratégias de alinhamento. A descoberta de que o GPT-4.1 Mini alcançou um desempenho altamente equitativo serve como evidência de que a verificação de fatos automatizada e justa é alcançável. Os autores concluem que a avaliação consciente do viés e as estratégias de mitigação são essenciais para utilizar o potencial dos LLMs na verificação de informações de forma responsável.