Resumo Técnico: Mais Severo com o Homem? Avaliando LLMs quanto ao Enquadramento Moral de Assimetria de Gênero em Diversos Cenários de Conflito

Declaração do Problema

Pesquisas existentes sobre viés de gênero em Grandes Modelos de Linguagem (LLMs) têm se concentrado predominantemente em estereótipos estáticos, associações ocupacionais e saídas explicitamente prejudiciais. No entanto, à medida que os LLMs evoluem para assistentes alinhados para interações do mundo real, o viés pode se manifestar de forma mais sutil na maneira como os modelos julgam comportamentos idênticos baseados no gênero do ator. Os métodos de avaliação atuais — como trocas lexicais, perguntas de escolha forçada ou testes de associação estática — falham em capturar como os LLMs geram respostas de formato longo e aberto em cenários sociais e íntimos realistas. Especificamente, há uma falta de frameworks que possam isolar o gênero do ator enquanto controlam rigorosamente a severidade, o contexto e a natureza da má conduta para determinar se os modelos aplicam padrões morais consistentes.

Metodologia: GAMA-Bench

Para abordar essa lacuna, os autores introduzem o GAMA-Bench, um benchmark de espelhamento de gênero projetado para avaliar diferenças de enquadramento de resposta sob condições correspondentes.

Construção do Conjunto de Dados

O benchmark consiste em 1.298 instâncias de cenários divididas em duas trilhas paralelas:

1. Trilha Íntima: Cobre conflitos em relacionamentos próximos (ex: controle financeiro, invasão de privacidade, chantagem emocional, violência leve).
2. Trilha Pública: Cobre conflitos sociais não íntimos (ex: falsas acusações, bullying no trabalho, disputas públicas).

O pipeline de construção garante um controle rigoroso:

• Templates Neutros de Gênero: Os cenários são primeiro gerados como esqueletos de gênero cego usando placeholders (ex: [AGRESSOR], [VITIMA]) para definir a má conduta, o contexto, a severidade (L1–L3) e o estilo retórico.
• Revisão Cross-Model: Os templates são auditados por diferentes LLMs para garantir que não contenham pistas de gênero implícitas, estereótipos ou elementos não realistas.
• Espelhamento Determinístico: Cada template é compilado em um par de prompts de primeira pessoa. As únicas variáveis alteradas são o gênero do ator e as referências de papel correspondentes (ex: "Eu sou um homem/mulher" e "meu namorado/namorada"). Todos os outros elementos (comportamento, severidade, tom) permanecem idênticos.

Protocolo de Avaliação

Em vez de classificação binária (prejudicial vs. não prejudicial), os autores propõem um protocolo de enquadramento de resposta estruturado. Um LLM avaliador (principalmente Gemini-3-Pro, com verificações de robustez usando GPT-5.4) mapeia as respostas de formato aberto dos modelos em seis métricas detalhadas:

1. Linguagem Punitiva: Frequência de linguagem condenatória ou orientada a sanções.
2. Linguagem Terapêutica: Frequência de linguagem empática, contextualizadora ou mitigadora.
3. Classificação de Severidade: O grau de escalada de risco (escala de 1–5).
4. Empatia com o Agressor: A porcentagem de texto dedicada a compreender os sentimentos do ator.
5. Enquadramento Instrucional/Acusatório: A porcentagem de texto dedicada a dar lições ou corrigir o ator.
6. Atribuição de Culpa Total: Se a resposta atribui total responsabilidade ao ator.

Configuração Experimental

O estudo avaliou 10 LLMs de última geração, incluindo modelos proprietários (GPT-5.2/5.4, Gemini-2.5/3-Pro, Doubao, Kimi) e modelos de código aberto (Qwen3/3.5, DeepSeek, MiniMax). A avaliação também incluiu estudos de ablação sobre escala de modelo (0.6B a 8B), pós-treinamento (Base vs. Instruct) e modos de raciocínio (Cadeia de Pensamento/Chain-of-Thought).

Principais Resultados

Os experimentos revelam uma consistente assimetria de desvantagem masculina em todos os modelos testados e em ambas as trilhas:

• Trilha Íntima: Atores do sexo masculino recebem um enquadramento significativamente mais severo do que atores do sexo feminino para a exata mesma má conduta.
  • Punitivo & Culpa: Atores masculinos recebem aproximadamente 3,3 palavras punitivas a mais, 14% mais enquadramento instrucional/acusatório e 23% mais atribuição de culpa total.
  • Terapêutico & Empatia: Atores femininos recebem aproximadamente 1,3 palavras terapêuticas a mais e 9% mais empatia pelo agressor.
  • Severidade: Atores masculinos recebem classificações de severidade 0,40 pontos mais altas, em média.
• Trilha Pública: A mesma assimetria direcional persiste, embora a magnitude das lacunas seja menor (ex: ~9% de maior enquadramento instrucional para homens).
• Robustez:
  • Escala do Modelo: Modelos maiores não resolvem o viés; em alguns casos, a escala exacerba o viés punitivo contra homens.
  • Pós-Treinamento: Modelos ajustados por instrução amplificam o enquadramento punitivo em relação aos homens comparados aos modelos base.
  • Raciocínio: O raciocínio estendido (Chain-of-Thought) não corrige a assimetria e, às vezes, amplia as lacunas.
  • Consistência do Avaliador: Os resultados permanecem estáveis ao alternar avaliadores (Gemini-3-Pro vs. GPT-5.4), com um acordo direcional de 97,5%.
  • Validação Humana: Avaliadores especialistas confirmaram que as métricas automatizadas alinham-se com as diferenças percebidas por humanos em termos de tom e atribuição de culpa.

Significância e Alegações

O artigo argumenta que o viés de gênero em LLMs não se limita a julgamentos finais ou estereótipos explícitos, mas está profundamente inserido no enquadramento linguístico de interações abertas.

• Duplo Padrão Dinâmico: O estudo demonstra que os LLMs aplicam um "duplo padrão moral dinâmico", tratando comportamentos negativos idênticos como questões disciplinares que exigem sanção quando realizados por homens, mas como questões relacionais ou emocionais que exigem explicação e mitigação quando realizados por mulheres.
• Além dos Rótulos Finais: Os autores alegam que a avaliação de justiça deve ir além dos rótulos finais (ex: "enviesado/não enviesado") para examinar o processo de julgamento, incluindo o tom, a escalada de risco e a atribuição de responsabilidade.
• Natureza Sistêmica: A persistência desta assimetria através de famílias de modelos, escalas e modos de raciocínio sugere que se trata de uma característica fundamental e onipresente dos atuais LLMs alinhados, em vez de um artefato de arquiteturas específicas de modelos ou ruído de dados de treinamento.

O artigo conclui que o GAMA-Bench fornece um framework necessário para diagnosticar esses vieses sutis baseados em enquadramento, que são críticos para o uso de LLMs em domínios sensíveis como aconselhamento de relacionamento, mediação de conflitos e julgamento moral.