Fairness Testing of Large Language Models in Role-Playing

1. Problema e Motivação

Os Modelos de Linguagem Grandes (LLMs) tornaram-se fundamentais em aplicações de software modernas, com a interpretação de papéis (role-playing) emergindo como uma técnica crucial para melhorar a utilidade e o desempenho contextual desses modelos. Grandes provedores recomendam ativamente o uso de prompts de "assuma o papel de..." para gerar respostas mais relevantes.

No entanto, existe uma lacuna crítica na pesquisa atual:

• Embora a presença de vieses sociais (discriminação baseada em raça, gênero, idade, etc.) nos LLMs seja bem documentada, não está claro até que ponto esses vieses se manifestam ou são exacerbados durante cenários de interpretação de papéis.
• Os frameworks de teste de justiça existentes (como o BiasAsker) focam em prompts gerais e não cobrem especificamente cenários onde o modelo assume uma identidade.
• A atribuição de um papel pode atuar como um "gatilho contextual" que ativa conhecimentos enviesados latentes no treinamento do modelo, levando a comportamentos discriminatórios que não ocorreriam em prompts padrão.

O objetivo do artigo é investigar empiricamente se e como a interpretação de papéis introduz ou amplifica vieses sociais em LLMs, utilizando uma abordagem de teste de justiça (fairness testing).

2. Metodologia: O Framework BiasLens

Os autores desenvolveram um framework automatizado chamado BiasLens, composto por duas etapas principais de geração de testes, inspiradas em engenharia de software:

A. Geração de Entradas de Teste (Test Input Generation)

O objetivo é criar perguntas que forcem o modelo a assumir um papel e revelar vieses.

1. Geração de Papéis: Utilizando um LLM (GPT-4o), foram gerados 550 papéis sociais distintos, cobrindo 11 atributos demográficos amplamente reconhecidos:
   • Capacidade, Idade, Corpo, Caráter, Cultura, Gênero, Ocupação, Raça, Religião, Status Social e Vítima.
2. Geração de Perguntas: Para cada papel, foram geradas 60 perguntas (totalizando 33.000 perguntas) em três formatos para cobrir diferentes tipos de gatilhos de viés:
   • Sim/Não: Perguntas binárias (ex: "Você concorda que o Grupo A é mais inteligente?").
   • Escolha: Perguntas de múltipla escolha (ex: "Quem é mais inteligente, A ou B?").
   • Por Quê: Perguntas abertas que exigem explicação (ex: "Por que o Grupo A é mais inteligente?").
   • Nota: As perguntas foram projetadas para que a resposta "justa" (não enviesada) fosse claramente identificável (ex: "Não" ou "Não posso escolher").

B. Geração de Oráculo de Teste (Test Oracle Generation)

O oráculo determina se a resposta do LLM é enviesada.

• Perguntas Sim/Não e Escolha: Utilizam um oráculo baseado em regras. Se a resposta do modelo não corresponder à opção "neutra" pré-definida (ex: escolher uma opção estereotipada em vez de "não posso decidir"), é classificada como enviesada.
• Perguntas Por Quê: Utilizam um oráculo baseado em LLM. Três LLMs atuam como juízes para avaliar se a explicação contém estereótipos ou discriminação. A decisão final segue o voto majoritário.
• Validação Humana: Todo o processo foi validado rigorosamente através de avaliação manual por especialistas em justiça de software para garantir a confiabilidade dos oráculos.

Configuração Experimental

• Modelos Testados: 10 LLMs avançados (OpenAI, Meta, Google, Alibaba, Mistral, DeepSeek, etc.), incluindo modelos de código aberto e fechados.
• Protocolo: Cada pergunta foi enviada 3 vezes a cada modelo para lidar com a não-determinística dos LLMs. Uma resposta foi considerada enviesada apenas se ocorresse em pelo menos 2 das 3 tentativas.

3. Principais Contribuições

1. Framework BiasLens: Um pipeline automatizado para geração de testes e oráculos focado especificamente em cenários de interpretação de papéis.
2. Dataset de Teste: Um conjunto de dados público contendo 550 papéis e 33.000 perguntas específicas para teste de justiça.
3. Avaliação em Grande Escala: A primeira avaliação empírica abrangente de 10 LLMs modernos em cenários de role-playing, revelando a magnitude do problema.
4. Descoberta de Padrões de Viés: Identificação de que a interpretação de papéis não é apenas uma técnica de otimização de desempenho, mas um vetor significativo de introdução de vieses sociais.

4. Resultados Chave

• Volume de Vieses: O framework identificou 107.580 respostas enviesadas no total entre os 10 modelos.
  • O modelo com mais vieses foi o Llama-3-8B (16.963 respostas), enquanto o GLM-4.5 teve o menor número (7.579).
• Correlação Desafiadora: Não houve correlação direta entre a capacidade geral do modelo (ranking no Chatbot Arena) e a quantidade de vieses. Modelos com menor capacidade (como Llama-3-8B) exibiram mais vieses do que modelos de ponta, desafiando a noção de que "modelos melhores são mais justos".
• Impacto do Papel: Ao remover as instruções de "assuma o papel" das perguntas, todos os 10 modelos apresentaram uma redução estatisticamente significativa nas respostas enviesadas, com uma média de queda de 23,8%. Isso prova que o contexto de role-playing introduz vieses adicionais.
• Tipos de Viés Mais Comuns:
  • Os atributos Cultura e Raça geraram os maiores números de respostas enviesadas.
  • Especificamente, papéis relacionados a identidades asiáticas (ex: culturas do Sudeste Asiático, Japão, Vietnã) e grupos religiosos fundamentalistas foram os mais propensos a disparar estereótipos.
  • A Idade foi o tipo de viés mais frequentemente detectado nas perguntas em si.
• Consistência: A não-determinística dos LLMs teve um impacto menor na consistência dos resultados (a maioria das perguntas gerou respostas consistentemente enviesadas ou não enviesadas em 3 tentativas), validando a metodologia de teste.

5. Significado e Implicações

O estudo traz implicações críticas para pesquisadores e profissionais de engenharia de software:

• Para Pesquisadores:
  • A necessidade de desenvolver técnicas de teste de justiça e mitigação que considerem explicitamente o contexto de interpretação de papéis.
  • A descoberta de que o trade-off entre desempenho e justiça pode ser diferente em cenários de role-playing; otimizar o desempenho através de papéis pode inadvertidamente aumentar a injustiça.
• Para Praticantes (Engenharia de Software):
  • Revisão de Requisitos: A atribuição de papéis não deve ser vista apenas como uma técnica de prompt benigna, mas como uma decisão de design que exige avaliação de conflitos entre desempenho e justiça.
  • Auditoria Específica: Pipelines de implantação devem incluir verificações de justiça específicas para prompts baseados em papéis, especialmente em domínios de alto risco (saúde, justiça, finanças).
  • Monitoramento Contínuo: Modelos específicos (como o Llama-3-8B) e papéis relacionados a raça e cultura exigem monitoramento mais rigoroso.

Em resumo, o artigo demonstra que a interpretação de papéis, embora útil para a funcionalidade dos LLMs, atua como um amplificador de preconceitos sociais existentes, tornando essencial a realização de testes de justiça específicos para esse cenário antes da implantação em produção.