SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão cada vez mais integrados em sistemas críticos, desde assistentes conversacionais até ferramentas de suporte à decisão. No entanto, há uma preocupação crescente quanto à justiça (fairness) desses modelos, especificamente sua tendência a amplificar estereótipos e reproduzir vieses sociais.

O problema central identificado pelos autores é a insuficiência dos recursos existentes para avaliar esses vieses de forma sistemática:

• Limitação de Escala e Diversidade: Conjuntos de dados anteriores (como CrowS-Pairs, StereoSet, WinoBias e BBQ) são pequenos, baseados em templates fixos ou pares de frases limitados.
• Falta de Variação Intencional: A maioria das ferramentas não considera como a intenção comunicativa (ex: fazer uma pergunta vs. dar uma recomendação) afeta o comportamento do modelo.
• Falta de Controle Semântico: Muitas vezes, é difícil isolar se a mudança na saída do modelo se deve a uma mudança no grupo demográfico ou a variações na formulação da frase.

2. Metodologia

Os autores desenvolveram o SCOPE (Stereotype-Conditioned Prompts for Evaluation), um pipeline de geração de dados em várias etapas para criar pares de prompts contrafactuais de alta qualidade.

A. Construção da Base de Conhecimento

• Fonte: Derivado do dataset CrowS-Pairs, que contém 1.508 pares de frases contrastando formulações estereotipadas e anti-estereotipadas.
• Dimensões de Viés: 9 categorias (raça, gênero, orientação sexual, religião, idade, nacionalidade, deficiência, aparência física e status socioeconômico).
• Abstração: Cada par de frases foi convertido em uma tripla estruturada <Tópico, Grupo Desvantajado, Grupo Advantajado> usando o modelo GPT-4O Mini.
• Validação Humana: As triplas foram validadas manualmente pelos autores para garantir fidelidade semântica e precisão na identificação dos grupos e relações conceituais. O resultado final foi uma base de 1.508 triplas.

B. Geração de Prompts Contrafactuais

• Condição de Intenção: A geração foi condicionada a quatro intenções comunicativas distintas, baseadas na taxonomia de Robe et al.:
  1. Pergunta (Question)
  2. Recomendação (Recommendation)
  3. Direção (Direction)
  4. Esclarecimento (Clarification)
• Processo: Para cada tripla e cada intenção, o modelo GPT-4O Mini gerou 10 prompts para o grupo desvantajado e 10 contrafactuais para o grupo advantajado.
• Restrições de Geração: O processo foi iterativamente refinado para garantir:
  1. Equivalência semântica estrita entre os pares (apenas o grupo sensível muda).
  2. Variação sintática e lexical (para evitar repetição).
  3. Reprodutibilidade.

C. Formato e Processamento

• Os dados brutos foram processados para um formato JSONL, onde cada registro contém um par contrafactual completo com metadados (tipo de viés, intenção, tópico, grupos e prompts).

3. Contribuições Principais

• Escala Sem Precedentes: O dataset contém 241.280 prompts, organizados em 120.640 pares contrafactuais.
• Diversidade Abrangente:
  • 1.438 Tópicos distintos.
  • 9 Dimensões de Viés.
  • 1.536 Grupos Demográficos únicos.
  • 4 Intenções Comunicativas.
• Controle Rigoroso: Oferece uma base semântica alinhada e controlada para isolar o efeito de atributos sensíveis no comportamento do LLM.
• Recurso Aberto: O dataset completo e os scripts de transformação estão disponíveis publicamente para pesquisa reprodutível.

4. Resultados e Estatísticas

O dataset apresenta uma distribuição equilibrada e diversificada:

• Distribuição por Intenção: 60.320 prompts por intenção (totalizando 241.280).
• Distribuição por Viés: A maior parte foca em Raça-Cor (82.480 prompts) e Gênero (41.920 prompts), mas todas as 9 dimensões possuem representação substancial.
• Diversidade de Grupos: A dimensão Raça-Cor inclui 454 rótulos de grupo distintos, permitindo análises mais granulares do que agrupamentos binários simples.

Experimento Ilustrativo

Os autores realizaram um teste piloto com o modelo gemini-2.5-flash:

• Método: Submeteram pares de prompts (ex: "como a facilidade de emprego afeta homens" vs. "mulheres") e analisaram a saída.
• Métricas: Comprimento da resposta (tokens) e sobreposição de Jaccard (similaridade lexical).
• Observação: Mesmo com tópicos e intenções idênticos, o modelo apresentou divergências nas explicações, ênfases e estruturas, resultando em baixa sobreposição lexical. Isso indica tratamento diferenciado baseado no grupo social, mesmo quando o conteúdo semântico é controlado.

5. Significância e Impacto

O SCOPE representa um avanço significativo na avaliação de LLMs por três motivos principais:

1. Avaliação de Justiça Contrafactual: Permite testar sistematicamente se um modelo trata indivíduos de forma equitativa quando apenas o grupo demográfico é alterado.
2. Análise de Robustez: Ajuda a identificar se o modelo é instável frente a perturbações de atributos sensíveis (ex: mudar o tom ou o nível de cautela dependendo do grupo).
3. Dependência da Intenção: É a primeira ferramenta em larga escala a investigar como diferentes estilos de interação (perguntas vs. recomendações) ativam ou mitigam estereótipos.

Em suma, o SCOPE fornece uma fundação controlada e semanticamente alinhada para pesquisadores e praticantes quantificarem, explicarem e mitigarem comportamentos condicionados a grupos em LLMs, superando as limitações de datasets anteriores que eram pequenos, estáticos e cegos à intenção comunicativa.