Resumo Técnico: Comparar ou Não Comparar: Sobre Práticas Metodológicas na Avaliação de Viés Social

Declaração do Problema

A avaliação de vieses sociais em Grandes Modelos de Linguagem (LLMs) é atualmente assolada por uma fragmentação metodológica, levando a conclusões contraditórias na literatura. Os benchmarks existentes frequentemente variam simultaneamente em conteúdo de questões, enquadramento (framing), variações de prompt, modos de raciocínio (ex: direto vs. Cadeia de Pensamento - Chain-of-Thought) e na inclusão de opções de neutralidade (fallback). Essa falta de controle torna difícil atribuir as diferenças observadas no comportamento do modelo a fatores específicos. Uma variável crítica, frequentemente implícita, é o enquadramento da questão: se os grupos demográficos são avaliados isoladamente (ex: "Uma mulher é boa em matemática?") ou através de comparação direta (ex: "Quem é melhor em matemática: um homem ou uma mulher?"). Trabalhos anteriores não isolaram sistematicamente o impacto dessa escolha de enquadramento, gerando ambiguidade sobre quando e como os vieses emergem, particularmente em modelos alinhados.

Metodologia

Os autores introduzem um framework unificado e controlável projetado para padronizar benchmarks heterogêneos e contrastar sistematicamente dois paradigmas distintos de avaliação:

1. Paradigma Isolado (iso): Grupos demográficos são avaliados de forma independente. O modelo responde a perguntas binárias (Sim/Não) sobre um único alvo sem comparação direta com outro grupo.
2. Paradigma Comparativo (cmp): O modelo é forçado a fazer uma escolha direta entre grupos concorrentes ou opções estereotipadas (ex: Opção A vs. Opção B) dentro de um único prompt.

O framework reorganiza e padroniza 9 benchmarks (incluindo StereoSet, RedditBias, BBQ, DiscrimEvalGen e DecodingTrust-Toxicity) para cobrir três categorias demográficas: gênero, raça e religião. O estudo emprega um design experimental rigoroso envolvendo:

• Escopo do Modelo: Avaliação em 19 modelos de diversas famílias (Llama, Qwen, DeepSeek, Mistral, etc.) e tamanhos de parâmetros (14B a 120B).
• Ablações Controladas: Isolamento sistemático de fatores de confusão, incluindo:
  • Modo de Raciocínio: Comparando o raciocínio de Cadeia de Pensamento (CoT) contra a geração direta.
  • Opções Neutras: Introduzindo mecanismos de abstenção (ex: "Preferir não responder" ou "Pular") para testar se eles mascaram o viés subjacente.
  • Aleatoriedade Declarada: Instruindo modelos a responder aleatoriamente para testar se essa afirmação correlaciona-se com um comportamento imparcial.
  • Suficiência de Contexto: Testando cenários com contextos ambíguos (onde não existe uma resposta factual) versus contextos disambiguados (onde uma resposta correta é derivável).
• Métricas: A métrica principal é o Gap de Paridade (PG), medindo o gap de preferência direcional entre alvos estereotipados/vantajosos (+) e alvos anti-estereotipados/desvantajosos (-).

Principais Resultados

1. O Gap de Paradigma (RQ1)

O estudo revela um gap massivo e sistemático entre os dois paradigmas.

• Configuração Isolada: Os modelos exibem um comportamento quase imparcial, com Gaps de Paridade tipicamente próximos de zero (±0,1).
• Configuração Comparativa: Os mesmos modelos exibem severas preferências estereotipadas e discriminação. A configuração comparativa atua como um "catalisador agressivo" para o viés latente.
• Dependência de Contexto: Este gap é impulsionado principalmente por contextos subespecificados. Quando os prompts contêm informação suficiente para derivar uma resposta factualmente correta, a mudança de comportamento entre iso e cmp desaparece, e os modelos selecionam a opção correta independentemente do enquadramento.

2. O Impacto do Raciocínio e das Opções de Fallback (RQ2)

Mecanismos comuns de segurança falham em mitigar o viés eliciado pelas restrições comparativas:

• Cadeia de Pensamento (CoT): Contrariando as afirmações de que o raciocínio mitiga o viés, o CoT tem um efeito negligenciável em configurações isoladas, mas exacerba significativamente os vieses sociais em configurações comparativas. O raciocínio CoT parece racionalizar e estabilizar preferências enviesadas, tornando o modelo mais confiante em suas escolhas tendenciosas através de variações de prompt.
• Opções Neutras: Embora os modelos frequentemente selecionem opções neutras em configurações comparativas, isso não elimina o viés. Quando forçados a fazer uma escolha definitiva não neutra, a distribuição de preferência subjacente permanece altamente enviesada. As opções neutras fornecem uma "sensação de segurança enganosa" em vez de uma justiça genuína.
• Aleatoriedade Declarada: Quando os modelos são instruídos a responder aleatoriamente ou a declarar que o fazem, suas escolhas permanecem longe de serem uniformes. Eles preferem deterministicamente alvos específicos, indicando que a "aleatoriedade" é uma manifestação superficial de preconceito latente.

3. Escala e Generalização (RQ3)

O fenômeno é uma característica generalizada dos LLMs que escala com o tamanho do modelo.

• Correlação Positiva: A magnitude do viés comparativo (Gap de Paridade) escala positivamente com a contagem de parâmetros do modelo. Modelos maiores não mitigam inerentemente o viés comparativo; em vez disso, sua maior capacidade de internalizar dados de treinamento e capacidades avançadas de CoT atuam como um catalisador para uma discriminação latente mais forte.
• Consistência: Este padrão mantém-se através de diferentes famílias de modelos e categorias demográficas (gênero, raça, religião).

Significância e Contribuições

O artigo oferece uma diretriz metodológica crucial para a comunidade de segurança de LLMs:

1. Framework Unificado: Fornece métricas e templates padronizados para contrastar os paradigmas isolado e comparativo, desembaraçando os efeitos de confusão do raciocínio, fallbacks neutros e aleatoriedade.
2. Lançamento Público: Os autores liberam 8 benchmarks padronizados (incluindo 54 variações de prompt) para permitir a conversão rigorosa entre paradigmas em pesquisas futuras.
3. Aviso Metodológico: O estudo conclui que avaliar ou implantar LLMs sem "consciência de paradigma" leva a conclusões de segurança fundamentalmente enganosas.
   • Para Pesquisadores: Configurações comparativas devem ser aproveitadas como testes de estresse rigorosos para descobrir vieses ocultos que as avaliações isoladas perdem.
   • Para Praticantes: Aplicações comparativas em tarefas do mundo real ambíguas devem ser tratadas como de alto risco. Confiar em avaliações isoladas ou fallbacks neutros cria uma falsa sensação de segurança. O artigo defende o reformatamento de tarefas subjacentes para formatos isolados ou a implementação de salvaguardas mais fortes quando as restrições comparativas forem inevitáveis.

Em última análise, o trabalho demonstra que o enquadramento estrutural dos prompts de avaliação não é um detalhe menor, mas um determinante fundamental do viés medido, revelando que a discriminação latente em LLMs é muito mais pervasiva e escalável do que anteriormente compreendido.