A Japanese Benchmark for Evaluating Social Bias in Reasoning Based on Attribution Theory

Visão Geral

O artigo apresenta o JUBAKU-v2, um novo benchmark (conjunto de dados de avaliação) projetado para avaliar vieses sociais em Modelos de Linguagem de Grande Escala (LLMs) no contexto cultural japonês. Diferente de abordagens anteriores, este estudo foca especificamente no raciocínio do modelo, e não apenas na conclusão final, utilizando a Teoria da Atribuição da psicologia social como base teórica.

---

1. O Problema

Os autores identificam duas lacunas críticas nas avaliações atuais de viés em LLMs japoneses:

• Dependência de Tradução: A maioria dos benchmarks existentes (como JBNLI e JBBQ) baseia-se na tradução de dados em inglês, o que falha em capturar estereótipos e normas culturais específicas do Japão.
• Foco na Conclusão: As avaliações tradicionais focam no resultado final (conclusão). No entanto, estudos recentes indicam que LLMs alinhados podem produzir conclusões superficialmente neutras, enquanto o raciocínio subjacente ainda contém vieses sociais.
• Falta de Sensibilidade: Os benchmarks atuais saturaram-se com modelos de alto desempenho, tornando difícil distinguir diferenças sutis de qualidade entre os melhores modelos (ex: GPT-4o vs. GPT-5.2).

---

2. Metodologia

Definição Teórica: Teoria da Atribuição

O estudo baseia-se no Erro de Atribuição Última (Pettigrew, 1979). Um viés é definido quando:

1. Atribuição Interna Excessiva: Inferir características internas (personalidade, habilidade, intenção) de um indivíduo de um grupo externo (out-group) baseando-se apenas em seus atributos, sem verificação factual.
2. Atribuição Externa Excessiva: Atribuir conquistas de indivíduos a fatores externos e subestimar suas capacidades.

Construção do Dataset (JUBAKU-v2)

O dataset foi construído em três etapas principais para eliminar fatores de confusão (como a utilidade da proposta):

1. Geração Livre de Confusão: Utilizando dados semente do JUBAKU v1, o modelo GPT-5.1 reescreveu diálogos para garantir que ambas as opções de resposta (viés vs. neutra) tivessem a mesma conclusão/proposta. A única diferença residia no raciocínio (se baseava em suposições atributivas ou em fatores situacionais).
2. Seleção de Casos Indutores de Viés: O GPT-4o foi usado para selecionar casos onde o modelo tendia a escolher a opção enviesada.
3. Revisão Humana: Autores e avaliadores nativos japoneses revisaram os casos. Apenas casos com alta concordância humana (mínimo de 3 em 6 avaliadores escolhendo a resposta neutra) foram mantidos.

Estatísticas do Dataset:

• Total de casos: 216 exemplos (derivados de 27 casos base × 2 ordens de resposta × 4 templates de instrução).
• Categorias Culturais: 10 categorias (Gênero, Religião, Nacionalidade/Etnia, Educação, Raça, Região, Emoções/Valores, Comida/Beber, Comportamentos Básicos, Nome).
• Validação: Taxa média de concordância humana de 72%.

Configuração Experimental

• Modelos Avaliados: 9 modelos, incluindo API (GPT-4o, GPT-5.2, Claude 4 Sonnet) e modelos de pesos abertos (Qwen3, GPT-OSS).
• Tarefa: Formato de escolha binária (Opção A ou B), onde o modelo deve selecionar a resposta "neutra" baseada nas definições de viés.
• Métricas: Acurácia (seleção correta da resposta neutra), Variância de desempenho entre modelos e Taxa de Flutuação (robustez a variações de prompt).

---

3. Resultados Principais

Desempenho Geral e Discriminabilidade

• O JUBAKU-v2 demonstrou maior variância nos resultados (0.0278) comparado a benchmarks existentes (JBNLI: 0.0137, JBBQ: 0.0008), provando sua capacidade de distinguir nuances de desempenho entre modelos de ponta.
• GPT-4o teve desempenho significativamente inferior (81.9%) comparado ao Claude 4 Sonnet (99.1%) e GPT-5.2 (98.1%).
• O modelo Qwen3-30B-Instruct obteve 48.1% de acurácia, ficando abaixo do nível de chance (50%), indicando forte viés.

Robustez (Consistência)

A taxa de flutuação mede a inconsistência do modelo quando o prompt varia ligeiramente:

• Alta Flutuação: GPT-4o (81.5%) e Qwen3-30B-Instruct (88.9%) mostraram grande instabilidade, alterando suas respostas frequentemente.
• Baixa Flutuação: GPT-5.2, Claude 4 Sonnet e GPT-OSS-120B mantiveram taxas baixas (7.4%), indicando maior robustez e consistência no julgamento ético.

Impacto do "Pensamento" (Chain-of-Thought)

Uma descoberta crucial foi a diferença entre versões do modelo Qwen3:

• Qwen3-30B-Instruct (resposta direta): 48.1% de acurácia.
• Qwen3-30B-Thinking (com processo de raciocínio): 95.8% de acurácia.
  Isso sugere que modelos que utilizam etapas de raciocínio explícito conseguem corrigir erros de atribuição intuitivos, enquanto modelos que respondem de forma "intuitiva" tendem a reproduzir vieses dos dados de treinamento.

---

4. Contribuições Chave

1. JUBAKU-v2: Criação do primeiro benchmark de viés social japonês contextualizado culturalmente e baseado na Teoria da Atribuição, focado no raciocínio e não apenas na conclusão.
2. Detecção de Diferenças Sutis: Demonstração de que o dataset consegue discriminar desempenho entre modelos de alto nível (ex: GPT-4o vs. GPT-5.2) onde outros benchmarks falham (saturação).
3. Validação de Robustez: Prova de que a arquitetura de "pensamento" (inference steps) é eficaz na mitigação de vieses de atribuição, oferecendo uma métrica para avaliar a consistência ética dos modelos.

---

5. Significado e Conclusão

O estudo destaca que a neutralidade superficial (conclusão correta) não garante a ausência de viés no processo de raciocínio. O JUBAKU-v2 oferece uma ferramenta mais sensível para avaliar a justiça cultural em LLMs, especialmente em contextos não ocidentais.

Os resultados indicam que, embora os modelos de ponta tenham melhorado, vieses latentes persistem, especialmente em modelos que não utilizam processos de raciocínio explícito. O trabalho sugere que a integração de etapas de raciocínio (como Chain-of-Thought) é uma estratégia eficaz para auto-correção de vieses cognitivos em LLMs. Futuros trabalhos visam expandir o dataset para outros idiomas e aumentar sua escala.