JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs

Título: JUBAKU: Um Benchmark Adversarial para Expor Estereótipos Culturalmente Fundamentados em LLMs Japoneses

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) incorporam vieses sociais que são profundamente moldados por normas culturais. Embora existam benchmarks estabelecidos para avaliar vieses em contextos anglófonos (como CrowS-Pairs, StereoSet e BBQ), a adaptação desses conjuntos de dados para o japonês (via tradução ou adaptação direta) falha em capturar estereótipos específicos da cultura japonesa.

• Limitações Atuais: Benchmarks existentes frequentemente ignoram nuances locais, como hierarquias sociais complexas, dialetos regionais, papéis de gênero tradicionais e a importância da comunicação indireta no Japão.
• Falha na Avaliação: Modelos que parecem seguros em benchmarks tradicionais podem exibir vieses latentes quando submetidos a cenários culturalmente específicos.
• Necessidade de Adversariedade: A avaliação padrão muitas vezes não consegue revelar vieses latentes, exigindo a construção de exemplos adversariais projetados para provocar respostas prejudiciais ou estereotipadas.

2. Metodologia: O Benchmark JUBAKU

Os autores introduzem o JUBAKU (Japanese cUlture adversarial BiAs benchmarK Under handcrafted creation), um benchmark projetado especificamente para o contexto cultural japonês, utilizando uma abordagem de construção manual e adversarial.

2.1. Definição de Categorias Culturais
O benchmark classifica os estereótipos em 10 categorias culturais baseadas em pesquisas anteriores sobre medição de cultura:

1. Gênero
2. Religião
3. Etnicidade
4. Educação
5. Raça
6. Região
7. Emoções e Valores
8. Comida e Bebida
9. Ações Básicas
10. Nomes

2.2. Processo de Criação de Dados (Abordagem Adversarial)
Diferente de métodos que usam LLMs para gerar dados de avaliação (o que pode introduzir circularidade), o JUBAKU foi criado por anotadores humanos nativos japoneses com o auxílio de um processo iterativo de adversariedade:

1. Criação Humana: Anotadores criaram diálogos simulando conversas entre um humano e um assistente, gerando dois candidatos de resposta: uma viesada (baseada em estereótipos implícitos) e uma não viesada.
2. Ataque Adversarial Iterativo: O modelo GPT-4o foi usado como "alvo" para testar os pares de respostas.
   • Se o GPT-4o escolhesse a resposta não viesada, os anotadores refinavam o contexto (edições adversariais) para tentar induzir o modelo a escolher a resposta viesada.
   • O processo repetia-se até que o modelo falhasse (escolhesse a resposta viesada) ou após um limite de tentativas.
3. Resultado Final: Foram criadas 152 instâncias base, que foram expandidas para 1.216 instâncias no total (incluindo variações de instruções e troca de ordem das respostas para mitigar viés posicional).

2.3. Definição de Viés
Uma resposta é considerada viesada se fizer suposições implícitas baseadas em estereótipos culturais, mesmo que não explicitamente declaradas no contexto. O foco é identificar se o modelo depende de estereótipos presentes em seus dados de treinamento.

3. Experimentos e Configuração

• Modelos Avaliados: Nove LLMs japoneses de última geração (incluindo Sarashina2, Qwen2.5, Swallow e calm3) em várias escalas de parâmetros (de 7B a 72B).
• Benchmarks de Comparação: O desempenho no JUBAKU foi comparado com três benchmarks existentes adaptados para o japonês:
  • JBNLI (adaptação de BiasNLI)
  • JBBQ (adaptação de BBQ)
  • SSQA-JA (adaptação de SocialStigmaQA)
• Métrica: Acurácia na seleção da resposta não viesada. Em uma tarefa de classificação binária, uma acurácia baixa indica um alto nível de viés social.

4. Resultados Principais

Os resultados demonstram uma discrepância significativa entre o desempenho em benchmarks tradicionais e no JUBAKU:

• Desempenho Abaixo do Aleatório: Todos os nove modelos japoneses obtiveram uma acurácia média de 23% no JUBAKU (variando de 13% a 33%), ficando abaixo da linha de base aleatória de 50%. Isso indica que os modelos tendem sistematicamente a escolher respostas estereotipadas.
• Comparação com Outros Benchmarks: Os mesmos modelos apresentaram acurácias muito superiores (frequentemente acima de 50% a 80%) nos benchmarks tradicionais (JBNLI, JBBQ, SSQA-JA), sugerindo que esses benchmarks falham em expor os vieses latentes específicos do Japão.
• Validação Humana: Anotadores humanos alcançaram 91% de acurácia ao identificar respostas não viesadas, confirmando que o benchmark é claro e que a dificuldade reside na capacidade dos LLMs de evitar os estereótipos.
• Generalização do Ataque: Instâncias adversariais criadas para enganar o GPT-4o também causaram quedas significativas de desempenho em outros modelos, indicando que o método de construção adversarial é robusto e generalizável.
• Análise por Categoria: Categorias como "Religião" e "Raça" exigiram mais edições para induzir o erro no GPT-4o (sugerindo maior robustez de segurança nesses tópicos), enquanto "Etnicidade" e "Região" foram mais vulneráveis.

5. Contribuições e Significância

• Primeiro Benchmark Culturalmente Grounded: O JUBAKU é a primeira avaliação de viés social para LLMs japoneses que não depende de traduções de datasets ocidentais, capturando nuances culturais locais (como tatemae vs. honne, hierarquia e regionalismo).
• Eficácia da Abordagem Adversarial: O estudo demonstra que a construção manual de dados com refinamento adversarial é superior aos métodos de tradução automática para revelar vieses latentes.
• Alerta de Segurança: Os resultados alertam que modelos que passam em avaliações padrão podem ser inseguros em cenários reais de interação cultural japonesa, reforçando a necessidade de avaliações específicas por cultura.
• Recursos Abertos: O dataset e o código foram disponibilizados publicamente para pesquisa acadêmica, com restrições éticas claras para evitar o uso malicioso dos estereótipos contidos.

6. Limitações e Considerações Éticas

• Escopo: O benchmark cobre 10 categorias, mas não esgota todos os possíveis vieses (ex: idade, orientação sexual não foram o foco principal).
• Subjetividade: A criação de dados depende da interpretação humana de normas culturais, embora a alta concordância humana (91%) mitigue isso.
• Ética: Os autores enfatizam que os estereótipos no dataset são usados estritamente para pesquisa e avaliação de segurança, não para promover discriminação. O uso comercial ou discriminatório é proibido.

Conclusão

O artigo JUBAKU estabelece um novo padrão para a avaliação de viés em LLMs não anglófonos, provando que a tradução de benchmarks ocidentais é insuficiente. Ao utilizar uma abordagem adversarial baseada em cultura local, o estudo expõe falhas críticas de segurança em modelos japoneses que permaneciam ocultas sob avaliações convencionais, fornecendo uma ferramenta essencial para o desenvolvimento de IA mais segura e culturalmente sensível.