Resumo Técnico: Camellia – Avaliação de Vieses Culturais em LLMs para Línguas Asiáticas

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) se integram à tecnologia global, sua capacidade de lidar com entidades culturalmente diversas — como nomes, locais e alimentos — sem viés é crítica. Pesquisas anteriores, especificamente por Naous et al. (2024), demonstraram que os LLMs exibem preferência por entidades associadas ao Ocidente em vez de árabes. No entanto, devido à falta de benchmarks multilíngues centrados em entidades, permanece incerto se esses vieses se manifestam em outras línguas não ocidentais. O artigo identifica uma lacuna na avaliação de como os LLMs distinguem entre entidades nativas de culturas asiáticas específicas e aquelas associadas à cultura ocidental, e como esses vieses afetam o desempenho do modelo em tarefas como análise de sentimento e extração de informações.

Metodologia

Os autores introduzem o Camellia (Conjunto de Medidas de Adequação Cultural para LLMs em Línguas Asiáticas), um benchmark projetado para avaliar vieses culturais centrados em entidades em nove línguas asiáticas que representam seis culturas distintas: chinês, japonês, coreano, vietnamita, urdu, hindi, malaiala, marata e gujarati.

Construção de Dados

A construção do Camellia envolveu uma colaboração de um ano com falantes nativos e consistiu em dois componentes principais:

1. Entidades Culturais (19.530 no total):

   • Entidades Centradas na Ásia (15.821): Entidades manualmente anotadas específicas das seis culturas asiáticas, categorizadas em seis tipos: autores, pratos culinários, bebidas, nomes próprios (masculinos e femininos), locais e clubes esportivos.
   • Entidades Centradas no Ocidente (3.709): Entidades paralelas associadas à América do Norte e à Europa, traduzidas e adaptadas em todas as nove línguas para garantir comparabilidade.
   • Fonte: As entidades foram extraídas do Wikidata e do corpus de raspagem web mC4, seguidas de filtragem manual e anotação por falantes nativos para verificar a relevância cultural.

2. Contextos Mascarados (2.173 no total):

   • Derivados de discussões naturais em redes sociais (X/Twitter, Weibo, Xiaohongshu).
   • Categorizados em três tipos:
     • Camellia-Ancorado: Contextos onde apenas uma entidade da cultura asiática específica é apropriada (ex: "O prato [MASK] é famoso na Coreia").
     • Camellia-Neutro: Contextos onde entidades de qualquer cultura são apropriadas (ex: "Estou comendo [MASK] hoje").
     • Camellia-QA: Contextos com parágrafos inteiros que exigem identificação implícita de entidades para Resposta a Perguntas (QA) extrativa.
   • Cada contexto inclui rótulos de sentimento (positivo, negativo, neutro) e traduções para inglês.

Framework de Avaliação

O benchmark avalia quatro famílias recentes de LLMs multilíngues (Llama3.3-70b, Qwen2.5-72b, Aya-expanse-32b e Gemma3-27b) em três tarefas:

1. Adaptação de Contexto Cultural: Medição da Pontuação de Viés Cultural (CBS), que calcula a porcentagem de vezes em que um modelo atribui maior probabilidade a uma entidade ocidental em vez de uma asiática em um contexto culturalmente ancorado.
2. Associação de Sentimento: Análise de se substituir entidades asiáticas por ocidentais em uma frase altera o sentimento previsto pelo modelo (medindo taxas de falso negativo/positivo).
3. QA Extrativa de Entidades: Avaliação da precisão na extração de entidades de contextos longos, comparando o desempenho em entidades asiáticas versus ocidentais.

Principais Resultados

1. Dificuldades com Adaptação Cultural

Os modelos frequentemente falham em distinguir entre entidades asiáticas e ocidentais em contextos culturalmente ancorados.

• Alta CBS: Na maioria das línguas e modelos, a Pontuação de Viés Cultural (CBS) variou entre 30% e 40%. Isso indica que, em uma parcela significativa dos casos, os modelos preferem entidades ocidentais mesmo quando o contexto exige explicitamente uma asiática.
• Falta de Sensibilidade: O desempenho não melhorou significativamente em contextos culturalmente neutros, sugerindo que os modelos carecem de sensibilidade a pistas de ancoragem cultural.
• Variância do Modelo: O desempenho variou conforme a origem do modelo. Por exemplo, o Qwen2.5-72b (desenvolvido pela Alibaba) teve desempenho significativamente melhor em tarefas de chinês, japonês e coreano em comparação com outros modelos, provavelmente devido a uma melhor cobertura de dados de pré-treinamento.

2. Associações de Sentimento Divergentes

Diferentes famílias de modelos exibiram vieses distintos na forma como vincularam culturas ao sentimento:

• Llama e Gemma tenderam a associar entidades ocidentais a sentimentos negativos com mais frequência.
• Qwen frequentemente associou entidades asiáticas a sentimentos positivos, particularmente em línguas indianas.
• Essas descobertas sugerem que modelos desenvolvidos em diferentes regiões podem codificar vieses culturais conflitantes, impactando a equidade em etapas subsequentes.

3. Lacunas de Desempenho na Extração de Entidades

• Línguas Asiáticas: Em tarefas de QA extrativa, os modelos geralmente alcançaram maior precisão ao extrair entidades associadas à cultura asiática respectiva em comparação com entidades ocidentais. No entanto, foram observadas lacunas significativas de precisão (10–20%) em várias línguas (por exemplo, vietnamita, urdu e várias línguas indianas), indicando uma dificuldade em compreender o contexto cultural implícito em ambientes não ingleses.
• Linha de Base em Inglês: Quando testados em traduções paralelas para inglês, essas lacunas culturais desapareceram em grande parte (majoritariamente 1–5%), confirmando que o viés é específico ao tratamento de contextos culturais não ingleses.

4. Correlação com Tokenização

Uma análise dos tokenizadores dos modelos revelou uma correlação entre a cobertura de scripts no vocabulário do tokenizador e o desempenho do modelo. Modelos com maior cobertura do script de uma língua específica (por exemplo, Qwen para scripts CJK, Llama para scripts indo-arianos) tenderam a exibir Pontuações de Viés Cultural mais baixas, sugerindo que a representação dos dados de pré-treinamento é um fator chave na mitigação de vieses.

Significado e Afirmações

O artigo afirma que o Camellia fornece o primeiro benchmark abrangente e centrado em entidades para medir vieses culturais em nove línguas asiáticas. Seu significado reside em:

• Revelar Viés Sistêmico: Demonstrar que os LLMs multilíngues atuais lutam para se adaptar a contextos culturais não ocidentais, frequentemente recorrendo a associações ocidentais mesmo quando inadequadas.
• Destacar Disparidades Regionais: Mostrar que o desempenho do modelo e os perfis de viés são fortemente influenciados pela região de desenvolvimento e pela composição dos dados de pré-treinamento.
• Fornecer um Recurso: Oferecer um conjunto de dados manualmente curado de 19.530 entidades e 2.173 contextos mascarados para apoiar pesquisas futuras no desenvolvimento de LLMs multilíngues mais culturalmente justos e eficientes.

Os autores concluem que, embora os LLMs estejam se tornando mais multilíngues, eles permanecem sensíveis a associações culturais de maneiras que podem levar a decisões enviesadas e desempenho deficiente em domínios culturais específicos. O benchmark serve como uma ferramenta para medir essas disparidades e orientar o desenvolvimento de modelos mais equitativos.