Resumo Técnico: Modelos de Linguagem Entrelaçam Linguagem e Cultura

Declaração do Problema

As avaliações atuais de Grandes Modelos de Linguagem (LLMs) em contextos multilíngues focam predominantemente em conhecimento geral, seguimento de instruções, raciocínio matemático ou capacidades de programação. Esses benchmarks dependem frequentemente de questões de múltipla escolha (MCQs) ou respostas curtas, falhando em capturar as variações estilísticas e culturais introduzidas quando os usuários interagem com os modelos em diferentes idiomas. Além disso, os estudos de viés existentes frequentemente dependem de pistas culturais explícitas (ex: nomes, nacionalidades) dentro dos prompts, o que não reflete como os usuários formulam naturalmente consultas genéricas e abertas.

O problema central abordado é se os usuários são sistematicamente prejudicados pelo idioma que utilizam. Especificamente, os autores investigam se a qualidade da resposta e o contexto cultural incorporado nas respostas variam significativamente com base no idioma da consulta, potencialmente impactando a tomada de decisão para usuários de línguas de baixo recurso.

Metodologia

1. Construção do Dataset (Análise do WildChat)

Para preencher a lacuna na avaliação de consultas de busca de conselhos genéricos, os autores analisaram o dataset WildChat (Zhao et al. [2024]).

• Filtragem: Eles mantiveram apenas consultas em inglês, removeram consultas de programação/correção de erros (para evitar distorções de nicho) e filtraram por comprimentos entre 40–400 caracteres.
• Agrupamento (Clustering): Utilizando a biblioteca fuzzywuzzy para deduplicação e Qwen3-0.6b para embeddings, eles agruparam as consultas via o algoritmo HDBSCAN.
• Seleção: A partir desses clusters, eles curaram 20 perguntas de busca de conselhos, abertas e culturalmente neutras, cobrindo domínios como Saúde, Negócios, Educação e Entrevistas de Emprego.
• Tradução: Essas consultas foram traduzidas para Chinês, Hindi, Português Brasileiro, Suaíli e Hebraico usando o modelo Gemini-2.5-Flash (temperatura 0).

2. Modelos Avaliados

O estudo avaliou cinco famílias distintas de modelos para garantir a diversidade de provedores:

• Qwen3-14B (Provedor chinês)
• Cohere-Aya-32B e Cohere-Aya-8B (Provedor canadense, focado em multilinguismo)
• Magistral-small (Provedor francês, Mistral-AI)
• Sarvam-m (Provedor indiano, fine-tuned do Mistral-Small)

3. Estrutura de Avaliação (LLM-as-a-Judge)

Os autores empregaram uma abordagem de LLM-as-a-Judge (LLM como Juiz) para pontuar as respostas em uma escala de 1 a 5.

• Modelo Juiz: O Cohere Command-A foi selecionado por suas capacidades multilingues avançadas.
• Ablação para Robustez do Juiz: Para garantir que o próprio juiz não fosse tendencioso, os autores testaram seis configurações. A configuração ideal envolveu fornecer a consulta original e a resposta junto com 8 respostas de referência escolhidas aleatoriamente (sem avaliação), o que gerou o maior alinhamento (correlação de Pearson e Kappa de Cohen) com as pontuações de referência (ground truth).
• Rubricas de Pontuação: As respostas foram avaliadas em Detalhe/Completude, Qualidade Linguística, Correção Factual, Capacidade de Ação (Actionability) e Relevância.

4. Análise de Entrelaçamento Cultural

Para determinar se a linguagem e a cultura estão entrelaçadas:

• Classificação Cultural: Todas as respostas não inglesas foram traduzidas para o inglês e classificadas pelo LLM-as-a-Judge em contextos culturais específicos (Inglês/Ocidental, Indiano, Chinês, Africano, Latino-americano, Judeu) com base no tom, valores e visão de mundo.
• Avaliação via CulturalBench: Um subconjunto traduzido do benchmark CulturalBench (Chiu et al. [2025]) (750+ perguntas em 29 regiões) foi utilizado para testar o conhecimento cultural factual através de idiomas.
• Experimentos de Controle: Os autores testaram perturbações aleatórias anexando strings aleatórias aos prompts, comparando a variância contra a variância baseada no idioma.

Principais Resultados

1. Disparidades de Qualidade entre Idiomas

A avaliação revelou que os LLMs consistentemente fornecem respostas de menor qualidade em idiomas de baixo recurso em comparação ao inglês.

• Significância Estatística: Testes de Kruskal–Wallis confirmaram diferenças estatisticamente significativas na qualidade das respostas entre os idiomas para todos os modelos ($p < 0,05$).
• Descobertas Específicas: As respostas em Hindi, Suaíli e Hebraico foram consistentemente piores do que as em Inglês, Chinês e Português Brasileiro. Mesmo modelos treinados especificamente para uso multilingue (Cohere-Aya) mostraram desempenho degradado em Suaíli.
• Impacto do Tamanho do Modelo: Modelos maiores (Aya-32B) apresentaram lacunas de desempenho menores entre os idiomas em comparação com variantes menores (Aya-8B), sugerindo que a escala do modelo melhora a consistência translinguística.

2. Entrelaçamento Linguagem-Cultura

O estudo descobriu que a escolha do idioma altera fundamentalmente o contexto cultural da resposta, mesmo para consultas genéricas.

• Classificação Cultural: Quando as respostas não inglesas foram traduzidas para o inglês, o LLM-as-a-Judge ainda pôde classificá-las de acordo com o contexto cultural do idioma original da consulta (ex: uma consulta em Hindi gerou respostas com marcadores culturais indianos, enquanto uma consulta em Hebraico gerou respostas com marcadores culturais judeus).
• Desempenho no CulturalBench: A precisão em questões culturais factuais variou significativamente entre os idiomas para o mesmo modelo (Qwen3-14B). O teste de Kruskal-Wallis nesses dados resultou em $H = 45,5158$ e $p = 1,1395 \times 10^{-8}$, confirmando que as diferenças de desempenho não são aleatórias, mas sim ligadas ao par idioma-cultura.
• Controle: Adicionar strings aleatórias às consultas reduziu o desempenho, mas não replicou as variações estruturadas e específicas observadas ao alterar os idiomas, descartando o ruído simples como causa.

Principais Contribuições

1. Dataset de Conselhos Genéricos: Criação de um conjunto de 20 consultas de busca de conselhos, abertas e culturalmente neutras, derivadas de dados reais do WildChat.
2. Avaliação Qualitativa: A primeira avaliação qualitativa de respostas de LLMs através de idiomas para consultas genéricas de busca de conselhos, indo além de MCQs e domínios de nicho.
3. CulturalBench Traduzido: Criação e lançamento de uma versão traduzida do dataset CulturalBench para facilitar a avaliação cultural translinguística.
4. Demonstração de Entrelaçamento: Evidência empírica demonstrando que linguagem e cultura estão entrelaçadas nos LLMs; a escolha do idioma da consulta dita o contexto cultural usado na resposta, o que, por sua vez, impacta a qualidade da resposta.

Significância e Alegações

O artigo afirma que usuários que interagem com LLMs em idiomas de baixo recurso são sistematicamente prejudicados não apenas pela menor qualidade das respostas, mas também pela imposição de contextos culturais diferentes que podem não alinhar com suas necessidades ou expectativas.

Os autores argumentam que os benchmarks multilingues atuais falham em capturar essas nuances. Eles concluem que a relação entre linguagem e cultura nos LLMs não é meramente uma questão de tradução, mas um fenômeno fundamental de arquitetura e dados de treinamento. O artigo clama por:

• Melhores dados e métodos de treinamento multilingue para aumentar a uniformidade na qualidade das respostas.
• Mais pesquisas para identificar e mitigar vieses que afetam negativamente grupos com base no idioma.
• O desenvolvimento de métodos de avaliação que considerem o contexto cultural, não apenas a precisão factual.

O trabalho é modesto em seu escopo, limitado a modelos de código aberto de pequeno a médio porte e avaliação baseada em LLM, mas estabelece uma linha de base crítica para entender como a escolha do idioma molda a utilidade e o alinhamento cultural dos assistentes de IA.