Language Bias under Conflicting Information in Multilingual LLMs

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para sintetizar informações de múltiplas fontes. No entanto, o cenário de informação atual é repleto de dados contraditórios. A questão central deste trabalho é: como os LLMs multilíngues lidam com informações conflitantes e existe um viés sistemático baseado na língua em que essas informações são apresentadas?

Embora estudos anteriores tenham investigado vieses relacionados à repetição ou à posição da informação (paradigma "Agulha no Palheiro" ou Needle In A Haystack - NIAH), este estudo foca especificamente em se a língua de apresentação de fatos conflitantes influencia a escolha do modelo sobre qual informação priorizar na resposta final.

2. Metodologia

Os autores estenderam o paradigma de "Agulhas Conflitantes no Palheiro" para um cenário multilíngue controlado.

• Configuração Experimental (Haystacks):

  • Foram criados conjuntos de texto ("palheiros") contendo até 34 artigos de notícias reais (aproximadamente 25.000 palavras).
  • Os artigos originais em inglês foram traduzidos para quatro outras línguas: Chinês (cmn), Alemão (deu), Russo (rus) e Turco (tur).
  • Em cada palheiro, foram inseridas duas "agulhas" (fatos pseudo-gerados e contraditórios) sobre o mesmo tópico (ex: o nome de um vocalista de banda ou CEO de uma empresa fictícia), mas com valores diferentes ($X_1$ e $X_2$).
  • As agulhas foram inseridas em línguas diferentes dentro do mesmo contexto (ex: uma agulha em Russo e outra em Chinês).

• Variáveis Controladas:

  • Línguas das Agulhas: Combinações de pares de línguas (bilingue).
  • Língua do Prompt: O modelo foi interrogado em 5 línguas diferentes.
  • Tamanho do Contexto: Testado em contextos curtos (1.000 palavras) e longos (25.000 palavras).
  • Modelos: 12 LLMs variados, incluindo modelos da OpenAI (GPT-5.2, GPT-5 Mini/Nano), Google (Gemma), Meta (Llama), Mistral, e modelos chineses (GLM, Qwen, Yi).

• Métrica de Avaliação:

  • O modelo foi solicitado a extrair apenas o nome correto.
  • A análise focou em pares contrastivos: se a troca das línguas das agulhas resultasse na troca da resposta do modelo, isso indicaria um viés linguístico.
  • Foram gerados 4.500 consultas por modelo.

3. Principais Contribuições

1. Novo Paradigma Experimental: Introdução do paradigma de "Agulhas Conflitantes Multilíngues" para investigar vieses linguísticos em cenários de recuperação de informação realista.
2. Falha na Detecção de Conflito: Evidência empírica de que, mesmo nos modelos mais avançados (SOTA), a detecção de informações contraditórias é extremamente falha. A maioria dos modelos ignora o conflito e assertivamente fornece apenas uma resposta.
3. Padrões de Viés Consistentes: Identificação de um viés linguístico consistente através de diferentes modelos e arquiteturas, onde certas línguas são sistematicamente preferidas ou desfavorecidas.
4. Análise Geopolítica: Comparação de modelos treinados no "Ocidente" (EUA, Canadá, França) versus "Oriente" (China), revelando padrões de viés semelhantes, mas com nuances específicas.

4. Resultados Chave

A. Lidando com Informação Conflitante (RQ1)

• Ignorância do Conflito: Todos os modelos testados, incluindo o GPT-5.2, falharam em detectar a existência de conflito na grande maioria dos casos.
• Resposta Única: Em vez de relatar a ambiguidade, os modelos escolheram uma única resposta com alta confiança.
• Efeito do Tamanho do Contexto: Em contextos longos (25k palavras), a taxa de falha aumentou, com muitos modelos não conseguindo recuperar nenhuma das duas respostas corretas.

B. Viés Linguístico (RQ2 e RQ3)

• Viés Contra o Russo: Houve um viés consistente e forte contra a língua Russa. Independentemente do modelo ou do tamanho do contexto, informações em Russo foram sistematicamente ignoradas em favor de outras línguas quando em conflito.
• Viés a Favor do Chinês: Em contextos longos, houve uma preferência consistente pela língua Chinesa sobre as demais (com exceção do Turco em alguns casos).
• Independência do Modelo: Esses padrões de preferência (Russo desfavorecido, Chinês favorecido) foram observados tanto em modelos ocidentais quanto chineses, sugerindo um viés estrutural no treinamento ou na arquitetura dos LLMs atuais.
• Fator Decisivo: Embora o idioma influencie a escolha, ele não é o fator dominante em todos os casos; em cerca de 90% das interações contrastivas, outros fatores (não linguísticos) determinaram a escolha da agulha.

C. Origem do Modelo (RQ4)

• Semelhanças Globais: Modelos treinados na China e no Ocidente exibiram padrões de viés muito semelhantes (aversão ao Russo, preferência pelo Chinês).
• Diferença Específica: Modelos treinados na China mostraram uma leve tendência de viés contra o Inglês, algo não observado nos modelos ocidentais.
• Conclusão Geopolítica: A origem do modelo não altera drasticamente a natureza do viés linguístico em tarefas de recuperação de fatos, contradizendo a ideia de que modelos chineses teriam comportamentos radicalmente diferentes em questões de neutralidade factual multilíngue.

5. Significado e Conclusões

O estudo revela uma vulnerabilidade crítica nos LLMs modernos: a incapacidade de lidar com contradições factuais em ambientes multilíngues, combinada com vieses linguísticos sistemáticos que não são óbvios apenas pela análise de desempenho de tradução ou geração.

• Implicações Práticas: Para aplicações de resumo de notícias ou busca de informações, confiar cegamente em LLMs para sintetizar fontes conflitantes é arriscado, pois o modelo pode "escolher" uma fonte baseada no idioma em vez da veracidade.
• Viés Estrutural: A preferência pelo Chinês e a rejeição do Russo em modelos de origens diversas sugerem que esses vieses podem estar enraizados nos dados de treinamento globais ou em mecanismos de alinhamento, e não apenas em políticas regionais específicas.
• Futuro: Os autores destacam a necessidade de investigar os mecanismos internos (representações latentes) que causam esses vieses e desenvolver métodos de treinamento que forcem os modelos a relatar conflitos em vez de resolvê-los arbitrariamente.

Em suma, o trabalho demonstra que, embora os LLMs sejam poderosos, eles ainda carecem de robustez para lidar com a complexidade da verdade em um mundo multilíngue e contraditório, operando com vieses linguísticos que podem distorcer a realidade percebida pelo usuário.