💬 NLP

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

Este artigo apresenta o LocQA, um conjunto de testes multilíngue que revela como os Grandes Modelos de Linguagem (LLMs) exibem vieses estruturais, favorecendo implicitamente normas dos EUA e priorizando locais com maior população, sendo esses vieses exacerbados pelo ajuste de instruções.

Autores originais: Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

Publicado 2026-04-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um tradutor mágico superinteligente (um Modelo de Linguagem Grande, ou LLM) que fala fluentemente 12 idiomas diferentes. Ele parece perfeito: escreve textos bonitos, responde perguntas e parece entender tudo.

Mas os autores deste estudo decidiram fazer um teste de "verdade nua e crua". Eles queriam saber: quando esse tradutor é deixado sozinho, sem dizer de qual país ele deve falar, ele assume que o mundo inteiro é igual aos Estados Unidos?

Aqui está a explicação do estudo "Location Not Found" (Localização Não Encontrada) em linguagem simples:

1. O Problema: A Pergunta Ambígua

Imagine que você pergunta ao robô: "Qual é o número de emergência?"

Se você estiver nos EUA, a resposta é 911.
Se estiver no Reino Unido, é 999.
Se estiver na Austrália, é 000.
Se estiver no Brasil, é 192 ou 190.

A pergunta em si não diz onde você está. É uma "pegadinha" de contexto. O estudo criou um banco de dados chamado LocQA com 2.156 perguntas assim, em 12 idiomas (como espanhol, francês, hindi, etc.), mas sem dizer o país.

2. A Descoberta: O "Viés do Tradutor"

Os pesquisadores testaram 32 robôs diferentes e descobriram dois tipos de preconceitos estranhos:

A. O Viés Global: "Tudo é como nos EUA"

Mesmo quando você pergunta em Indonésio ou Francês, o robô muitas vezes responde com as regras dos Estados Unidos.

Analogia: É como se você entrasse em um restaurante no Japão, pedisse em japonês, e o garçom, em vez de trazer o sushi, trouxesse um hambúrguer americano e dissesse: "Ah, é assim que todo mundo come".
O robô acha que a "norma padrão" do mundo é a americana, mesmo quando você não pediu isso.

B. O Viés Regional: "O Robô é um Contador de Pessoas"

Quando o robô precisa escolher entre países que falam a mesma língua (por exemplo, Espanhol), ele não escolhe aleatoriamente. Ele escolhe os países com mais gente.

Analogia: Imagine que o robô é um vendedor de ingressos. Se ele precisa decidir qual país mostrar no palco, ele não sorteia. Ele coloca no palco os países com estádios gigantes (como México, Espanha, Argentina) e ignora os países com estádios pequenos (como Honduras, Bolívia, El Salvador).
O robô age como uma "máquina de probabilidade demográfica": se há mais gente falando o idioma em um lugar, o robô assume que todo mundo é daquele lugar.

3. A Grande Surpresa: "A Taxa de Alinhamento"

Os pesquisadores descobriram algo curioso sobre como esses robôs são treinados.

Existem duas versões dos robôs: a versão base (crua) e a versão ajustada (que foi treinada para ser mais prestativa e seguir instruções humanas).
O que acontece? Quando os robôs são "ajustados" para serem mais úteis e seguros, eles reduzem o preconceito regional (começam a mencionar mais países pequenos), mas aumentam drasticamente o preconceito americano.
Analogia: É como se o robô dissesse: "Ok, vou listar várias opções para ser inclusivo (mostrando países pequenos), mas vou começar a lista sempre dizendo: 'Olha, nos EUA é assim... e no resto do mundo pode ser diferente'".
Ao tentar ser "seguro" e "diverso", eles acabam colocando os EUA como o ponto de comparação central para tudo, apagando a realidade local.

4. O Que Isso Significa para Nós?

O estudo conclui que falar fluentemente um idioma não significa entender a cultura local.

Um robô pode escrever um texto perfeito em português do Brasil, mas se você perguntar sobre leis ou feriados, ele pode te dar a resposta dos EUA ou de Portugal, ignorando a realidade do Brasil.
Quanto mais inteligente o robô fica, mais ele tende a insistir na visão americana, mesmo quando errado.

Resumo Final

O estudo nos avisa que, para criar robôs verdadeiramente globais, não basta apenas ensinar o idioma. É preciso ensinar onde o robô está. Sem isso, o robô continuará agindo como um turista americano que acha que o mundo inteiro é igual a Nova York, mesmo quando você está no meio da Amazônia ou nas montanhas dos Andes.

A lição: Não confie cegamente no robô para saber como as coisas funcionam no seu país, a menos que você diga explicitamente: "Estou no Brasil, me diga a regra do Brasil". Caso contrário, ele vai te dar a regra dos EUA.

Resumo Técnico: Localização Não Encontrada – Expondo Vieses Locais e Globais Implícitos em LLMs Multilíngues

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) multilíngues avançaram significativamente na fluência linguística, reduzindo a lacuna de qualidade entre idiomas. No entanto, esse progresso expõe os modelos a riscos de comportamento enviesado, onde o conhecimento e as normas podem propagar-se indevidamente entre idiomas.

O problema central abordado é a ambiguidade de localidade (locale-ambiguity). Muitas perguntas factuais são inerentemente ambíguas sem um contexto geográfico explícito (ex: "Qual é o número de emergência?", "Quando termina o ano fiscal?"). Enquanto a suposição tradicional na PLN multilíngue é que o idioma de consulta atua como um proxy para o contexto (ex: perguntar em francês implica o contexto da França), a realidade é que um único idioma pode abranger múltiplas realidades factuais distintas (ex: o francês é oficial na França, Canadá, Haiti, DRC, etc.).

O artigo argumenta que as avaliações atuais confundem Fluência Linguística (gerar texto coerente) com Localização (ancorar a geração na realidade cultural e factual correta dos falantes). O estudo investiga como os modelos resolvem essas ambiguidades sem instruções explícitas, revelando seus "priors" implícitos e quais realidades regionais eles tratam como padrão ou apagam.

2. Metodologia: O Benchmark LocQA

Para isolar e investigar o aspecto de localização, os autores apresentam o LocQA (Localized QA), um conjunto de dados diagnóstico projetado para testar os prios implícitos dos LLMs.

Construção do Dataset:
- Escala: 2.156 perguntas e respostas específicas de localidade.
- Cobertura: 12 idiomas (Inglês, Espanhol, Francês, Alemão, Hebraico, Hindi, Indonésio, Italiano, Japonês, Coreano, Português, Chinês) e 49 regiões (países).
- Natureza das Perguntas: As perguntas são semanticamente invariantes, mas factuais e dependentes de localidade (ex: leis, datas, medidas, moedas). Elas não contêm indicações explícitas de localidade além do próprio idioma da consulta.
- Validação: As traduções e respostas foram validadas por anotadores bilíngues qualificados, garantindo que as respostas "ouro" (gold answers) reflitam a realidade de cada país.
Métricas de Avaliação:
Os autores definem duas métricas principais para quantificar os vieses:
1. Viés Global ( $B_{US}$ ): Mede a extensão do desvio das respostas geradas em direção às normas dos EUA, mesmo quando a pergunta é feita em outros idiomas. É calculado como a diferença entre a probabilidade observada de uma resposta dos EUA e a probabilidade esperada (considerando colisões onde a resposta dos EUA coincide acidentalmente com a local).
2. Viés Regional ( $B_R$ ): Mede vieses intra-linguísticos. Avalia se, dentro de um mesmo idioma, o modelo prioriza certos países (ex: Espanha vs. México no espanhol) em detrimento de outros. É calculado como um "lift" (aumento) da representação observada de um país em relação à sua representação esperada no conjunto de dados.
Avaliação Automática:
Utilizou-se um pipeline de 2 estágios com um LLM (Gemini-2.5-Flash) como juiz para:
- Alinhamento com Verdade Terrestre: Identificar semanticamente se a resposta do modelo corresponde a uma resposta local válida ou à norma dos EUA.
- Análise de Resposta: Extrair respostas mencionadas e detectar "estilos de enquadramento" (ex: o modelo usa os EUA como âncora conceitual, mesmo sem dar a resposta dos EUA).

3. Principais Contribuições

O Benchmark LocQA: Uma suíte de diagnóstico validada para isolar os prios padrão dos LLMs em questões de localidade ambígua.
Framework de Métricas Duais: Definição de métricas para quantificar vieses em dois eixos: Global (foco nos EUA) e Regional (justiça geográfica dentro de um idioma).
Evidência Empírica de Viés de Alinhamento: Análise de 32 modelos (incluindo variantes base e ajustadas por instruções) revelando padrões estruturais de viés.

4. Resultados Chave

Viés Global (Foco nos EUA):
- Quase todos os modelos exibem um viés claro em direção às normas dos EUA, mesmo quando consultados em idiomas não ingleses.
- A média de $B_{US}$ foi de 0,24, indicando que a frequência de respostas dos EUA nos outputs dos modelos (50%) é quase o dobro da frequência esperada nos dados (26%).
- Tipos de Erro: O viés manifesta-se principalmente como:
  - Intrusão: Inserir normas dos EUA gratuitamente junto à resposta local correta (17,5% das respostas).
  - Apagamento (Erasure): Substituir completamente a realidade local pela dos EUA (6,5%).
  - Seleção: Preferir a opção alinhada aos EUA em contextos ambíguos.
Viés Regional (Máquinas de Probabilidade Demográfica):
- Os modelos atuam como "motores de probabilidade demográfica", priorizando locais com populações maiores.
- Existe uma relação logarítmica forte ( $R^2 = 0,41$ ) entre o tamanho da população falante e o viés regional. Países grandes (EUA, Brasil, China) são super-representados, enquanto nações menores que compartilham o mesmo idioma sofrem apagamento sistemático.
O "Custo de Alinhamento Cultural" (Cultural Alignment Tax):
- Ao comparar modelos base com suas versões ajustadas por instruções (instruction-tuned), os autores descobriram um fenômeno paradoxal:
  - O ajuste por instruções reduz o Viés Regional (torna a representação mais plana entre países).
  - No entanto, ele aumenta significativamente o Viés Global (foco nos EUA).
- Mecanismo: O ajuste por instruções motiva os modelos a serem "úteis" e "diversos", levando-os a listar múltiplas opções. Contudo, ao fazê-lo, eles sistematicamente usam os EUA como âncora de comparação ou contexto padrão, diluindo a dominância local mas reforçando a hegemonia cultural dos EUA.
Persistência do Viés em Modelos Avançados:
- Mesmo em modelos de alta capacidade (>70% de precisão), quando ocorrem erros, eles tendem a ser substituições de fatos locais corretos por normas dos EUA. Isso desafia a ideia de que "escalar é tudo o que é necessário" para corrigir vieses multilíngues.

5. Significado e Conclusão

O estudo conclui que a fluência linguística não é um proxy suficiente para o alinhamento cultural e geográfico. Os LLMs atuais, mesmo os mais avançados, não representam equitativamente as populações que falam seus idiomas.

Implicações: A busca por assistentes universais, seguros e alinhados (via ajuste por instruções) pode estar sacrificando a nuance cultural em favor de uma homogeneidade genérica centrada nos EUA.
Chamada para Ação: A comunidade de IA deve migrar de uma modelagem puramente multilíngue para uma modelagem multicultural e multi-regional, onde a localidade é tratada como uma faceta distinta que deve ser explicitamente gerenciada para garantir a adequação factual para todos os usuários globais.

O trabalho fornece ferramentas críticas para diagnosticar e mitigar esses vieses estruturais, essenciais para a construção de sistemas de IA verdadeiramente globais e equitativos.