Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

Este artigo apresenta a criação do banco de dados LatamQA, composto por mais de 26 mil perguntas e respostas sobre culturas latino-americanas extraídas da Wikipedia e Wikidata, utilizado para demonstrar que os Grandes Modelos de Linguagem exibem viés sociocultural, performando melhor em espanhol peninsular e em seus idiomas nativos do que nas diversas culturas da América Latina.

O essencial

Imagine que você tem um grupo de robôs superinteligentes (os chamados Modelos de Linguagem ou IAs) que leram quase tudo o que existe na internet. Eles são como bibliotecários que sabem de tudo... ou pelo menos é o que parece. Mas, e se perguntarmos a eles sobre a vida real, as festas, os comidas e as histórias de países específicos da América Latina? Será que eles sabem de verdade ou estão apenas "chutando" baseado no que leram nos EUA ou na Europa?

Foi exatamente isso que os autores deste artigo decidiram investigar. Eles criaram um "teste de realidade" chamado LatamQA.

Aqui está a explicação do trabalho, traduzida para uma linguagem do dia a dia, com algumas analogias:

1. O Problema: O Robô que só conhece o "Velho Mundo"

A maioria das IAs famosas foi treinada com dados vindos do "Norte Global" (EUA, Europa). É como se você tivesse um aluno que estudou apenas em uma escola de Londres ou Nova York e, de repente, você o colocou em uma festa de aniversário no interior do Brasil ou no Chile. Ele vai saber o que é "feijoada", "flaite" (gíria chilena) ou "cumbia"? Provavelmente não, ou vai confundir tudo.

Os autores dizem: "Ei, essas IAs têm preconceitos culturais e não conhecem bem a nossa realidade".

2. A Solução: Criando um "Mapa do Tesouro" Cultural

Para testar isso, eles precisavam de um exame difícil e justo. Mas criar perguntas manualmente para 20 países seria demorado demais (como tentar desenhar um mapa do mundo à mão).

Então, eles usaram uma receita inteligente:

• A Fonte: Usaram a Wikipedia (que é como uma enciclopédia escrita por todos nós) e o Wikidata (a estrutura de dados que organiza essa enciclopédia).
• O Filtro: Em vez de pegar qualquer texto, eles pediram ajuda a sociólogos (especialistas em sociedade) para escolher apenas os artigos que falam de cultura real: comida, festas religiosas, gírias, personagens de novelas, instituições locais.
• O Robô Escrevedor: Usaram uma IA para transformar esses artigos em perguntas de múltipla escolha (estilo "prova de concurso"), gerando mais de 26.000 perguntas em Espanhol e Português.

Pense nisso como se eles tivessem montado um jogo de "Trivial Pursuit" gigante, mas focado apenas na América Latina, com perguntas que só quem vive lá ou conhece profundamente a cultura conseguiria responder com certeza.

3. O Grande Teste: Quem sabe o quê?

Eles colocaram várias IAs famosas (como Llama, Mistral, GPT) para responder a essas perguntas. Os resultados foram reveladores:

• A Língua Importa: As IAs se saíram muito melhor quando as perguntas estavam no idioma original (Espanhol ou Português) do que quando traduzidas para o inglês. É como se o robô entendesse melhor a "alma" da pergunta no idioma nativo.
• O Viés da Península Ibérica: As IAs sabiam muito mais sobre a cultura da Espanha do que sobre a cultura da América Latina.
  • Analogia: É como se o robô soubesse tudo sobre a culinária de Madrid, mas quando perguntado sobre a comida típica do Peru ou do México, ele ficasse confuso. A cultura espanhola é "mais conhecida" pelos dados de treinamento.
• Tamanho do Modelo: IAs maiores geralmente acertam mais, mas mesmo as gigantes falharam em detalhes específicos de países menores ou culturas locais.
• O Caso dos "Especialistas": Eles testaram IAs feitas especificamente para a região (como a PatagonIA e a LatamGPT). Surpreendentemente, elas não foram tão melhores quanto as IAs gerais. A LatamGPT, por exemplo, teve dificuldade até em seguir o formato da prova!

4. O Que Isso Significa para Nós?

O estudo mostra que, embora a tecnologia avance, ela ainda carrega os "óculos" de quem a criou. Se queremos que as IAs sejam verdadeiramente úteis para a América Latina, elas precisam ser treinadas e testadas com a nossa realidade, e não apenas com a realidade europeia ou americana.

Resumo da Ópera:
Os autores criaram um "espelho" (o banco de dados LatamQA) para mostrar que as IAs atuais ainda têm uma visão distorcida da América Latina. Elas sabem mais sobre a Espanha do que sobre o Chile, o Brasil ou a Argentina. Para corrigir isso, precisamos criar mais dados locais e garantir que a tecnologia respeite a nossa diversidade cultural, em vez de tentar nos encaixar em um modelo europeu.

É um chamado para que a inteligência artificial aprenda a "falar a nossa língua" de verdade, entendendo não apenas as palavras, mas o contexto cultural por trás delas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Leveraging Wikidata for Geographically Informed Sociocultural Bias: Dataset Creation, Application to Latin America", apresentado em português:

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) exibem desigualdades significativas em relação a diversos contextos culturais. A maioria dos modelos de pesos abertos mais proeminentes é treinada predominantemente com dados do "Norte Global" (Europa e América do Norte), resultando em comportamentos preconceituosos ou ignorantes em relação a outras culturas, especialmente na América Latina (LatAm).

Existem lacunas críticas nos recursos atuais:

• Falta de Dados: Há uma escassez de conjuntos de dados para detectar vieses em línguas não inglesas, especificamente nas variantes do espanhol e português faladas na América Latina.
• Generalização Excessiva: Os conjuntos de dados existentes frequentemente agrupam países de forma grosseira, cobrem poucos países latinos ou são limitados ao inglês, ignorando as nuances históricas, sociais e culturais específicas de cada nação.
• Viés de Treinamento: A cultura ibérica (Espanha) é frequentemente melhor representada nos dados de treinamento do que as culturas latino-americanas, criando uma assimetria no conhecimento dos modelos.

2. Metodologia

Os autores propõem uma abordagem escalável para criar um benchmark sociocultural geográfico utilizando a estrutura do Wikidata e o conteúdo da Wikipedia, validado por especialistas em ciências sociais. O processo envolve três etapas principais:

A. Coleta e Filtragem de Dados (Wikipedia)

• Ontologia de Categorias: A coleta baseou-se nas categorias da Wikipedia (ex: "Cultura do Chile", "Cultura do Peru"). Um algoritmo de raspagem recursiva coletou artigos e subcategorias.
• Validação Sociológica: Um sociólogo validou manualmente as subcategorias principais para remover ruído (ex: artigos sobre a língua espanhola em geral, em vez de cultura específica).
• Filtragem de Artigos: Foi aplicada uma segunda camada de filtragem em nível de artigo. Artigos foram classificados manualmente em três classes: positiva (relevância cultural alta), descritiva (informação técnica/enumerativa) e negativa (sem relevância cultural).
• Modelo de Classificação: Um modelo Longformer multilíngue pré-treinado foi fine-tuned com 500 artigos anotados, alcançando 87,5% de precisão na classe positiva e 100% ao fundir as classes positiva e descritiva.

B. Definição de Elementos Culturais

Utilizando a ontologia do Wikidata, os artigos foram mapeados para 10 elementos culturais definidos por Espindola e Vasconcellos (2006), incluindo:

• Topônimos, Antropônimos, Instituições Locais, Comida e Bebida, Sistema Legal, Dialeto, Celebrações Religiosas, Personagens Fictícios, etc.

C. Geração de Perguntas e Respostas (Q/A)

• Geração com LLM: Um LLM (gpt-oss-120b) foi utilizado para gerar perguntas e respostas baseadas nos artigos filtrados.
• Estratégia de Prompt: Foi selecionada uma definição de "exploração cultural geral" (focando em identidade, símbolos populares, memória coletiva) após validação sociológica.
• Validação Tri-dimensional: As perguntas foram validadas quanto a três dimensões: (i) simbólica, (ii) práticas sociais e (iii) representações sociais/memória/identidade. 98% das perguntas foram relevantes em pelo menos duas dimensões.
• Geração de Distratores: Seguindo o método de CultureAtlas, distratores (respostas incorretas) foram gerados pelo mesmo LLM para criar questões de múltipla escolha (MCQ) desafiadoras, garantindo plausibilidade cultural.

3. O Dataset: LatamQA

O resultado é o LatamQA, um benchmark composto por:

• Escala: Mais de 26.000 artigos da Wikipedia transformados em 23.499 perguntas de múltipla escolha.
• Cobertura: 20 países da América Latina (incluindo Brasil, México, Argentina, Chile, etc.) e uma comparação com a Espanha.
• Idiomas: As perguntas foram geradas em Espanhol e Português, e posteriormente traduzidas para Inglês para permitir a avaliação de modelos em seus idiomas nativos e em tradução.

4. Resultados e Análise Experimental

Os autores avaliaram diversos LLMs (famílias Llama, Mistral, Qwen, GPT, e modelos regionais como PatagonIA e LatamGPT) no benchmark.

• Desempenho por Idioma: Os modelos performaram melhor em seus idiomas nativos (Espanhol ou Português) em comparação com o inglês, embora existam inconsistências na literatura sobre esse ponto.
• Viés Geográfico (Espanha vs. LatAm): Todos os modelos avaliados tiveram desempenho significativamente superior nas perguntas sobre a cultura da Espanha (Espanhol Ibérico) em comparação com as perguntas sobre a América Latina. Isso indica que os dados de treinamento dos modelos favorecem a cultura ibérica.
• Disparidade entre Países: Houve uma discrepância no desempenho entre os países latino-americanos; alguns países foram "mais fáceis" para os modelos do que outros, sugerindo uma cobertura desigual nos dados de treinamento.
• Modelos Regionais vs. Gerais:
  • O PatagonIA (especializado em espanhol chileno) não superou modelos de propósito geral de tamanho comparável (como Mistral-medium ou GPT-4.1-mini).
  • O LatamGPT (baseado em Llama 3.1) teve desempenho muito baixo, com dificuldades em seguir o formato de múltipla escolha e acurácia próxima ao acaso em português e baixo desempenho em espanhol latino-americano.
• Efeito do Tamanho do Modelo: Dentro da família Mistral, o aumento do tamanho do modelo (de Small para Large) resultou em melhorias consistentes de 5% a 8% na acurácia, exceto em casos específicos como o México.
• Análise por Elemento Cultural: O desempenho variou dependendo do tipo de conhecimento testado. Elementos com menos exemplos nos dados (como "Personagens Fictícios" e "Dialeto") apresentaram maiores lacunas de desempenho entre o português do Brasil e o espanhol latino-americano.

5. Contribuições Principais

1. Metodologia Escalável: Uma abordagem robusta que combina ontologias da Wikipedia, curadoria de especialistas em ciências sociais e geração baseada em LLM para criar datasets socioculturais.
2. O Benchmark LatamQA: Um conjunto de dados estruturado com ~23k MCQs cobrindo 20 países, disponível em Espanhol, Português e Inglês.
3. Análise Empírica: Evidências concretas de que os LLMs atuais possuem um viés geocultural, conhecendo melhor a cultura ibérica do que a latino-americana, e que modelos "regionais" ainda não superam os modelos gerais de grande porte em tarefas de conhecimento cultural.

6. Significado e Limitações

• Significado: O trabalho destaca a necessidade de descentralizar a construção de datasets e evitar a terceirização da anotação de vieses para o Norte Global. O LatamQA serve como um instrumento crucial para diagnosticar e mitigar o "colonialismo de dados" em IA.
• Limitações: A avaliação baseada apenas em perguntas de múltipla escolha pode não capturar toda a complexidade do conhecimento cultural. Os autores sugerem trabalhos futuros que envolvam participantes humanos na construção do benchmark e a análise de dados interacionais (como discussões em páginas de discussão da Wikipedia) para uma avaliação mais profunda.

Em suma, o artigo fornece uma ferramenta fundamental para a comunidade de PLN (Processamento de Linguagem Natural) avaliar e melhorar a equidade cultural dos modelos de IA na América Latina.