Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

Este trabajo presenta la creación de LatamQA, un conjunto de datos de más de 26.000 preguntas y respuestas en español y portugués derivadas de Wikipedia y Wikidata, para evaluar y revelar sesgos socioculturales y geográficos en los modelos de lenguaje grande hacia las diversas culturas de América Latina.

Lo esencial

¡Hola! Imagina que las Inteligencias Artificiales (IA) son como grandes bibliotecarios digitales que han leído millones de libros para aprender sobre el mundo. El problema es que la mayoría de estos libros fueron escritos en Estados Unidos o Europa. Por eso, cuando le preguntas a un bibliotecario sobre la cultura de Chile, México o Brasil, a veces responde como si conociera esos lugares, pero en realidad solo sabe lo que leyó en los libros de "afuera".

Este paper (artículo científico) es como un gran proyecto de limpieza y actualización para esas bibliotecas, enfocado específicamente en América Latina.

Aquí te explico cómo lo hicieron y qué descubrieron, usando analogías sencillas:

1. El Problema: El "Sabor" de la IA

Imagina que tienes una pizza. Si la receta viene de Italia, la pizza sabe a Italia. Si la IA se entrenó principalmente con datos del "Norte Global" (EE.UU., Europa), su "sabor" es europeo o estadounidense.

• El resultado: Cuando la IA habla de Latinoamérica, a veces comete errores, ignora matices locales o cree que la cultura española (de España) es igual a la de Latinoamérica. Es como si un chef italiano intentara cocinar un ceviche peruano usando solo ingredientes que encontró en su propio país.

2. La Solución: Creando un "Espejo" de Latinoamérica

Los autores decidieron crear un examen de cultura (llamado LatamQA) para ver qué tanto saben realmente estas IAs sobre nuestra región.

• ¿De dónde sacaron las preguntas? No las inventaron ellos mismos (lo cual sería lento y costoso). Usaron Wikipedia como una mina de oro.
• La analogía del filtro: Imagina que Wikipedia es un río enorme. No todo el agua es potable.
  1. Filtro de Sociólogos: Primero, expertos en sociedad (sociólogos) revisaron las categorías de Wikipedia para asegurarse de que solo tomaran artículos que realmente hablen de cultura (comida, fiestas, personajes famosos, dialectos) y no de cosas aburridas o técnicas.
  2. El Traductor Automático: Luego, usaron una IA inteligente para leer esos artículos y convertirlos en preguntas de opción múltiple (tipo examen escolar).
• El resultado final: Crearon un banco de 26,000 preguntas en español y portugués, cubriendo 20 países de Latinoamérica. Es como tener un mapa gigante de nuestra identidad cultural.

3. La Prueba: ¿Quién sabe más?

Llamaron a varias IAs famosas (como Llama, Mistral, GPT) y les pusieron este examen. Fue como una competencia de cultura general regional.

¿Qué descubrieron? Tres cosas muy importantes:

• A) La IA no es igual en todos lados:
  A las IAs les va mucho mejor respondiendo sobre México que sobre Paraguay o Bolivia.

  • Analogía: Es como si un estudiante hubiera estudiado mucho para el examen de "Historia de México" porque tenía muchos libros, pero solo tenía un folleto sobre "Historia de Paraguay". La IA sabe más de los países que tienen más presencia en internet.

• B) El idioma importa, pero no como creemos:
  Las IAs funcionan mejor cuando se les habla en su idioma nativo (español o portugués) que cuando se les traduce al inglés.

  • Analogía: Es como intentar entender una broma en un idioma que no dominas. Si te la explican en tu idioma, la entiendes al instante; si te la traducen, pierdes el chiste.

• C) El "Vecino" vs. El "Primo":
  Este es el hallazgo más curioso. Las IAs saben mucho más sobre la cultura de España (Iberia) que sobre la cultura de Latinoamérica, incluso cuando se les pregunta en español.

  • Analogía: Imagina que la IA es un primo que vive en Europa. Cuando le preguntas sobre la familia en Latinoamérica, a veces responde como si todos vivieran en Madrid. Sabe más de la "cultura española" que de la "cultura chilena o argentina", aunque el idioma sea el mismo.

4. ¿Por qué es importante esto?

Este trabajo es como poner un termómetro en la salud cultural de la tecnología.

• Nos dice que las IAs actuales tienen "ceguera cultural" hacia gran parte de Latinoamérica.
• Nos muestra que necesitamos entrenar a estas máquinas con más datos nuestros, escritos por nosotros, para que no nos vean como una versión "lejana" de Europa, sino como lo que somos: una región rica, diversa y única.

En resumen:
Los autores construyeron un gigantesco cuestionario cultural usando Wikipedia para demostrar que, aunque las IAs hablan nuestro idioma, a menudo no nos conocen de verdad. Y ahora, gracias a este mapa de datos, podemos empezar a enseñarles a entender mejor nuestra realidad.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Leveraging Wikidata for Geographically Informed Sociocultural Bias: Dataset Creation, Application to Latin America", presentado en español:

1. Problema y Motivación

Los Grandes Modelos de Lenguaje (LLM) actuales exhiben sesgos significativos y desigualdades culturales, ya que la mayoría de los modelos de código abierto más destacados se entrenan predominantemente con datos del Norte Global (Europa y Norteamérica). Esto resulta en comportamientos prejuiciosos hacia otras culturas, especialmente en América Latina (LatAm).

Existen carencias críticas en los recursos existentes para detectar sesgos en idiomas no ingleses (español y portugués) y en la región de LatAm:

• Los conjuntos de datos actuales suelen agrupar países de manera demasiado gruesa, cubrir muy pocos países latinos o limitarse al inglés.
• La anotación manual es costosa y dependiente del contexto, mientras que los enfoques automatizados a menudo utilizan corpora ruidosos (como redes sociales o C4).
• Se observa una desconexión entre la cultura peninsular (España) y la latinoamericana, donde los modelos suelen rendir mejor con la cultura de España.

2. Metodología

El equipo propone una metodología escalable para crear un conjunto de datos de preguntas y respuestas (Q/A) geográficamente informado, combinando recursos de Wikimedia con experiencia en ciencias sociales.

A. Recolección y Filtrado de Datos (Wikipedia)

• Fuente: Se utiliza la ontología de categorías de Wikipedia. Se inicia desde categorías madre como "Cultura de [País]" para 20 países de LatAm y España.
• Recursividad: Se extraen artículos y subcategorías recursivamente (hasta 5 niveles de profundidad).
• Filtros Sociológicos:
  1. Filtro de Categoría: Un sociólogo valida manualmente las subcategorías para eliminar contenido irrelevante (ej. listas de alumnos o idiomas generales).
  2. Filtro de Artículo: Se entrena un clasificador (Longformer multilingüe) para categorizar los artículos en tres clases: positiva (relevancia cultural alta), descriptiva (información técnica/enumerativa) y negativa (sin relevancia cultural). El modelo alcanzó un 87.5% de precisión en la clase positiva.
• Resultado: Se obtuvieron 154k artículos filtrados.

B. Generación de Elementos Culturales

• Se mapearon las entidades de los artículos a 10 elementos culturales definidos por Espindola y Vasconcellos (2006), como: Topónimos, Antroponimos, Comida y Bebida, Dialectos, Personajes Ficticios, Instituciones Locales, etc.
• Se utilizó un LLM (Qwen3-Max) en modo zero-shot para etiquetar las entidades, resultando en una distribución diversa de elementos culturales.

C. Generación de Preguntas y Respuestas (Q/A)

• Estrategia de Prompting: Se evaluaron varias definiciones de cultura (antropológica, psicológica, sociológica, etc.). Se seleccionó el enfoque de "Exploración Cultural General" validado por un sociólogo, priorizando la claridad y la pertinencia.
• Generación: Se utilizaron LLMs (gpt-oss-120b) para extraer pares Q/A basados estrictamente en el contenido de los artículos filtrados.
• Validación:
  • Pertinencia: Se validó cualitativamente que las preguntas cubrieran dimensiones simbólicas, prácticas sociales y representaciones sociales (98% de relevancia).
  • Grounding: Se verificó que no hubiera alucinaciones (respuestas basadas en hechos externos al artículo).
• Distractores: Se generaron respuestas incorrectas (distractores) utilizando el mismo LLM, siguiendo estrategias como intercambio de entidades, confusión temporal/geográfica o verdades parciales, para crear preguntas de opción múltiple (MCQ) desafiantes.

D. El Dataset: LatamQA

• Escala: Más de 26,000 preguntas extraídas de 26k artículos.
• Idiomas: Las preguntas se generaron en español y portugués, y luego se tradujeron al inglés para evaluar el efecto del idioma de la instrucción.
• Cobertura: 20 países de América Latina + España.

3. Contribuciones Clave

1. Metodología Escalable: Un marco de trabajo que combina la ontología de Wikipedia, curación de expertos en ciencias sociales y generación asistida por LLM para crear benchmarks culturales.
2. LatamQA Benchmark: Un conjunto de datos de 23,499 preguntas de opción múltiple (MCQ) cubriendo 20 países latinos en español, portugués e inglés.
3. Análisis Empírico: Una evaluación exhaustiva de la variación de rendimiento de los LLMs a través de países, idiomas de instrucción y diferencias culturales (LatAm vs. España).

4. Resultados Principales

Se evaluaron modelos de diferentes tamaños (Small, Medium, Large) y arquitecturas (Llama, Mistral, Qwen, GPT, y modelos regionales como PatagonIA y LatamGPT):

• Rendimiento por Idioma: Los modelos rindieron consistentemente mejor en sus idiomas nativos (Español o Portugués) en comparación con el inglés, lo que contradice algunos estudios previos pero se alinea con la naturaleza de los datos de entrenamiento de alto recurso.
• Sesgo Geográfico (España vs. LatAm): Todos los modelos evaluados obtuvieron puntuaciones significativamente más altas en preguntas sobre la cultura de España en comparación con las de América Latina. Esto indica que la cultura ibérica está mejor representada en los datos de entrenamiento que las culturas latinas.
• Diferencias Intrarregionales: Existe una disparidad en el rendimiento entre países latinos; algunos países (como México o Brasil) son "más fáciles" para los modelos que otros, sugiriendo una cobertura desigual de los datos de entrenamiento dentro de la región.
• Modelos Regionales:
  • PatagonIA (especializado en español chileno) no superó a los modelos de propósito general de tamaño comparable (como Mistral-Medium o GPT-4.1-mini).
  • LatamGPT (basado en Llama 3.1 70B) tuvo dificultades para seguir el formato de MCQ y obtuvo un rendimiento cercano al azar en portugués y bajo en español latinoamericano, a pesar de su pre-entrenamiento con datos de la región.
• Análisis por Elemento Cultural: El rendimiento varía según el tipo de conocimiento. Los modelos tienen más dificultades con elementos culturales menos frecuentes en los datos, como "Personajes Ficticios" o "Dialectos", donde la brecha de rendimiento entre el español de Brasil y el de LatAm es mayor.
• Escala del Modelo: Dentro de la familia Mistral, el aumento de tamaño (de Small a Large) generó mejoras consistentes (+5% a +8% de precisión) en la mayoría de los países.

5. Significado y Conclusiones

Este trabajo demuestra que, aunque los LLMs han mejorado, aún carecen de una comprensión matizada y equitativa de las culturas de América Latina.

• Limitaciones: El estudio reconoce que el conocimiento cultural no puede capturarse completamente solo con preguntas de opción múltiple y que el uso de un solo LLM para generar distractores podría introducir sesgos de preferencia.
• Futuro: Se sugiere involucrar a participantes humanos en la construcción de benchmarks y analizar datos interaccionales (como discusiones en páginas de discusión de Wikipedia) para una evaluación más profunda.
• Impacto: LatamQA proporciona una herramienta fundamental para diagnosticar y mitigar el sesgo cultural en IA, destacando la necesidad de diversificar los datos de entrenamiento más allá del Norte Global y la cultura peninsular para lograr una IA verdaderamente inclusiva en el Sur Global.