Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

Ce papier présente la création de la base de données LatamQA, un ensemble de plus de 26 000 questions à choix multiples en espagnol et portugais dérivé de Wikidata et de Wikipédia, utilisé pour révéler les biais socioculturels et géographiques des grands modèles de langage envers les pays d'Amérique latine par rapport à l'Espagne.

L'essentiel

Imaginez que les grands modèles d'intelligence artificielle (comme ceux qui animent les chatbots) sont comme des étudiants brillants, mais qui ont passé leur enfance à lire uniquement des livres écrits en Europe du Nord et aux États-Unis.

Ce papier de recherche, intitulé LatamQA, pose une question simple : Ces étudiants savent-ils vraiment qui sont leurs voisins d'Amérique latine ?

Voici l'histoire de leur enquête, racontée simplement.

1. Le Problème : L'aveugle culturel

Les chercheurs ont remarqué que ces intelligences artificielles sont très fortes pour parler de la culture américaine ou européenne, mais qu'elles commettent des erreurs grossières ou ignorent complètement les réalités de l'Amérique latine (le Mexique, le Brésil, l'Argentine, etc.). C'est un peu comme si un expert en cuisine française ne savait pas ce qu'est un taco ou un feijoada, alors qu'il vit à côté de ces cultures.

Le problème est que la plupart des données utilisées pour entraîner ces robots viennent du "Nord" (les pays riches), laissant le "Sud" (l'Amérique latine) dans l'ombre.

2. La Solution : Construire un "Quiz Géant"

Pour tester ces robots, les chercheurs ont dû créer un examen sur mesure. Mais comment faire un examen sur 20 pays différents sans y passer dix ans ?

Ils ont eu une idée de génie : utiliser Wikipédia comme une mine d'or.

• L'ingrédient secret : Ils ont utilisé la structure de Wikipédia (les catégories et les liens) comme une carte au trésor.
• Le filtre humain : Pour éviter de poser des questions triviales (comme "Combien de buts a marqué tel joueur ?"), ils ont fait appel à des sociologues (des experts de la société humaine). Ces experts ont dit : "Non, on ne veut pas de statistiques de foot, on veut des questions sur l'identité, la nourriture, les fêtes et les traditions."
• Le résultat : Ils ont créé LatamQA, une base de données de 26 000 questions à choix multiples. C'est un véritable marathon de quiz couvrant 20 pays, en espagnol et en portugais.

3. L'Expérience : Le Test de Vérité

Une fois le quiz prêt, ils l'ont donné à plusieurs modèles d'intelligence artificielle (des "étudiants" de différentes tailles et origines) pour voir qui réussirait le mieux.

Voici les trois grandes découvertes, expliquées avec des métaphores :

A. L'effet "Langue Maternelle"

• La découverte : Les modèles réussissent beaucoup mieux quand on leur pose les questions dans leur langue d'origine (l'espagnol ou le portugais) plutôt qu'en anglais.
• L'analogie : C'est comme demander à quelqu'un de résoudre un casse-tête complexe. S'il le fait dans sa langue maternelle, il comprend les nuances. S'il doit le faire dans une langue qu'il a apprise à l'école, il rate des détails subtils.

B. Le Biais "Ibérique" (Espagne vs Amérique Latine)

• La découverte : Même en espagnol, les modèles sont beaucoup plus forts sur la culture de l'Espagne que sur celle de l'Amérique latine.
• L'analogie : Imaginez un professeur d'histoire qui a étudié uniquement Paris. Si vous lui demandez des détails sur la culture de Paris, il est excellent. Mais si vous lui demandez des détails sur la culture de Lyon ou de Marseille (qui sont pourtant en France), il commence à bégayer. Les modèles savent tout sur l'Espagne, mais ils sont un peu perdus face à la diversité du Mexique, du Chili ou de l'Argentine.

C. La Taille compte, mais pas tout

• La découverte : Les modèles plus gros (avec plus de "cerveau") réussissent mieux, mais la différence n'est pas énorme.
• L'analogie : Avoir un cerveau plus grand aide, mais si ce cerveau n'a jamais lu les livres sur l'Amérique latine, il restera ignorant, peu importe sa taille.

4. Pourquoi c'est important ?

Ce papier nous dit qu'il ne suffit pas de créer des robots intelligents ; il faut s'assurer qu'ils sont inclusifs.

Si nous laissons ces biais continuer, nos futurs assistants IA risquent de :

1. Ignorer les réalités locales.
2. Renforcer les stéréotypes.
3. Être moins utiles pour les gens d'Amérique latine.

En résumé

Les chercheurs ont construit un miroir géant (le quiz LatamQA) pour montrer aux développeurs d'IA où ils ont les yeux bandés. Ils nous disent : "Hé, votre robot est brillant, mais il ne connaît pas son propre voisinage. Il faut lui apprendre à mieux comprendre la richesse et la diversité de l'Amérique latine, pas seulement celle de l'Europe."

C'est un appel à rendre l'intelligence artificielle plus juste, plus locale et plus humaine.

Résumé technique

Voici un résumé technique détaillé de l'article "Leveraging Wikidata for Geographically Informed Sociocultural Bias: Dataset Creation, Application to Latin America", rédigé en français.

1. Problématique et Contexte

Les Grands Modèles de Langage (LLM) actuels présentent des biais culturels et des inégalités significatives, principalement parce qu'ils sont entraînés sur des données provenant majoritairement du "Nord Global" (Europe de l'Ouest et Amérique du Nord). Cela se traduit par des performances médiocres et des comportements préjudiciables envers les cultures du "Sud Global", et plus particulièrement de l'Amérique latine (LatAm).

Les défis spécifiques identifiés sont :

• Manque de ressources : Absence de jeux de données robustes pour détecter les biais dans les langues non anglaises, notamment l'espagnol et le portugais d'Amérique latine.
• Hétérogénéité culturelle : Bien que partageant des langues officielles (espagnol/portugais), les pays latinos possèdent des contextes historiques, sociaux et culturels distincts que les datasets existants traitent souvent de manière trop agrégée ou les ignorent.
• Limites des approches actuelles : Les méthodes d'annotation manuelle sont coûteuses et limitées en échelle, tandis que les approches automatisées basées sur les réseaux sociaux ou le web brut introduisent du bruit.

2. Méthodologie : Création du Benchmark LatamQA

Les auteurs proposent une méthodologie scalable combinant l'extraction de données structurées de Wikimedia, l'expertise en sciences sociales et la génération assistée par LLM.

A. Collecte et Filtrage des Données (Wikipedia & Wikidata)

• Source : Utilisation de l'ontologie des catégories Wikipedia. Le processus commence par des catégories "mères" (ex: "Cultura de Chile") et s'étend récursivement aux sous-catégories et articles.
• Filtrage Sociologique (Double niveau) :
  1. Niveau Catégorie : Un sociologue valide manuellement les sous-catégories pour éliminer les contenus non pertinents (ex: éliminer les listes génériques de noms d'écoles).
  2. Niveau Article : Une classification automatique (Longformer fine-tuné sur 500 exemples annotés manuellement) filtre les articles selon trois classes : positif (pertinence culturelle forte), descriptif (informations techniques/enumeratives) et négatif. Le modèle atteint une précision de 87,5 % pour la classe positive.
• Résultat brut : 154 000 articles filtrés.

B. Structuration et Taxonomie Culturelle

Les entités des articles sont mappées à une taxonomie de 10 éléments culturels définis par Espindola et Vasconcellos (2006), via Wikidata et un LLM (Qwen3-Max) :

• Exemples : Toponymes (TOPO), Anthroponymes (ANTHR), Nourriture (FOOD), Dialectes (DIAL), Personnages fictifs (FICT), Célébrations religieuses (RELIG), etc.
• Distribution : La figure 2 du papier montre la répartition de ces éléments, notant une dominance de la nourriture en Espagne par rapport à la LatAm.

C. Génération de Questions et Réponses (Q/A)

• Stratégie de Prompting : Après évaluation de plusieurs définitions de la culture (anthropologique, psychologique, etc.), une approche d'exploration culturelle générale est retenue pour sa pertinence sociologique.
• Génération : Un LLM (gpt-oss-120b) génère des questions basées sur le contenu des articles, avec des réponses factuelles.
• Validation :
  • Pertinence socioculturelle validée sur 3 dimensions (symbolique, pratiques sociales, représentations sociales/mémoire). 98 % des questions sont pertinentes sur au moins 2 dimensions.
  • Vérification de l'ancrage (grounding) : Aucune hallucination détectée sur un échantillon de 100 exemples.
• Génération de Distracteurs : Création de fausses réponses plausibles (distracteurs) en utilisant des stratégies de confusion (échange d'entités, confusion temporelle/géographique, demi-vérités) pour former des QCM (Questions à Choix Multiples).

D. Le Dataset Final : LatamQA

• Volume : 26 213 articles sources générant 23 499 QCM.
• Couverture : 20 pays d'Amérique latine + Espagne.
• Langues : Généré en espagnol et portugais natifs, puis traduit en anglais pour l'évaluation.
• Structure : Chaque question est liée à un article Wikipedia spécifique et à un élément culturel précis.

3. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles (Llama, Mistral, Qwen, GPT-4, et des modèles spécialisés LatAm) sur ce benchmark.

A. Performance Globale et Langue

• Avantage de la langue native : Les modèles performent systématiquement mieux dans leur langue d'entraînement native (Espagnol ou Portugais) par rapport à l'anglais, confirmant que la langue est un vecteur clé de la connaissance culturelle.
• Écart LatAm vs Espagne : Tous les modèles obtiennent de meilleurs résultats sur les questions concernant l'Espagne (espagnol ibérique) que sur celles concernant l'Amérique latine, indiquant un biais d'entraînement en faveur de la culture hispanique européenne.

B. Impact de la Taille du Modèle

• Une corrélation positive est observée entre la taille du modèle et la performance. Les modèles "Large" (ex: Mistral-large) surpassent les modèles "Small" de 5 à 8 % en précision.
• Cependant, même les grands modèles montrent des lacunes sur des éléments culturels spécifiques (ex: dialectes, personnages fictifs locaux).

C. Cas des Modèles Spécialisés

• PatagonIA (spécialisé en espagnol chilien) et LatamGPT (entraîné sur 300B de tokens LatAm) ont été testés.
• Résultat surprenant : PatagonIA ne surpasse pas les modèles généraux de taille comparable (comme Mistral-medium). LatamGPT échoue à respecter le format QCM (seulement 73 % de conformité) et ses performances sont proches du hasard pour le portugais et inférieures à 64 % pour l'espagnol latino-américain, suggérant que l'entraînement sur des données régionales ne suffit pas sans une curation rigoureuse de la qualité culturelle.

4. Contributions Clés

1. Méthodologie Scalable : Une approche reproductible combinant ontologie Wikipedia, validation d'experts en sciences sociales et génération par LLM pour créer des datasets culturels géographiquement informés.
2. Benchmark LatamQA : Un dataset de référence de plus de 23k QCM couvrant 20 pays latinos, disponible en espagnol, portugais et anglais.
3. Analyse Empirique : Une caractérisation fine des biais des LLM, révélant des disparités géographiques (pays plus faciles que d'autres), linguistiques (ibérique vs latino) et thématiques (éléments culturels).

5. Signification et Limites

Signification :
Ce travail démontre que la connaissance culturelle des LLM n'est pas uniforme. Il met en lumière le risque de l'homogénéisation culturelle dans les modèles, où la culture "globale" (souvent européenne ou nord-américaine) éclipse les spécificités locales. Il fournit un outil essentiel pour évaluer et améliorer l'équité culturelle des IA.

Limites :

• Nature des données : L'évaluation repose uniquement sur des QCM, ce qui peut ne pas capturer toute la complexité de la connaissance culturelle (qui nécessite parfois des interactions ou des nuances contextuelles plus larges).
• Biais de génération : L'utilisation d'un seul LLM pour générer les distracteurs et les questions peut introduire des biais de préférence.
• Couverture : Bien que large, le dataset ne couvre pas tous les aspects de la culture (ex: interactions sociales dynamiques, débats sur les pages de discussion Wikipedia).

Conclusion :
Les auteurs appellent à des futures recherches impliquant des participants humains dans la construction des benchmarks et à l'analyse de données interactionnelles pour aller au-delà des simples tests de trivia.