Characterizing Cultural Localization in AI-Generated Stories

Énoncé du problème
À mesure que les grands modèles de langage (LLM) sont déployés mondialement, l'intérêt pour leur capacité à générer du contenu localisé culturellement s'accroît. Cependant, il reste incertain si les modèles parviennent à une localisation par le biais d'une localisation holistique — où le contexte culturel façonne les intrigues narratives, les valeurs, les thèmes et les structures — ou par une localisation par gabarit (ou par modèle). La localisation par gabarit se produit lorsqu'un modèle insère des marqueurs culturels isolés (par exemple, des noms, des lieux, des artefacts) dans un gabarit narratif homogène et culturellement neutre. L'article postule que si les modèles s'appuient sur une localisation par gabarit, ils risquent de produire des histoires qui reflètent des récits et des valeurs homogènes, pouvant mener à des préjudices culturels tels que l'effacement, l'imposition de valeurs occidentales et une réduction de la diversité créative. De plus, les évaluations existantes échouent souvent à distinguer la variation lexicale de surface des différences narratives profondes, surestimant potentiellement la compétence culturelle d'un modèle.

Méthodologie
Les auteurs proposent une méthode en deux étapes pour détecter et mesurer le degré de localisation par gabarit dans les histoires générées par l'IA :

1. Identification des marqueurs culturels : La méthode identifie d'abord l'ensemble minimal de jetons lexicaux (mots) qui distinguent les histoires selon différentes nationalités. En utilisant l'information mutuelle ponctuelle normalisée (NPMI), les auteurs évaluent les mots en fonction de leur association avec des nationalités spécifiques. Ils masquent ensuite de manière itérative les $k\%$ supérieurs de ces mots associés culturellement. Le seuil $k$ est déterminé en trouvant le point où un classificateur ne peut plus distinguer la nationalité de l'histoire mieux qu'un choix aléatoire. Le texte restant, après le retrait de ces marqueurs, est appelé l'« image de gabarit ».
2. Mesure de l'homogénéité narrative : La seconde étape mesure la similitude des « images de gabarit » entre les différentes nationalités à l'aide de mesures de séquences de plusieurs mots : la plus longue sous-séquence commune (LCS) et la similitude de Jaccard des n-grammes de taille 4. Si les récits restants sont hautement similaires entre les cultures après le retrait des marqueurs culturels, cela indique la présence d'un gabarit narratif partagé et culturellement neutre. Ceci est comparé à la similitude des histoires originales et des histoires où des mots aléatoires ont été masqués.
3. Caractérisation de la stéréotypie : Enfin, les auteurs caractérisent les marqueurs culturels identifiés en termes de stéréotypie et d'offensivité en utilisant le jeu de données SeeGULL. Ils calculent la précision des stéréotypes au sein des marqueurs et mesurent le score d'offensivité moyen de ces marqueurs.

Configuration expérimentale
L'étude a évalué les histoires générées par cinq LLM (GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B et Gemma 3 12B) à travers 193 nationalités et 125 sujets d'histoires dérivés de cadres de valeurs culturelles (par exemple, l'enquête sur les valeurs mondiales, les dimensions culturelles de Hofstede). Les instructions (prompts) demandaient aux modèles d'écrire des histoires pour enfants en anglais sur des sujets spécifiques pour un enfant d'une nationalité spécifique.

Résultats clés

• Vocabulaire limité pour la localisation : L'étude a révélé que la variation culturelle est concentrée dans un très petit sous-ensemble du vocabulaire. Le masquage de seulement 9 % à 17 % des mots associés culturellement a suffi pour rendre les histoires de différentes nationalités indiscernables pour un classificateur.
• Présence de gabarits partagés : Après le retrait de ces marqueurs culturels, les récits restants (« images de gabarit ») présentaient une similitude de plusieurs mots significativement plus élevée entre les nationalités que les histoires originales. Dans de nombreux cas, la similitude inter-groupes des histoires masquées représentait plus de 70 % de la similitude intra-groupe, suggérant une structure narrative latente et partagée, culturellement neutre.
• Stéréotypie et offensivité : Bien que de nombreux marqueurs culturels soient neutres, l'étude a identifié que les marqueurs pour 19 pays étaient, en moyenne, offensants. Ces pays sont principalement situés dans le Sud global (particulièrement en Afrique et en Asie occidentale) et possèdent souvent des langues dominantes à faibles ressources. Les marqueurs offensants s'alignaient fréquemment sur des stéréotypes négatifs (par exemple, « peu fiable », « violent », « en retard »).

Signification et affirmations
L'article affirme que les histoires générées par l'IA actuelle présentent principalement une localisation par gabarit plutôt qu'une localisation holistique. Les auteurs soutiennent que la représentation culturelle dans ces modèles est réduite à un petit nombre de symboles reconnaissables insérés dans une vision du monde narrative homogène.

La portée de ce travail réside dans son prisme analytique de la compétence culturelle extrinsèque. Les auteurs affirment que les évaluations se concentrant uniquement sur la présence d'entités culturellement saillantes (comme les noms ou les lieux) peuvent surestimer la capacité d'un modèle à générer des récits localisés. En révélant l'homogénéité sous-jacente de la structure narrative, l'article souligne la nécessité de :

1. Élargir les évaluations de la compétence culturelle pour inclure les structures narratives, les valeurs, la posture et le dialecte, et non seulement les marqueurs de surface.
2. Reconnaître que même sans pipelines de génération basés sur des gabarits explicites, les LLM peuvent implicitement revenir à des schémas narratifs globalement dominants.
3. Développer des méthodes pour détecter et mesurer l'homogénéisation narrative tout au long des processus de raisonnement et d'utilisation d'outils des systèmes d'IA.

Les auteurs concluent que la compréhension de ces mécanismes est cruciale pour anticiper et éviter les préjudices culturels potentiels, tels que l'effacement des diverses traditions narratives et la propagation de stéréotypes offensants, particulièrement pour les communautés du Sud global.