💬 NLP

TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

Cet article introduit TALES, un cadre complet comprenant une taxonomie des mécompréhensions culturelles et une évaluation à grande échelle de 6 LLM, qui révèle que 88 % des récits générés par l'IA sur les cultures indiennes contiennent des erreurs, affectant particulièrement les langues à ressources moyennes et faibles ainsi que les récits périurbains.

Auteurs originaux : Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Publié 2026-02-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot très intelligent et érudit qui adore raconter des histoires. Vous lui demandez d'écrire un conte sur un mariage dans un petit village en Inde, ou un souvenir d'enfance dans une ville bouillonnante. Vous vous attendez à ce que le robot capture la saveur locale — les snacks spécifiques, les titres familiaux appropriés, les traditions uniques.

Mais selon cet article, TALES, votre ami robot se trompe souvent de détails. En fait, c'est comme demander à un touriste qui n'a lu qu'une brochure touristique de décrire votre ville natale ; il pourrait identifier les grands monuments, mais il confondra probablement l'argot local, la nourriture et les routines quotidiennes.

Voici une décomposition simple de ce que les chercheurs ont découvert, en utilisant des analogies de la vie quotidienne :

1. Le Problème : Le cerveau « Brochure Touristique » du Robot

Les chercheurs voulaient savoir : Quand l'IA raconte des histoires sur la culture indienne, est-ce qu'elle dit vrai ?
Ils ont découvert que 88 % des histoires générées par les modèles d'IA populaires contenaient des erreurs. Il ne s'agissait pas seulement de petites fautes de frappe ; c'étaient des bévues culturelles.

Pensez-y comme à un chef essayant de cuisiner un plat régional.

L'erreur : Le chef met un ingrédient de dessert (comme du sucre) dans un plat salé (comme un curry) parce qu'il pense que la « cuisine indienne » est une chose monolithique.
La réalité : Les chercheurs ont constaté que l'IA confondait souvent des aliments régionaux spécifiques, utilisait les mauvais titres familiaux (appelant un parent masculin « tante ») ou décrivait des événements qui n'arrivent tout simplement pas dans la vraie vie (comme un bus scolaire ayant un contrôleur de tickets).

2. L'Outil : La « Fiche de Triche Culturelle » (TALES-Tax)

Avant de pouvoir compter les erreurs, les chercheurs avaient besoin d'un moyen de les catégoriser. Ils n'ont pas simplement deviné ; ils ont interrogé de vraies personnes de l'Inde (9 groupes de discussion et 15 sondages individuels) pour qu'elles lisent les histoires de l'IA et signalent ce qui semblait « faux ».

Sur la base de ces retours, ils ont créé une Fiche de Triche Culturelle (appelée TALES-Tax) comprenant sept catégories d'erreurs :

Inexactitude culturelle : Se tromper sur les faits (ex: dire qu'un snack spécifique est mangé au petit-déjeuner alors qu'il s'agit d'un goûter).
Scénarios improbables : Inventer des événements qui semblent faux (ex: un artiste de rue jouant un instrument classique complexe lors d'une assemblée scolaire matinale).
Clichés : S'appuyer sur des stéréotypes (ex: supposer que tout le monde dans une région boit un type spécifique de café ou porte des vêtements de fête traditionnels pour aller à l'école).
Simplification excessive : Lisser les détails uniques (ex: appeler toute l'art indien « Rangoli » au lieu d'utiliser le nom local spécifique).
Erreurs factuelles : Se tromper de géographie ou d'histoire (ex: dire qu'il y a un désert à côté d'une ville qui est en réalité verdoyante).
Erreurs linguistiques : Mal orthographier les noms ou utiliser incorrectement les termes de parenté.
Erreurs logiques : Briser les règles de fonctionnement des choses (ex: un personnage se baignant dans un puits d'eau potable).

3. Le Grand Test : Le « Test de Goût » avec 108 Experts

Les chercheurs n'ont pas seulement regardé une histoire. Ils ont engagé 108 experts provenant de 71 régions différentes de l'Inde. C'étaient des locuteurs natifs qui connaissaient leur culture locale sur le bout des doigts.

Ils ont demandé à ces experts de lire 540 histoires écrites par 6 modèles d'IA différents (incluant des noms célèbres comme GPT-4 et Gemini) en 14 langues différentes.

Les Résultats :

L'écart « Riche » vs « Pauvre » : L'IA était bien meilleure pour raconter des histoires sur les grandes villes célèbres (Tier-1) et en anglais. Lorsqu'une histoire était située dans une petite ville ou écrite dans une langue indienne moins courante, les erreurs quadruplaient.
Le piège du « Générique » : Certains modèles d'IA essayaient d'éviter les erreurs en écrivant des histoires très ennuyeuses et génériques, sans aucun détail culturel. D'autres essayaient d'être créatifs mais se trompaient dans les détails. Aucune des deux approches n'était satisfaisante.
Relatabilité : À cause de ces erreurs, les histoires semblaient « déconnectées » des gens qu'elles étaient censées représenter. C'est comme regarder un film sur votre ville natale où les acteurs parlent avec un accent faux et mangent la mauvaise nourriture ; vous ne pouvez tout simplement pas créer de lien.

4. La Grande Surprise : Le Paradoxe « Connaissance vs Performance »

C'est la partie la plus intéressante. Les chercheurs se sont demandé : « L'IA est-elle simplement ignorante ? Ne connaît-elle pas les faits ? »

Pour tester cela, ils ont transformé les erreurs en un quiz (appelé TALES-QA). Ils ont posé à l'IA des questions directes comme : « Quel est le plat traditionnel servi à ce mariage ? » ou « Où se trouve cette statue ? ».

Le Résultat Choc :

Lorsqu'on lui posait des questions sous forme de quiz, l'IA donnait les bonnes réponses 76 % du temps (en anglais) et 60 % du temps (dans les langues indiennes).
La Conclusion : L'IA connaît les faits. Elle possède l'information dans son cerveau. Mais lorsqu'elle essaie d'écrire une histoire, elle échoue à utiliser correctement ce qu'elle sait.

L'Analogie :
Imaginez un étudiant qui peut réussir un examen à choix multiples sur l'histoire (obtenant 90 % de bonnes réponses) mais qui, lorsqu'on lui demande d'écrire une dissertation d'histoire, invente des faits sauvages et incorrects. L'étudiant n'est pas « ignorant » ; il ne sait juste pas appliquer ses connaissances dans une situation créative et ouverte.

Résumé

L'article conclut que les modèles d'IA actuels sont comme des touristes trop confiants. Ils ont lu les guides (ils ont les données), mais lorsqu'ils essaient de raconter une histoire sur une culture locale, ils s'appuient sur des stéréotypes, mélangent les détails et ne parviennent pas à capturer la véritable « saveur » du lieu. Cela est particulièrement vrai pour les petites villes et les langues moins communes.

Les chercheurs espèrent que leur « Fiche de Triche Culturelle » et leur « Quiz » aideront les développeurs à corriger cela, afin que les futures IA puissent raconter des histoires qui semblent réelles et respectueuses envers les personnes qu'elles sont censées représenter.

Résumé Technique : TALES – Une taxonomie et une analyse des représentations culturelles dans les récits générés par les LLM

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient progressé de manière significative dans les tâches d'écriture créative, ils échouent fréquemment à représenter avec précision les diverses cultures non occidentales, perpétuant souvent des stéréotypes, des erreurs factuelles et une homogénéisation culturelle. Les évaluations existantes de la compétence culturelle de l'IA se concentrent largement sur la récupération de connaissances, l'alignement des valeurs ou l'adhésion aux normes dans des tâches à réponses fermées. Il existe un manque critique dans l'évaluation de la représentation culturelle dans les tâches génératives à ouverts (open-ended) (telles que le récit), où la « justesse » est subjective et ancrée dans les expériences vécues des communautés. Plus précisément, il manque des cadres structurés pour identifier comment les LLM représentent mal les identités culturelles en Inde, une région caractérisée par une immense diversité linguistique, géographique et culturelle.

Méthodologie

Les auteurs proposent TALES (Taxonomy and Analysis of Cultural Representations in LLM-generated Stories), un cadre d'évaluation centré sur la communauté composé de trois phases principales :

1. Développement d'une taxonomie (TALES-Tax)

Pour répondre à la RQ1 (Comment les LLM représentent-ils mal les diverses identités culturelles ?), les chercheurs ont mené une étude qualitative impliquant :

Groupes de discussion (N=9) et enquêtes individuelles (N=15) avec des participants issus de diverses régions indiennes.
Les participants ont examiné des récits générés par LLM (utilisant GPT-4) basés sur des thèmes tels que les festivals, les mariages et la vie quotidienne.
En utilisant une analyse thématique réflexive sur les commentaires des participants et les segments de texte mis en évidence, l'équipe a dérivé TALES-Tax, une taxonomie de sept catégories de méreprésentation culturelle :
1. Inexactitude culturelle : Descriptions incorrectes de symboles, de traditions ou de croyances.
2. Scénarios improbables : Événements contextuellement peu plausibles selon les normes locales.
3. Clichés : Usage excessif de stéréotypes ou de tropes romancés.
4. Simplification excessive : Homogénéisation d'éléments culturels complexes.
5. Erreur factuelle : Informations objectives incorrectes (ex: géographie, histoire).
6. Inexactitude linguistique : Orthographe, grammaire ou alternance codique inappropriée.
7. Erreur logique : Incohérences narratives.

2. Évaluation humaine à grande échelle

Pour répondre à la RQ2 (Quelle est la fréquence de ces méreprésentations ?), l'équipe a mené une étude d'annotation à grande échelle :

Modèles évalués : 6 LLM populaires (2 sources fermées : GPT-4.1, Gemini 2.5 Pro ; 4 sources ouvertes : Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B, Aya 32B).
Annotateurs : 108 annotateurs « experts » possédant une maîtrise de la langue maternelle et une expérience vécue, provenant de 71 régions d'Inde, couvrant 14 langues (Anglais + 13 langues indic).
Données : 540 récits générés à partir de prompts basés sur le modèle de l'oignon culturel de Hofstede (Symboles, Héros, Rituels, Valeurs).
Annotation : Les annotateurs ont mis en évidence les segments de méreprésentation en utilisant TALES-Tax et ont évalué la relatabilité du récit sur une échelle de Likert de 5 points.
Analyse : L'analyse statistique (tests de Mann–Whitney U) a comparé les fréquences de méreprésentation selon les niveaux de ressources linguistiques (Haut, Moyen, Bas) et les échelons régionaux (Tier-1, Tier-2, Tier-3).

3. Mesure de la connaissance culturelle (TALES-QA)

Pour répondre à la RQ3 (Les méreprésentations sont-elles dues à un manque de connaissances culturelles ?), les chercheurs ont :

Converti les segments de méreprésations annotés en questions autonomes (TALES-QA).
Utilisé GPT-4.1 pour générer des questions candidates, qui ont ensuite été vérifiées et affinées par des experts humains.
Créé un ensemble de données de 1 683 questions (1 115 en langues indic, 568 en anglais) couvrant divers formats (Mot unique, Texte à trous, QCM, Vrai/Faux).
Évalué les mêmes 6 modèles sur cette banque de questions pour déterminer s'ils possédaient les connaissances sous-jacentes qu'ils ne parvenaient pas à appliquer dans le récit.

Résultats clés

Prévalence et distribution des méreprésentations

Fréquence élevée : 88 % des récits générés contenaient au moins une méreprésentation culturelle. En moyenne, on dénombrait 5,42 méreprésentations par récit (soit environ une toutes les 5 phrases).
Disparité linguistique : Les méreprésentations augmentent significativement dans les langues autres que l'anglais.
- Les langues à ressources moyennes ont connu une augmentation de 56 % des méreprésentations par rapport à l'anglais.
- Les langues à faibles ressources ont vu leurs méreprésentations quadrupler.
- Les erreurs linguistiques sont la catégorie dominante dans les récits non anglophones.
Disparité régionale : Les récits situés dans des régions de Tier-3 (périurbaines/rurales) contenaient nettement plus de méreprésentations que ceux des régions de Tier-1. Les inexactitudes culturelles et les erreurs factuelles augmentent le plus fortement pour les régions de Tier-3.
Relatabilité : La note moyenne de relatabilité était de 3,25/5. Il existe une corrélation négative modérée ( $r_s = -0,27$ ) entre le nombre de méreprésentations et la relatabilité du récit. Les modèles à source fermée ont généralement reçu des scores de relatabilité plus élevés que les modèles à source ouverte.

Connaissance culturelle vs Application générative

Écart de connaissance : Malgré le taux élevé de méreprésentation dans les récits, les modèles ont démontré une précision étonnamment élevée sur TALES-QA (questions autonomes).
- Anglais : Précision moyenne de 76,9 %.
- Langues indic : La précision moyenne chute à 59,8 %, avec les performances les plus faibles dans les langues à faibles ressources.
Implication : La cause principale de la méreprésentation n'est pas un manque de connaissances culturelles. Au contraire, les modèles peinent à appliquer fidèlement les connaissances culturelles stockées lors de la génération de récits ouverts et riches en contexte.

Constats spécifiques aux modèles

Gemini 2.5 Pro a le mieux performé globalement, générant les récits les plus riches culturellement (nombre élevé d'items culturels spécifiques) avec la plus faible fraction de méreprésentations.
LLaMA 3.3 70B a généré moins de méreprésentations par récit mais a également montré la plus faible richesse culturelle (moins d'items culturels), suggérant une tendance vers la « non-représentation » (texte générique) plutôt que vers une méreprésentation active.
Aya 32B et Qwen 3 32B ont généré une grande richesse culturelle mais aussi des taux élevés de méreprésentation.

Principales contributions

TALES-Tax : Une nouvelle taxonomie, issue de la communauté, comprenant sept catégories de méreprésentations culturelles, développée via des groupes de discussion et des enquêtes avec des participants indiens.
Évaluation à grande échelle : Une évaluation humaine complète impliquant 108 locuteurs natifs de 71 régions, fournissant la première analyse granulaire de la méreprésentation culturelle à travers 6 modèles, 14 langues et diverses régions indiennes.
TALES-QA : Une banque de questions autonome de 1 683 questions conçue pour découpler la connaissance culturelle de la capacité générative, révélant que les modèles possèdent souvent la connaissance mais échouent à l'appliquer correctement dans la narration.
Preuve empirique des lacunes : L'étude fournit des preuves quantitatives que les méreprésentations culturelles sont exacerbées dans les langues à ressources moyennes/faibles et les régions périurbaines, soulignant des domaines spécifiques d'amélioration pour le développement de l'IA.

Signification et affirmations

L'article affirme que son travail est significatif car il dépasse les simples mesures de récupération de connaissances pour évaluer la représentation culturelle dans les contextes génératifs à travers le prisme des expériences vécues des membres de la communauté.

Approche centrée sur la communauté : En ancrant la taxonomie et l'évaluation dans les perspectives de divers participants indiens, l'étude conteste la conception « occidentalo-centrée » des systèmes d'IA actuels et met en lumière les préjudices spécifiques subis par les communautés minoritaires au sein de régions minoritaires (ex: l'Inde rurale).
Connaissance vs Application : Le fait que les modèles puissent répondre correctement à des questions de connaissance culturelle tout en échouant à représenter fidèlement la culture dans des récits suggère un fossé fondamental dans l'alignement culturel lors de la génération. Cela indique que l'augmentation des données d'entraînement ou des bases de connaissances est insuffisante ; les modèles ont besoin de meilleurs mécanismes pour appliquer le contexte culturel dans des tâches ouvertes.
Directions futures : Les auteurs soutiennent que les systèmes d'IA doivent être conçus pour gérer l'incertitude culturelle (ex: en s'abstenant ou en posant des questions de suivi) plutôt que de halluciner des détails culturels. La publication de TALES-Tax et TALES-QA offre une base structurée pour la recherche future visant à atténuer ces méreprésentations et à améliorer la compétence culturelle dans les contextes non occidentaux.

Les auteurs maintiennent une position modeste, reconnaissant les limites telles que l'utilisation de l'anglais pour les groupes de discussion initiaux et la conception spécifique des prompts, notant que leur travail sert de point de départ pour comprendre et évaluer les méreprésentations culturelles plutôt que comme une conclusion définitive.