💬 NLP

Cultural Awareness is Represented but Not Decoded: Tracing Mythological Knowledge across 18 Open-Source LLMs

Cet article étudie 18 LLM open-source et conclut que, bien qu'ils représentent de manière interne des connaissances mythologiques issues de diverses cultures, leur incapacité à les récupérer de façon cohérente pour les traditions non dominantes provient d'un biais de lecture du décodeur qui fait s'effondrer ces représentations sur les jetons des traditions dominantes, une limitation davantage influencée par la langue de l'invite.

Auteurs originaux : Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Publié 2026-08-04

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Bug Culturel : Pourquoi l'IA connaît Zeus mais oublie Ukko

Imaginez que vous entriez dans une immense bibliothèque de haute technologie qui contient presque tous les livres jamais écrits sur Internet. Cette bibliothèque est gérée par un robot bibliothécaire super intelligent qui a lu chaque page. Vous demandez au bibliothécaire : « Qui est le roi des dieux dans les histoires grecques ? » Le bibliothécaire crie instantanément : « Zeus ! » Vous demandez : « Qui est le roi des dieux dans les histoires romaines ? » « Jupiter ! » Vous demandez : « Qui est le roi des dieux dans les histoires nordiques ? » « Thor ! » Le robot est parfait. Mais ensuite, vous demandez : « Qui est le dieu suprême du ciel dans la mythologie finnoise ? » Le robot hésite, bégaye et finit par donner une mauvaise réponse, ou peut-être même dit : « Je ne sais pas. »

Ce n'est pas seulement une erreur aléatoire ; c'est un schéma. Le robot semble connaître les histoires « populaires » (grecques, romaines, nordiques) mais peine avec les plus « moins célèbres » (finnoises, slaves, égyptiennes, chinoises). Cela se produit parce que la bibliothèque dont le robot a appris est principalement remplée de livres anglais et d'histoires occidentales. Mais voici le grand mystère : Le robot oublie-t-il réellement ces dieux moins connus, ou les connaît-il mais refuse-t-il simplement de prononcer le bon nom ?

Pour résoudre cela, les scientifiques utilisent des outils spéciaux pour regarder à l'intérieur du « cerveau » du robot (qui est en fait un programme informatique complexe appelé Grand Modèle de Langage). Ils veulent voir si l'information est perdue dans la mémoire (l'« encodeur ») ou si la mémoire est intacte, mais que la partie qui donne la réponse (le « décodeur ») est défectueuse. Pensez à cela comme un élève passant un examen. Si l'élève écrit une mauvaise réponse, est-ce parce qu'il ne connaissait pas le fait, ou le connaissait-il parfaitement mais a paniqué et a écrit la mauvaise chose ? Ce document est une enquête policière qui plonge dans le cerveau du robot pour découvrir exactement où se produit le biais culturel.

L'Enquête : À l'intérieur du cerveau du robot

Les chercheurs, Iaroslav et Ekaterina Chelombitko ainsi que Mika Hämäläinen, ont décidé de tester 18 modèles d'IA open-source différents. Ils n'ont pas simplement posé des questions au hasard ; ils ont utilisé un jeu très ingénieux et structuré basé sur de vieux livres de folklore. Ils ont choisi 27 rôles spécifiques tirés d'un catalogue célèbre de mythes (comme « Le Dieu Suprême du Ciel », « Le Dieu du Soleil » ou « Le Trickster ») et ont demandé aux robots de nommer le personnage correspondant à ce rôle dans 10 cultures différentes : grecque, romaine, nordique, finnoise, ukrainienne, indienne, égyptienne, chinouse, japonaise et mésopotamienne.

Pour voir ce qui se passait à l'intérieur du robot, ils ont utilisé quatre outils de « rayons X » :

Sondage Linéaire (Linear Probing) : Un test pour voir si la mémoire interne du robot contient l'étiquette culturelle correcte.
Logit Lens : Une façon de jeter un coup d'œil aux pensées du robot couche par couche pour voir quand il décide d'une réponse.
Patching d'Activation (Activation Patching) : Une expérience de type « et si » où ils échangent les pensées internes du robot d'une culture à une autre pour voir si la réponse change.
Extraction de Sortie (Output Extraction) : Simplement poser la question au robot et voir ce qu'il dit réellement.

La Grande Découverte : Le Cerveau est Intact, la Bouche est Cassée

Les résultats ont été surprenants et très clairs. Lorsque les chercheurs ont regardé à l'intérieur de la mémoire du robot (le flux résiduel), ils ont découvert que le robot connaissait en réalité la culture parfaitement.

Imaginez que le cerveau du robot soit un immense classeur. Quand vous posez une question sur un dieu finnois, les fichiers internes du robot montrent clairement un dossier étiqueté « Mythologie Finnoise » avec le nom correct à l'intérieur. L'outil « Sondage Linéaire » pouvait lire ce dossier avec une grande précision (souvent entre 60 % et 88 % de réussite). Le robot connaissait la différence entre un dieu grec et un dieu finnois.

Cependant, lorsque le robot était appelé à parler, il se trompait.

C'est la découverte principale : L'échec se produit lors de la « lecture » (readout), et non de la « représentation ». Le robot connaît la réponse, mais lorsqu'il essaie de la dire, il réduit le nom spécifique et unique (comme « Ukko » pour le dieu du ciel finnois) au nom le plus populaire et par défaut (comme « Zeus » ou « Thor »).

Les chercheurs appellent cela le « Décodage Supprimé » (Decoding Suppressed). Dans leur étude de 18 modèles, c'était le problème majeur. Pour chaque modèle, la majorité du temps (entre 51 % et 76 % du temps), la mémoire interne du robot était correcte, mais la réponse finale donnée était fausse. C'est comme un élève qui sait que la réponse est « Finnois » mais qui, en écrivant, sa main écrit automatiquement « Grec » parce que c'est ce qu'il voit sur le bureau du professeur tous les jours.

Ce qu'ils ont écarté

Le document a également testé d'autres hypothèses pour s'assurer de leur justesse :

Ce n'est pas que le robot est uniquement en mode « traduction » : Certains pensaient que les robots traduisent tout en anglais dans leur tête avant de retraduire. Si c'était le cas, le robot ne connaîtrait même pas la différence culturelle à l'intérieur de son cerveau. Mais l'étude a montré que le cerveau connaît la différence clairement.
Ce n'est pas seulement une question de taille de modèle : Les chercheurs ont vérifié si des modèles plus gros (avec plus de « puissance cérébrale ») corrigeaient le problème. Ils ont constaté que si les modèles plus grands s'amélioraient légèrement, l'écart entre « connaître la réponse » et « dire la réponse » ne se refermait jamais. Même les plus gros modèles conservaient ce biais.
Ce n'est pas seulement un problème de langue : Ils ont testé si le robot échouait parce qu'il ne pouvait pas lire la langue d'origine (comme le finnois ou l'ukrainien). Ils ont découvert que même quand le robot pouvait lire la langue, il préférait toujours donner la réponse par défaut « Anglaise/Occidentale ». Le biais se situe dans la partie décisionnelle du robot, et non dans sa simple capacité de lecture.

Le Tournant Linguistique

L'un des aspects les plus intéressants de l'étude a été de poser la même question de deux manières : en anglais et dans la langue maternelle de la culture (par exemple, interroger sur les dieux finnois en anglais versus interroger en finnois).

Ils ont découvert que le cerveau du robot agit comme un interrupteur. Quand vous posez la question en anglais, il utilise un ensemble de voies pour décider de la réponse. Quand vous posez la question en finnois, il en utilise un autre légèrement différent. Parfois, poser la question dans la langue maternelle aidait le robot à donner la bonne réponse, mais souvent, le robot revenait quand même par défaut aux noms occidentaux célèbres.

Les chercheurs ont découvert que si vous posez la même question en anglais et dans la langue maternelle, puis que vous prenez la meilleure réponse de l'une ou l'autre, vous pouvez corriger environ 36 % d'erreurs supplémentaires sans rien apprendre de nouveau au robot. C'est comme avoir deux amis pour vérifier la réponse ; si l'un dit « Zeus » et l'autre « Ukko », vous pouvez choisir la bonne.

Conclusion : Réparer la Bouche, pas le Cerveau

Le document conclut que le problème n'est pas que l'IA ne connaît pas les mythes finnois, slaves ou égyptiens. L'IA les connaît. Le problème est que la partie de l'IA qui génère du texte est « filtrée » par des défauts culturels. Elle a l'habitude d'aplatir les détails culturels uniques et spécifiques pour les transformer en éléments les plus communs et dominants qu'elle rencontre dans ses données d'entraînement.

Cela signifie que pour corriger le biais culturel dans l'IA, nous ne devrions pas seulement essayer de nourrir le robot avec plus de livres sur les mythes finnois (ce qui aiderait la mémoire, mais cette mémoire est déjà là). Au lieu de cela, nous devons réparer la partie du robot qui parle. Nous devons apprendre au robot qu'il est acceptable de dire « Ukko » au lieu de « Zeus », même quand il a l'impression que « Zeus » est la réponse la plus sûre et la plus commune.

L'étude suggère que la solution réside dans les interventions de « lecture » (readout interventions) — changer la façon dont le robot sélectionne ses mots finaux — plutôt que de simplement tenter de réentraîner l'intégralité de son cerveau. C'est un rappel que le fait qu'une machine possède toute l'information ne signifie pas qu'elle vous dira la vérité ; parfois, elle vous dit simplement ce qu'elle pense que vous voulez entendre.

Résumé technique : La conscience culturelle est représentée mais non décodée

Énoncé du problème

Les grands modèles de langage (LLM) présentent un biais culturel bien documenté, adoptant par défaut des cadres de référence anglo-américains ou occidentaux dans des tâches allant du raisonnement moral à la reconnaissance d'entités nommées. Bien que des études comportementales aient établi que les modèles échouent à récupérer des connaissances culturellement spécifiques (par exemple, l'incapacité à nommer le dieu suprême du ciel dans la mythologie finnoise ou slave alors qu'ils nomment de manière fiable Zeus ou Thor), elles n'ont pas identifié où, à l'intérieur du modèle, ce défaut se produit.

La question de recherche centrale est de savoir si ce biais provient d'un échec de représentation (l'état interne du modèle ne distingue pas les cultures) ou d'un échec de décodage (le modèle distingue les cultures en interne mais les réduit aux jetons des traditions dominantes lors de la génération de la sortie). Résoudre cette distinction est crucial car les deux régimes nécessitent des interventions opposées : les échecs de représentation requièrent de nouvelles informations lors du pré-entraînement, tandis que les échecs de décodage nécessitent des modifications du mécanisme de lecture (readout).

Méthodologie

Les auteurs instrumentent 18 LLM open-source (allant de 1,2B à 34B de paramètres à travers 8 familles d'architectures, incluant Llama, Gemma, Phi, Qwen, Yi, OLMo et Aya) en utilisant un substrat transculturel parallèle et quatre outils mécanistes.

1. Substrat : Ensemble d'entités transculturelles parallèles

Pour garantir une comparaison équitable entre les cultures, les auteurs ont construit un ensemble de données basé sur l'Index des motifs folkloriques et littéraires de Thompson.

Structure : 27 motifs mythologiques spécifiques (ex: « dieu suprême du ciel », « vol du feu ») évalués à travers 10 cultures (grecque, romaine, nordique, finnoise, ukrainienne, indienne, égyptienne, chinoise, japonaise, mésopotamienne).
Vérité terrain (Ground Truth) : Chaque paire (motif, culture) possède un nom d'entité « gold » unique, ancré dans des textes primaires (ex: Kalevala, Rig Veda) ou des monographies académiques modernes.
Prompting : Deux modes de prompt ont été utilisés :
- Contextuel : « ${name}` incarne le rôle de `$ {description}. » (Utilisé pour l'extraction de l'état caché ; le mot de la culture est absent pour éviter la copie triviale).
- Chat : « Dans la mythologie de ${culture}`, quel est le nom de `$ {description} ? » (Utilisé pour la génération de la sortie).

2. Instruments mécanistes

L'étude applique quatre mesures complémentaires à chaque paire (entité, modèle) :

E1 Sondage linéaire (Linear Probing) : Un classificateur de régression (ridge classifier) est entraîné sur le flux résiduel pour prédire l'étiquette culturelle parmi les 10 options. Cela teste si l'information culturelle est linéairement décodable de la représentation interne.
E2 Lentille de logit (Logit Lens) : La norme finale et l'unembedding du modèle sont appliquées aux états cachés intermédiaires pour déterminer la profondeur à laquelle le jeton « gold » entre dans le top- $k$ des continuations.
E3 Patching d'activation (Activation Patching) : Les flux résiduels d'un prompt de culture source sont échangés dans un prompt de culture cible pour identifier la couche causale où la préférence du modèle bascule vers le nom de la culture source.
E4 Extraction de sortie (Output Extraction) : Décodage glouton (greedy decoding) du template de chat pour mesurer la précision réelle de la génération.

3. Cadre de décomposition

En combinant le résultat du sondage (E1) et le résultat de la génération (E4), les auteurs définissent une décomposition $2 \times 2$ :

Préservé : Sondage correct, Sortie correcte.
Supprimé par le décodage (Decoding-Suppressed) : Sondage correct, Sortie incorrecte (l'hypothèse centrale).
Plate de représentation (Representationally Flat) : Sondage incorrect, Sortie incorrecte.
Chance de surface (Surface Luck) : Sondage incorrect, Sortie correcte.

Résultats clés

1. La suppression par le décodage est universelle (RQ1)

À travers les 18 modèles, la cellule « Supprimé par le décodage » est le mode de défaillance dominant, comprenant 51 à 76 % des cas (moyenne de 65 %).

Preuve : Le sondage linéaire atteint systématiquement une précision élevée (0,61–0,88), nettement supérieure à la ligne de base de surface des n-grammes de caractères (0,60), indiquant que le flux résiduel distingue clairement les cultures.
Contraste : Cependant, la précision de la génération est drastiquement plus faible (0,09–0,43).
Conclusion : La distinction culturelle est présente dans l'état interne du modèle, mais n'est pas émise par le décodeur. L'échec se situe au niveau de la lecture (readout), et non de la représentation.

2. Décodage tardif et localisation causale (RQ2 & RQ3)

Émergence par couche : La lentille de logit montre que le jeton « gold » entre dans les prédictions du top- $k$ uniquement dans les 12 derniers pourcentages de couches (médiane de profondeur 0,96).
Limite causale : Le patching d'activation confirme que l'échange des flux résiduels ne fait basculer la préférence du modèle que dans le dernier quart du réseau (médiane de profondeur 0,89).
Implication : Le réseau encode la culture tôt (le sondage culmine dans la première moitié), mais le lien causal vers le jeton de sortie est établi très tardivement, coïncidant avec la couche d'unembedding.

3. Effets d'échelle (RQ4)

L'augmentation de la taille du modèle au sein d'une même famille (ex: Llama 1.2B $\to$ 8B) améliore à la fois la précision du sondage et la précision de la génération, mais ne comble pas l'écart.

L'écart se réduit légèrement (ex: de 0,70 à de 0,63 pour Llama 3.x) mais reste substantiel, même à plus grande échelle.
Cela suggère que le simple passage à l'échelle des paramètres ne résout pas le problème de la suppression par le décodage.

4. Lecture conditionnée par la langue (RQ5)

L'échec est régi par la langue du prompt.

Découplage : Les paraphrases interlinguistiques (requête en anglais vs requête en langue native) sont environ 2 fois plus déconnectées que les paraphrases intralinguistiques ( $r_{cross} = 0,29$ vs $r_{within} = 0,57$ ).
Asymétrie : La direction du biais (avantage anglais vs natif) suit la langue dans laquelle le canon culturel est documenté aujourd'hui (ex: le grec/l'égyptien favorisent les requêtes en anglais ; le finnois/le chinois favorisent les requêtes natives), plutôt que l'efficacité du tokenizer ou la capacité du modèle.
Ensemble bilingue : Prendre la disjonction des sorties en anglais et en langue native (sans entraînement) permet de récupérer une précision absolue supplémentaire de +8 % (+36 % relative), confirmant que les deux modes accèdent à des sous-ensembles partiellement disjoints du même ensemble de représentations.

Signification et affirmations

L'article propose un recadrage mécaniste du biais culturel dans les LLM :

Représentation vs Lecture (Readout) : Le lieu principal de l'aplatissement culturel est la couche d'unembedding, et non le flux résiduel. Les modèles « savent » les distinctions culturelles (elles sont linéairement séparables) mais échouent à les « dire ».
Implications pour l'atténuation : Les interventions ciblant l'encodeur (ex: pré-entraînement continu sur des corpus sous-représentés) peuvent aider pour la minorité de cas « Plate de représentation », mais ne résoudront pas directement les cas dominants de « Suppression par le décodage ». Une atténuation efficace doit cibler la lecture (readout) (ex: génération augmentée par récupération, réordonnancement, ajustement d'instructions sur le QA culturel, ou ensemble bilingue).
Limites : Les conclusions sont établies sur des modèles open-source avec accès « boîte blanche ». Les auteurs notent que la dominance du mode « Supprimé par le décodage » est une conjecture pour les modèles fermés, bien que la prédiction de la lecture conditionnée par la langue (RQ5) se généralise à ces derniers car elle repose uniquement sur le comportement de sortie. Le substrat est limité au folklore (motifs de Thompson) où des étiquettes « gold » parallèles sont constructibles ; le transfert à d'autres domaines (ex: méconceptions biomédicales) est proposé comme une direction future mais n'est pas revendiqué comme un résultat de cette étude.

En résumé, l'article soutient que l'équité culturelle de ce qu'un modèle dit ne peut être lue à partir de ce qu'il sait ; les deux divergent au stade de la lecture, et c'est là que le diagnostic et la réparation doivent se concentrer.