📄 social_science

Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations

Cette étude révèle que les grands modèles de langage font fréquemment preuve d'une « hallucination culturelle évaluative » en surestimant de manière significative l'adéquation pragmatique et socioculturelle (le Tenor) des traductions de la signalétique publique des zones touristiques, confondant souvent la formalité de surface ou des références reconnaissables avec une véritable pertinence culturelle.

Auteurs originaux : Qi Guo, Tengteng Yap

Publié 2026-08-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Guo, Tengteng Yap

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Lorsque vous déambulez dans un temple historique ou un lieu de sépulture sacré en Chine, les panneaux qui vous guident sont bien plus que de simples indications. Ils constituent un pont entre les cultures, traduisant non seulement les mots, mais aussi le profond respect, l'histoire et la solennité requis pour parler d'un lieu où reposent les ancêtres ou des divinités sont honorées. C'est le domaine de la traduction de la signalétique publique, une tâche qui exige un équilibre délicat entre clarté et sensibilité culturelle. Pendant des décennies, les experts ont jugé ces traductions en examinant le « ton » (ou tenor), un concept qui décrit la relation entre l'auteur et le lecteur. Il s'agit de déterminer si le ton est approprié : est-il trop décontracté pour un site sacré ? Est-il trop rigide pour un sentier de randonnée ? Témoigne-t-il du niveau de respect adéquat envers une figure historique ? À mesure que les villes et les sites touristiques se développent, le besoin de vérifier des milliers de ces panneaux a dépassé la capacité des experts humains à tous les réviser, amenant beaucoup à se demander si l'intelligence artificielle peut intervenir pour aider.

Les grands modèles de langage, ces puissants systèmes informatiques qui propulsent les chatbots modernes, ont prouvé qu'ils pouvaient lire et écrire avec une fluidité impressionnante. Ils peuvent repérer les fautes de grammaire et suggérer des formulations plus fluides. Mais une nouvelle étude menée par des chercheurs de l'Université de Malaya pose une question plus difficile : ces machines peuvent-elles comprendre le poids invisible de la culture ? Plus précisément, ils voulaient savoir si une intelligence artificielle pourrait, par erreur, louer une traduction qui semble polie et formelle, mais qui passe réellement à côté de la profonde signification culturelle requise pour un site sacré ou historique. Les chercheurs ont rassemblé 116 panneaux bilingues provenant de huit grandes attractions touristiques de Xuzhou, en Chine, allant de guides de la nature à des descriptions de tombes anciennes et de temples bouddhistes. Ils ont demandé à des experts humains ainsi qu'à un modèle d'IA sophistiqué de noter les traductions anglaises en fonction de leur capacité à capturer le ton et le respect appropriés.

Les résultats ont révélé un écart significatif entre l'intuition humaine et le jugement de la machine. Alors que les experts humains attribuaient souvent des scores faibles aux traductions pour avoir échoué à capturer le respect culturel nécessaire, le modèle d'IA leur attribuait systématiquement des notes élevées. Dans près de la moitié des cas examinés, l'IA jugeait une traduction de haute qualité alors même que les experts la considéraient comme culturellement inadéquate. Le problème était plus grave pour les panneaux liés à la religion et aux rituels. Pour ces panneaux, l'IA s'est trompée sur la qualité de la traduction dans 65 % des cas. Les chercheurs ont découvert que l'IA ne commettait pas simplement des erreurs aléatoires ; elle suivait un schéma de compréhension erronée spécifique et prévisible. Elle confondait l'apparence de surface d'un texte avec sa valeur culturelle profonde.

Lorsque les chercheurs ont examiné de près pourquoi l'IA donnait ces scores élevés, ils ont découvert qu'elle s'appuyait sur quatre raccourcis spécifiques. Premièrement, le modèle louait souvent une traduction simplement parce qu'elle semblait formelle ou institutionnelle, comme ce que l'on pourrait voir dans un musée. Il supposait que si les mots paraissaient officiels, le ton était correct, même si le respect culturel spécifique faisait défaut. Deuxièmement, l'IA était dupe des noms reconnaissables. Si la traduction conservait le nom d'une figure historique ou d'un objet religieux, le modèle supposait que le travail était accompli, ignorant si les mots environnants traitaient cette figure avec la révérence appropriée. Troisièmement, le modèle confondait parfois la politesse générale avec la solennité culturelle spécifique. Il identifiait des mots qui semblaient respectueux au sens large et décidait que la traduction était parfaite, ne remarquant pas que les nuances rituelles spécifiques étaient perdues. Enfin, l'IA était trop tolérante envers l'absence d'informations. Elle attribuait un score élevé à une traduction courte et facile à lire, même si elle avait omis des détails importants sur les rituels ou l'histoire qui étaient essentiels au sens original.

L'étude suggère qu'il ne s'agit pas seulement d'un cas où la machine est légèrement imprécise, mais d'une forme de ce que les auteurs appellent une « hallucination culturelle évaluative ». Cela ne signifie pas que la machine invente des faits, mais plutôt qu'elle hallucine qu'une traduction est culturellement appropriée alors qu'elle ne l'est pas. Elle voit les caractéristiques de surface — mots formels, noms reconnaissables ou ton poli — et se convainc que les exigences culturelles profondes ont été satisfaites. Cela est particulièrement dangereux pour les panneaux dans les contextes religieux ou rituels, où se tromper de ton peut être perçu comme irrespectueux, voire offensant. Les chercheurs ont constaté que l'IA était bien meilleure pour juger les panneaux concernant la nature ou les informations générales, où le ton est moins complexe. Mais lorsque le texte concernait des espaces sacrés, des sites funéraires ou des rituels anciens, la confiance de la machine devenait un handicap.

Cette recherche ne dit pas que l'intelligence artificielle ne peut pas aider à la traduction. Elle avertit plutôt que nous ne pouvons pas simplement faire confiance au score de la machine, surtout quand la culture est en jeu. L'IA est excellente pour vérifier si une phrase est grammaticalement correcte ou si un nom est bien orthographié, mais elle peine à comprendre les règles invisibles de respect et de hiérarchie qui régissent la façon dont nous parlons du sacré. L'étude conclut que pour les panneaux dans les zones touristiques, particulièrement ceux traitant de l'histoire et de la religion, l'intervention d'experts humains doit rester indispensable. La machine peut offrir un premier regard, mais son raisonnement doit être vérifié par une personne qui comprend qu'un ton formel n'est pas la même chose qu'un ton respectueux, et qu'un nom reconnaissable ne garantit pas une traduction culturellement exacte. Jusqu'à ce que les machines puissent véritablement comprendre le poids de la culture, le moyen le plus fiable de garantir que ces panneaux honorent les lieux qu'ils décrivent est de maintenir une main humaine sur le volant.

Résumé technique : Hallucination culturelle évaluative dans l'évaluation du Tenor par les LLM pour la traduction de panneaux de zones touristiques

Énoncé du problème
L'étude aborde une lacune critique dans l'application des modèles de langage de grande taille (LLM) à l'évaluation de la qualité de la traduction (TQA), spécifiquement concernant la dimension « Tenor » du cadre de TQA de House. Bien que les LLM offrent des alternatives évolutives aux évaluations coûteuses par des experts humains, leur fiabilité pour évaluer la pertinence socio-culturelle et pragmatique des traductions reste incertaine. Cela est particulièrement aigu pour les traductions de panneaux publics en zones touristiques, où les textes impliquent souvent des références religieuses, des expressions ritualisées et des hiérarchies historiques. Le problème central est que les LLM peuvent produire des « hallucinations culturelles évaluatives » : des évaluations injustifiées positivement de traductions que les experts humains jugent culturellement ou pragmatiquement inadéquates. Contrairement aux hallucinations factuelles (génération de contenu faux), ce phénomène implique que le modèle interprète mal des caractéristiques textuelles de surface (ex. : formalité, termes reconnaissables) comme étant des preuves d'une profondeur d'adéquation culturelle et pragmatique.

Méthodologie
La recherche a employé un plan de méthodes mixtes exploratoires impliquant 116 panneaux bilingues chinois-anglais collectés dans huit attractions touristiques de classe 4A/5A à Xuzhou, en Chine. Le corpus a été catégorisé en trois groupes thématiques : signes informationnels/naturels ( $n=18$ ), signes historiques-archéologiques ( $n=35$ ) et signes religieux-rituels ( $n=63$ ).

Évaluation duale : Chaque panneau a été évalué par trois experts bilingues certifiés par le CATTI et par le LLM « GPT-5.5 Thinking » (accessible via l'interface ChatGPT). Tous deux ont utilisé une échelle de cinq points (1–5) basée sur le cadre de House, se concentrant sur la formalité, la distance sociale, la politesse, le respect culturel et la sensibilité rituelle.
Définition opérationnelle : Les « cas de surestimation élevée » ont été définis comme des instances où la médiane des scores des experts était $\le 2$ (indiquant une inadéquation claire du Tenor) tandis que le score du LLM était $\ge 4$ (indiquant une haute adéquation).
Analyse qualitative : Les 56 cas de surestimation élevée identifiés (48,3 % du corpus) ont fait l'objet d'un codage qualitatif pour identifier les schémas de raisonnement récurrents dans la justification du LLM pour ses scores élevés. La fiabilité inter-juges pour le codage était substantielle (Kappa de Cohen $\kappa = 0,84$ ).

Résultats clés
L'étude a révélé une divergence significative entre les évaluations humaines et mécaniques, caractérisée par une surestimation systématique de la qualité du Tenor par le LLM.

Disparité quantitative : Le score moyen des experts était de 2,33, comparé à un score moyen du LLM de 4,29, résultant d'une différence moyenne de +1,97. Dans 79,3 % des cas, le score du LLM dépassait le score de l'expert.
Prévalence de la surestimation élevée : 48,3 % de l'ensemble des échantillons répondaient au critère de surestimation élevée. Ce taux variait considérablement selon la catégorie thématique :
- Signes informationnels/naturels : 27,8 %
- Signes historiques-archéologiques : 28,6 %
- Signes religieux-rituels : 65,1 % (la plus forte concentration de surestimation).
Schémas de raisonnement : Le codage qualitatif des justifications du LLM a révélé quatre schémas récurrents de « substitution par l'adéquation de surface », où le modèle substitue des indices facilement détectables à un jugement culturel et pragmatique complexe :
1. Dépendance excessive au registre formel (83,9 %) : Le modèle attribuait des scores élevés parce que la traduction semblait « formelle », « neutre » ou « institutionnelle », confondant le ton avec l'adéquation culturelle.
2. Substitution par la reconnaissance sémantique (69,6 %) : Les scores élevés étaient justifiés par la préservation de noms, d'objets ou de références historiques reconnaissables, indépendamment du fait que la force pragmatique ou le respect soit maintenu.
3. Substitution par la révérence générique (44,6 %) : Le modèle décrivait les traductions comme « respectueuses » ou « solennelles » de manière générale, échouant à distinguer la politesse générique des exigences rituelles ou doctrinales spécifiques.
4. Simplification tolérante à l'omission (35,7 %) : Le modèle acceptait les traductions concises ou simplifiées comme appropriées, négligeant la perte de détails culturellement significatifs, particulièrement dans les contextes religieux et rituels.

Contributions clés

Conceptualisation de l'hallucination culturelle évaluative : L'article introduit et opérationnalise le concept d'« hallucination culturelle évaluative ». Cela distingue les échecs des LLM en TQA des hallucinations factuelles, les définissant comme des jugements injusteusement positifs soutenus par des raisonnements culturellement insuffisants.
Identification des schémas de raisonnement : L'étude va au-delà de la simple divergence de scores pour classifier systématiquement les erreurs de raisonnement spécifiques que les LLM commettent lors de l'évaluation de textes culturellement sensibles. Elle démontre que les LLM confondent souvent les caractéristiques de surface (formalité, reconnaissance) avec l'adéquation pragmatique profonde.
Cartographie de la vulnérabilité thématique : La recherche souligne que la fiabilité des LLM est spécifique à la dimension. Si les LLM peuvent être performants sur des textes informationnels, leurs performances se dégradent considérablement dans les contextes religieux et rituels où le Tenor dépend de hiérarchies culturelles spécifiques et de la distance sacrée.

Signification et affirmations
Les auteurs affirment que leurs conclusions servent de mise en garde pour les administrateurs du tourisme, les traducteurs et les évaluateurs s'appuyant sur les LLM pour l'évaluation des panneaux publics. L'étude soutient que les scores et les raisonnements des LLM ne doivent pas être acceptés comme des substituts directs au jugement d'expert, particulièrement dans des contextes à haut risque impliquant la religion, la culture funéraire ou la hiérarchie historique.

L'article pose que les schémas de raisonnement identifiés (dépendance au registre formel, etc.) peuvent servir d'outil de diagnostic. En auditant les raisonnements des LLM pour ces raccourcis spécifiques, les évaluateurs peuvent détecter les potentielles « hallucinations culturelles évaluatives » avant d'accepter un score de qualité élevé. Les auteurs concluent que bien que les LLM soient prometteurs pour une TQA évolutive, leur utilisation nécessite des « garde-fous informés par les experts et sensibles à la culture », tels que des prompts raffinés qui vérifient explicitement la distance rituelle et le respect marqué culturellement, plutôt que de se fier à des évaluations générales de formalité ou de fluidité. L'étude ne prétend pas que les LLM sont universellement peu fiables, mais souligne que leur fiabilité n'est pas uniforme à travers toutes les dimensions de la qualité de la traduction, le Tenor dans les textes culturellement denses étant un point de défaillance spécifique.

Articles similaires