📄 social_science

Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations

Deze studie onthult dat grote taalmodellen frequent "evaluatieve culturele hallucinatie" vertonen door de pragmatische en sociaal-culturele geschiktheid (Tenor) van vertalingen van publieke borden in recreatiegebieden aanzienlijk te overschatten, waarbij ze vaak oppervlakkige formaliteit of herkenbare verwijzingen verwarren met genuïene culturele geschiktheid.

Oorspronkelijke auteurs: Qi Guo, Tengteng Yap

Gepubliceerd 2026-08-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qi Guo, Tengteng Yap

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Wanneer je door een historische tempel of een heilige begraafplaats in China wandelt, zijn de borden die je begeleiden meer dan alleen aanwijzingen. Ze vormen een brug tussen culturen, waarbij niet alleen woorden worden vertaald, maar ook het diepe respect, de geschiedenis en de plechtigheid die vereist zijn om te spreken over een plek waar voorouders rusten of godheden worden geëerd. Dit is het domein van de vertaling van publieke borden, een taak die een delicaat evenwicht vereist tussen duidelijkheid en culturele sensitiviteit. Decennialang hebben experts deze vertalingen beoordeeld door te kijken naar "tenor", een concept dat de relatie tussen de schrijver en de lezer beschrijft. Het vraagt of de toon juist is: is het te informeel voor een heilige plek? Is het te stijf voor een natuurpad? Toont het het juiste niveau van respect voor een historisch figuur? Naarmate steden en toeristische trekpleisters groeien, heeft de noodzaak om duizenden van deze borden te controleren de capaciteit van menselijke experts om ze allemaal te beoordelen overstegen, wat velen ertoe heeft aangezet zich af te vragen of kunstmatige intelligentie kan bijspringen om te helpen.

Grote taalmodellen, de krachtige computersystemen achter moderne chatbots, hebben bewezen dat ze met indrukwekkende vloeiendheid kunnen lezen en schrijven. Ze kunnen grammaticafouten opsporen en suggesties doen voor soepelere formuleringen. Maar een nieuwe studie van onderzoekers aan de Universiteit van Malaya stelt een moeilijkere vraag: kunnen deze machines het onzichtbare gewicht van cultuur begrijpen? Specifiek wilden ze weten of een kunstmatige intelligentie per ongeluk een vertaling zou prijzen die beleefd en formeel klinkt, maar die eigenlijk de diepe culturele betekenis mist die vereist is voor een heilige of historische locatie. De onderzoekers verzamelden 116 tweetalige borden van acht grote toeristische attracties in Xuzhou, China, variërend van natuurgidsen tot beschrijvingen van oude graven en Boeddhistische tempels. Ze vroegen zowel menselijke experts als een geavanceerd AI-model om de Engelse vertalingen te beoordelen op basis van hoe goed ze de juiste toon en het juiste respect overbrachten.

De resultaten onthulden een aanzienlijk gat tussen menselijke intuïtie en machinale oordeelsvorming. Terwijl de menselijke experts veel van de vertalingen een lage score gaven omdat ze er niet in slaagden de noodzakelijke culturele respect over te brengen, gaf het AI-model ze consequent hoge cijfers. In bijna de helft van de onderzochte gevallen beoordeelde de AI een vertaling als hoogwaardig, zelfs wanneer experts ze als cultureel ontoereikend beschouwden. Het probleem was het meest ernstig bij borden gerelateerd aan religie en rituelen. Voor deze borden zat de AI in 65 procent van de gevallen naast de kwaliteit van de vertaling. De onderzoekers ontdekten dat de AI niet simpelweg willekeurige fouten maakte; het volgde een specifiek, voorspelbaar patroon van misverstand. Het verwarde de oppervlakkige verschijning van een tekst met de diepe culturele waarde ervan.

Wanneer de onderzoekers nauwkeurig keken naar waarom de AI deze hoge scores gaf, ontdekten ze dat het vertrouwde op vier specifieke sluiproutes. Ten eerste prezen de modellen een vertaling vaak simpelweg omdat deze formeel of institutioneel klonk, zoals iets dat je in een museum zou zien. Het model nam aan dat als de woorden officieel klonken, de toon correct was, zelfs als de specifieke culturele eerbied ontbrak. Ten tweede werd de AI misleid door herkenbare namen. Als de vertaling de naam van een historisch figuur of een religieus object behield, nam het model aan dat de taak was volbracht, waarbij het negeerde of de omliggende woorden die figuur met de juiste eerbied behandelden. Ten derde verwarde het model soms algemene beleefdheid met specifieke culturele plechtigheid. Het zag woorden die in brede zin respectvol klonken en besloot dat de vertaling perfect was, waarbij het niet merkte dat de specifieke rituele nuances verloren waren gegaan. Ten slotte was de AI te tolerant tegenover ontbrekende informatie. Het gaf een hoge score aan een vertaling die kort en gemakkelijk leesbaar was, zelfs als deze belangrijke details over rituelen of geschiedenis had weggelaten die essentieel waren voor de oorspronkelijke betekenis.

De studie suggereert dat dit niet slechts een geval is waarbij de machine er net naast zit, maar een vorm van wat de auteurs "evaluatieve culturele hallucinatie" noemen. Dit betekent niet dat de machine feiten verzint; het hallucineert eerder dat een vertaling cultureel gepast is wanneer dat niet zo is. Het ziet de oppervlakkige kenmerken — formele woorden, herkenbare namen of een beleefde toon — en overtuigt zichzelf ervan dat aan de diepe culturele eisen is voldaan. Dit is bijzonder gevaarlijk voor borden in religieuze of rituele omgevingen, waar het verkeerd krijgen van de toon als respectloos of zelfs beledigend kan worden ervaren. De onderzoekers vonden dat de AI veel beter was in het beoordelen van borden over de natuur of algemene informatie, waar de toon minder complex is. Maar wanneer de tekst betrekking had op heilige ruimtes, begraafplaatsen of oude rituelen, werd het zelfvertrouwen van de machine een last.

Dit onderzoek zegt niet dat kunstmatige intelligentie niet kan helpen met vertaling. In plaats daarvan waarschuwt het dat we de score van de machine niet simpelweg kunnen vertrouwen, vooral wanneer cultuur in het spel is. De AI is uitstekend in het controleren of een zin grammaticaal correct is of dat een naam juist gespeld is, maar het worstelt met het begrijpen van de onzichtbare regels van respect en hiërarchie die bepalen hoe we over het heilige spreken. De studie concludeert dat voor borden in toeristische gebieden, met name die die gaan over geschiedenis en religie, menselijke experts in de loop moeten blijven. De machine kan een eerste blik bieden, maar de redenering moet worden gecontroleerd door een persoon die begrijpt dat een formele toon niet hetzelfde is als een respectvolle toon, en dat een herkenbare naam geen garantie biedt voor een cultureel accurate vertaling. Totdat machines de werkelijke zwaarte van cultuur kunnen begrijpen, is de meest betrouwbare manier om ervoor te zorgen dat deze borden de plaatsen die ze beschrijven eren, een menselijke hand aan het stuur houden.

Technische Samenvatting: Evaluatieve Culturele Hallucinatie in de LLM-beoordeling van Tenor bij Vertalingen van Publieke Borden in Bezienswaardigheden

Probleemstelling
De studie adresseert een kritische lacune in de toepassing van Large Language Models (LLMs) op Translation Quality Assessment (TQA), specifiek met betrekking tot de "Tenor"-dimensie van House's TQA-kader. Hoewel LLMs schaalbare alternatieven bieden voor kostbare menselijke expertbeoordelingen, blijft hun betrouwbaarheid bij het beoordelen van de socio-culturele en pragmatische geschiktheid van vertalingen onzeker. Dit is met name acuut bij de vertalingen van publieke borden in toeristische gebieden, waar teksten vaak religieuze verwijzingen, geritualiseerde uitdrukkingen en historische hiërarchieën bevatten. Het kernproblein is dat LLMs "evaluatieve culturele hallucinaties" kunnen produceren: onterecht positieve beoordelingen van vertalingen die door menselijke experts als cultureel of pragmatisch inadequaat worden beschouwd. In tegen tegenstelling tot feitelijke hallucinaties (het genereren van onjuiste inhoud), houdt dit fenomeen in dat het model oppervlakkige tekstuele kenmerken (bijv. formaliteit, herkenbare termen) verkeerd interpreteert als bewijs voor diepe culturele en pragmatische adequaatheid.

Methodologie
Het onderzoek maakte gebruik van een exploratief mixed-methods design met 116 Chinees-Engelse publieke borden, verzameld bij acht 4A/5A toeristische attracties in Xuzhou, China. Het corpus werd gecategoriseerd in drie thematische groepen: informatieve/natuurlijke borden ( $n=18$ ), historische-archeologische borden ( $n=35$ ) en religieuze-rituele borden ( $n=63$ ).

Dubbele Beoordeling: Elk bord werd geëvalueerd door drie CATTI-gecertificeerde menselijke experts en door de LLM "GPT-5.5 Thinking" (geraadpleegd via de ChatGPT-interface). Beiden gebruikten een vijfpuntschaal (1–5) gebaseerd op het kader van House, waarbij de focus lag op formaliteit, sociale afstand, beleefdheid, cultureel respect en rituele sensitiviteit.
Operationele Definitie: "Casussen van hoge overschatting" werden gedefinieerd als instanties waar de mediaan van de expert-score $\le 2$ was (wat duidt op duidelijke inadequaatheid van de Tenor) terwijl de LLM-score $\ge 4$ was (wat duidt op een hoge geschiktheid).
Kwalitatieve Analyse: De 56 geïdentificeerde casussen van hoge overschatting (48,3% van het corpus) ondergingen kwalitatieve codering om recurrente rationale-patronen te identificeren in de rechtvaardiging van de LLM voor deze hoge scores. De inter-beoordelaarsbetrouwbaarheid voor de codering was substantieel (Cohen's $\kappa = 0,84$ ).

Belangrijkste Resultaten
De studie vond een significante divergentie tussen menselijke en machine-evaluaties, gekenmerkt door een systematische overschatting van de kwaliteit van de Tenor door de LLM.

Kwantitatieve Discrepantie: De gemiddelde expert-score was 2,33, vergeleken met een gemiddelde LLM-score van 4,29, wat resulteert in een gemiddeld verschil van +1,97. In 79,3% van de gevallen oversteeg de LLM-score de expert-score.
Prevalentie van Hoge Overschatting: 48,3% van de totale steekproeven voldeed aan het criterium voor hoge overschatting. Dit percentage varieerde significant per thematische categorie:
- Informatieve/natuurlijke borden: 27,8%
- Historische-archeologische borden: 28,6%
- Religieuze-rituele borden: 65,1% (de hoogste concentratie van overschatting).
Rationale-patronen: Kwalitatieve codering van de rechtvaardigingen van de LLM onthulde vier recurrente patronen van "oppervlakkige adequaatheid-substitutie", waarbij het model gemakkelijk detecteerbare signalen verving voor complexe cultureel-pragmatische oordeelsvorming:
1. Overreliance op formeel register (83,9%): Het model kende hoge scores toe op basis van het feit dat de vertaling "formeel", "neutraal" of "institutioneel" klonk, waarbij toon werd verward met culturele geschiktheid.
2. Substitutie door semantische herkenbaarheid (69,6%): Hoge scores werden gerechtvaardigd door het behoud van herkenbare namen, objecten of historische referenties, ongeacht of de pragmatische kracht of het respect behouden bleef.
3. Generieke eerbied-substitutie (44,6%): Het model beschreef vertalingen in algemene zin als "respectvol" of "plechtig", waarbij het niet in staat was onderscheid te maken tussen generieke beleefdheid en specifieke rituele of doctrinaire vereisten.
4. Omissie-tolerante vereenvoudiging (35,7%): Het model accepteerde beknopte of vereenvoudigde vertalingen als passend, waarbij het verlies van cultureel significante details over het hoofd zag, met name in religieuze en rituele contexten.

Kernbijdragen

Conceptualisering van Evaluatieve Culturele Hallucinatie: Het artikel introduceert en operationaliseert het concept van "evaluatieve culturele hallucinatie". Dit onderscheidt de fouten van LLMs in TQA van feitelijke hallucinaties, door ze te definiëren als onterecht positieve oordelen ondersteund door cultureel ontoereikende rationales.
Identificatie van Rationale-patronen: De studie gaat verder dan eenvoudige scoreverschillen door systematisch de specifieke redeneerfouten te classificeren die LLMs maken bij het evalueren van cultureel gevoelige teksten. Het toont aan dat LLMs vaak oppervlakkige kenmerken (formaliteit, herkenbaarheid) verwarren met diepe pragmatische adequaatheid.
Mapping van Thematische Kwetsbaarheid: Het onderzoek benadrukt dat de betrouwbaarheid van LLMs dimensiespecifiek is. Terwijl LLMs adequaat kunnen presteren bij informatieve teksten, degradeert hun prestatie aanzienlijk in religieuze en rituele contexten waar de Tenor afhankelijk is van specifieke culturele hiërarchieën en sacrale afstand.

Betekenis en Claims
De auteurs stellen dat hun bevindingen dienen als een waarschuwing voor toerismebeheerders, vertalers en evaluatoren die vertrouwen op LLMs voor de beoordeling van publieke borden. De studie betoogt dat LLM-scores en rationales niet als directe vervanging voor deskundige oordeelsvorming moeten worden geaccepteerd, met name niet in hoog-risico contexten die betrekking hebben op religie, begrafeniscultuur of historische hiërarchie.

Het artikel stelt dat de geïdentificeerde rationale-patronen (overreliance op formeel register, etc.) als diagnostisch instrument kunnen dienen. Door LLM-rationales te auditeren op deze specifieke shortcuts, kunnen evaluatoren potentiële "evaluatieve culturele hallucinaties" detecteren voordat zij een hoge kwaliteitsscore accepteren. De auteurs concluderen dat hoewel LLMs veelbelovend zijn voor schaalbare TQA, hun gebruik "door experts geïnformeerde, cultureel sensitieve waarborgen" vereist, zoals verfijnde prompts die expliciet controleren op rituele afstand en cultureel gemarkeerd respect, in plaats van te vertrouren op algemene beoordelingen van formaliteit of vloeiendheid. De studie claimt niet dat LLMs universeel onbetrouwbaar zijn, maar benadrukt dat hun betrouwbaarheid niet uniform is over alle dimensies van vertaalkwaliteit, waarbij de Tenor in cultureel dichte teksten een specifiek punt van falen vormt.

Meer zoals dit