📄 social_science

Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations

这项研究揭示了大型语言模型经常表现出“评估性文化幻觉”，即通过显著高估风景区公共标牌翻译在语用和社会文化层面（语旨）的恰当性，往往将表层的正式性或可识别的引用误认为真正的文化适配性。

原作者： Qi Guo, Tengteng Yap

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Guo, Tengteng Yap

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当你漫步在中国历史悠久的寺庙或神圣的墓地时，那些引导你的标牌不仅仅是方向指示。它们是连接文化的桥梁，不仅翻译着文字，更翻译着在谈论祖先安息或神灵受祭之地时所必需的深厚敬意、历史感与庄严感。这就是公共标识翻译的领域，这项任务要求在清晰度与文化敏感性之间取得微妙的平衡。几十年来，专家们通过考察“语体”（tenor）来评判这些翻译，这是一个描述作者与读者之间关系的术语。它探讨的是语气是否得当：对于神圣遗址来说，语气是否过于随意？对于自然步道来说，是否过于生硬？它是否对历史人物表现出了应有的尊重？随着城市和旅游景区的不断扩大，检查这些标牌的需求已经超过了人类专家全部审核的能力，这使得许多人开始思考人工智能是否可以介入其中提供帮助。

大型语言模型——现代聊天机器人背后的强大计算机系统——已经展示出它们能够以令人印象深刻的流利度进行阅读和写作。它们可以发现语法错误并建议更流畅的措辞。但马来亚大学研究人员的一项新研究提出了一个更难的问题：这些机器能否理解文化中那看不见的重量？具体而言，他们想知道人工智能是否会误判一个翻译：即一个听起来礼貌且正式，但实际上忽略了神圣或历史遗址所需之深层文化内涵的翻译。研究人员收集了来自中国徐州八个主要旅游景点的116块双语标牌，涵盖了从自然导览到古代坟墓及佛教寺庙的描述。他们要求人类专家和一种先进的人工智能模型根据翻译捕捉正确语气和敬意程度的表现进行评分。

结果揭示了人类直觉与机器判断之间的显著差距。虽然人类专家因许多翻译未能捕捉到必要的文化尊重而给出了低分，但人工智能模型却一致给出了高分。在所审查的案例中，近一半的情况下，即便专家认为翻译在文化层面不达标，AI仍将其评为高质量。这一问题在涉及宗教和仪式的标牌上最为严重。对于这些标牌，AI在65%的案例中对翻译质量的判断是错误的。研究人员发现，AI并非在进行随机错误，而是在遵循一种特定的、可预测的误解模式。它将文本的表面特征误认为其深层的文化价值。

当研究人员深入探究为何 AI 会给出这些高分时，他们发现它依赖于四种特定的“捷径”。首先，该模型经常仅仅因为翻译听起来正式或具有机构感（就像你在博物馆里看到的那样）就给予赞赏。它假设如果词汇听起来很官方，那么语气就是正确的，即便具体的文化敬意并不存在。其次，AI 被识别出的名称所迷惑。如果翻译保留了历史人物或宗教物品的名字，模型就会认为任务已完成，而忽略了周围的文字是否以恰当的崇敬之心对待该人物。第三，模型有时会将普遍的礼貌与特定的文化庄严感混淆。它会看到在广义上听起来有礼貌的词汇，便判定翻译完美，从而未能察觉到特定的仪式细微差别已经丢失。最后，AI 对信息的缺失过于宽容。即使翻译删减了关于仪式或历史的重要细节（而这些细节对原意至关重要），只要翻译简洁易读，它也会给出高分。

这项研究表明，这不仅仅是机器出现轻微偏差的问题，而是一种作者所称的“评估性文化幻觉”。这并不意味着机器在捏造事实，而是指它在翻译并不符合文化要求时，却“幻觉”出该翻译是符合文化规范的。它看到了表象特征——正式的词汇、可识别的名字或礼貌的语气——并说服自己深层的文化要求已经得到满足。这在宗教或仪式场所的标牌中尤其危险，因为在这些地方，语气的错误可能被视为不敬甚至冒犯。研究人员发现，AI 在判断关于自然或一般信息类的标牌时表现得更好，因为这类语体的复杂程度较低。但当文本涉及神圣空间、墓地或古代仪式时，机器的自信便成了一种负担。

这项研究并不是说人工智能无法在翻译方面提供帮助。相反，它警告我们不能简单地信任机器的评分，尤其是在涉及文化时。AI 非常擅长检查一个句子是否语法正确或一个名字是否拼写正确，但在理解支配如何谈论神圣事物的隐形规则（如尊重与等级制度）方面，它显得力不从心。研究结论指出，对于旅游区的标牌，特别是涉及历史和宗教的标牌，人类专家必须保持参与。机器可以提供初步的审视，但其推理必须由理解“正式语气并不等同于尊重语气”以及“识别出一个名字并不保证文化准确性”的人类进行核查。在机器能够真正理解文化的重量之前，确保这些标牌能够向其所描述的场所致敬的最可靠方法，是保持人类对航向的掌控。

技术摘要：大语言模型在风景区公共标牌翻译评估中关于“语体（Tenor）”的评估性文化幻觉

问题陈述
本研究旨在解决大语言模型（LLMs）在翻译质量评估（TQA）应用中的一个关键空白，即针对 House 的 TQA 框架中的“语体（Tenor）”维度。虽然 LLMs 为成本高昂的人类专家评估提供了可扩展的替代方案，但其在评估翻译的社会文化及语用恰当性方面的可靠性仍存在不确定性。这在风景区公共标牌翻译中尤为突出，因为此类文本通常涉及宗教引用、仪式化表达和历史等级制度。核心问题在于，LLMs 可能会产生“评估性文化幻觉”：即对人类专家认为在文化或语用上不恰当的翻译给出不合理的正面评价。与事实性幻觉（生成错误内容）不同，这种现象涉及模型将表层文本特征（如正式度、可识别术语）误解为深层文化与语用充分性的表现。

研究方法
本研究采用了探索性混合方法设计，研究对象为从中国徐州八个 4A/5A 级旅游景区收集的 16 组中英双语公共标牌。语料库被分为三个主题类别：信息/自然类标牌（ $n=18$ ）、历史/考古类标牌（ $n=35$ ）以及宗教/仪式类标牌（ $n=63$ ）。

双重评估： 每组标牌由三位 CATTI 认证的人类专家和 LLM “GPT-5.5 Thinking”（通过 ChatGPT 界面访问）进行评估。双方均基于 House 的框架，围绕正式度、社会距离、礼貌度、文化尊重和仪式敏感度进行五点量表（1–5 分）评分。
操作性定义： “高估过度案例”定义为：专家中位数评分 $\le 2$ （表明语体明显不足），而 LLM 评分 $\ge 4$ （表明高度恰当）的情况。
定性分析： 对 56 个识别出的高估过度案例（占语料库的 48.3%）进行了定性编码，以识别 LLM 在为其高分提供理由时反复出现的逻辑模式。编码的评分者间信度较高（Cohen's $\kappa = 0.84$ ）。

主要结果
研究发现人类与机器评估之间存在显著差异，其特征是 LLM 对语体质量存在系统性的高估。

定量差异： 专家平均分为 2.33，而 LLM 平均分为 4.29，平均差值为 +1.97。在 79.3% 的案例中，LLM 的评分高于专家评分。
高估过度盛行率： 48.3% 的样本符合高估过度标准。该比例随主题类别显著变化：
- 信息/自然类标牌：27.8%
- 历史/考古类标牌：28.6%
- 宗教/仪式类标牌：65.1%（高估最为集中的类别）。
逻辑模式： 对 LLM 论证过程的定性编码揭示了四种反复出现的“表层充分性替代”模式，即模型利用易于检测的线索来替代复杂的文化语用判断：
1. 过度依赖正式语体（83.9%）： 模型根据翻译听起来是否“正式”、“中性”或“机构化”来给出高分，将语气误认为文化恰当性。
2. 语义可识别性替代（69.6%）： 高分理由在于保留了可识别的名称、物体或历史引用，而忽略了语用力度或尊重感是否得以维持。
3. 泛化敬意替代（44.6%）： 模型在泛泛层面描述翻译为“尊重”或“庄重”，无法区分通用的礼貌与特定的仪式或教义要求。
4. 容忍省略的简化（35.7%）： 模型接受简洁或简化的翻译为恰当，忽视了文化重要细节的缺失，尤其是在宗教和仪式语境下。

主要贡献

提出了“评估性文化幻觉”的概念： 本文引入并使“评估性文化幻觉”这一概念操作化。它将 LLM 在 TQA 中的失败与事实性幻觉区分开来，将其定义为由文化依据不足的理由所支撑的不合理正面判断。
识别了逻辑模式： 研究不仅停留在分数差异上，还系统地分类了 LLM 在评估具有文化敏感性的文本时所犯的特定推理错误。研究证明，LLMs 经常将表层特征（正式度、可识别性）与深层语用充分性混淆。
绘制了主题脆弱性图谱： 研究强调 LLM 的可靠性具有维度特异性。虽然 LLMs 在处理信息类文本时表现尚可，但在宗教和仪式语境下，其表现会显著下降，因为这些语境下的语体取决于特定的文化等级和神圣距离。

意义与主张
作者主张，对于依赖 LLM 进行公共标牌评估的旅游管理者、翻译人员和评估人员，其研究结果具有警示作用。研究认为，不应将 LLM 的评分和理由直接视为专家判断的替代品，特别是在涉及宗教、丧葬文化或历史等级的高风险语境中。

论文指出，识别出的逻辑模式（如正式语体过度依赖等）可以作为一种诊断工具。通过审计 LLM 的理由是否存在这些特定的“捷径”，评估者可以在接受高分之前检测出潜在的“评估性文化幻觉”。作者总结道，虽然 LLMs 在可扩展的 TQA 方面具有前景，但其应用需要“受专家指导且具备文化敏感性的保障措施”，例如使用更精细的提示词，明确检查仪式距离和具有文化特征的尊重程度，而非仅仅依赖于对正式度或流利度的通用评估。研究并非声称 LLMs 全面不可靠，而是强调其可靠性在翻译质量的不同维度上并不均衡，其中文化密集型文本中的“语体”是一个特定的失效点。

技术摘要：大语言模型在风景区公共标牌翻译评估中关于“语体（Tenor）”的评估性文化幻觉

类似论文