TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories
本文介绍了 TALES，这是一个包含文化误读分类法及对 6 个大语言模型进行的大规模评估的综合框架，研究揭示了 88% 的关于印度文化的 AI 生成故事包含错误，且这种现象在对中低资源语言和城乡结合部叙事的影响尤为显著。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明、博学多才的机器人朋友，它特别喜欢讲故事。你请它写一个关于印度小村庄婚礼的故事，或者一个关于繁华都市童年回忆的故事。你期望这个机器人能捕捉到当地的风味——特定的零食、正确的亲属称谓、独特的传统。
但根据这篇名为 TALES 的论文，那个机器人朋友经常弄错细节。事实上，这就像是请一位只读过旅游手册的游客来描述你的家乡；他们可能能记起那些著名的地标，但很可能会搞混当地的俚语、食物和日常生活习惯。
以下是研究人员发现的简单拆解，使用了日常类比：
1. 问题所在：机器人的“旅游手册”大脑
研究人员想知道：当 AI 讲述关于印度文化的故事时，它讲得对吗？
他们发现，88% 由流行 AI 模型生成的故事都包含了错误。这些不仅仅是微小的拼写错误，而是文化上的失误。
把它想象成一位厨师尝试烹饪一道地方菜肴。
- 错误： 厨师在咸味菜肴（如咖喱）中加入了甜点配料（如糖），因为他们认为“印度食物”就是一回事。
- 现实： 研究人员发现，AI 经常混淆特定的地域食物，使用错误的亲属称谓（比如把男性亲属称为“阿姨”），或者描述现实生活中根本不会发生的事件（比如学校巴士上有一名售票员）。
2. 工具：“文化小抄”（TALES-Tax）
在统计错误之前，研究人员需要一种方法来对它们进行分类。他们没有凭空猜测，而是邀请了来自印度的真实人类（9 个焦点小组和 15 份个人调查）来阅读 AI 生成的故事，并指出哪些地方感觉“不对劲”。
基于这些反馈，他们创建了一份**“文化小抄”**（称为 TALES-Tax），包含七个错误类别：
- 文化不准确性（Cultural Inaccuracy）： 事实错误（例如，说某种特定的零食是早餐，而实际上它是一种点心）。
- 不太可能的场景（Unlikely Scenarios）： 编造一些感觉虚假的情节（例如，在早晨的学校集会上，一名街头艺人正在演奏复杂的古典乐器）。
- 陈词滥调（Clichés）： 依赖刻板印象（例如，假设该地区的所有人都喝特定类型的咖啡，或穿着传统的节日服装去学校）。
- 过度简化（Oversimplification）： 抹平独特的细节（例如，将所有印度艺术统称为“Rangoli”，而不使用具体的当地名称）。
- 事实错误（Factual Errors）： 地理或历史错误（例如，说在绿意盎然的城市旁边有一个沙漠）。
- 语言错误（Linguistic Errors）： 名字拼写错误或亲属称谓使用错误。
- 逻辑错误（Logical Errors）： 违反常理（例如，角色在饮用水井里洗澡）。
3. 大考：“108 位专家的品鉴测试”
研究人员并没有只看一个故事。他们聘请了来自印度 71 个不同地区的 108 位专家。这些是精通当地文化、对家乡了如指掌的母语使用者。
他们要求这些专家阅读由 6 种不同的 AI 模型（包括 GPT-4 和 Gemini 等知名模型）用 14 种不同语言编写的 540 个故事。
结果显示：
- “富裕”与“贫困”的差距： AI 在讲述大城市（一级城市/Tier-1）以及使用英语进行创作时表现得更好。当故事设定在小城镇或使用较不常用的印度语言时，错误率增加了四倍。
- “泛泛而谈”的陷阱： 一些 AI 模型为了避免出错，会写出非常枯燥、缺乏文化细节的通用故事。另一些模型试图进行创意创作，却把细节搞错了。这两种方式都不理想。
- 共鸣感： 由于这些错误，这些故事让原本想要代表的人群感到“无法产生共鸣”。这就像看一部关于你家乡的电影，里面的演员说着虚假的口音，吃着错误的食物；你根本无法产生连接感。
4. 大惊喜：“知识 vs. 表现”的悖论
这是最有趣的部分。研究人员想知道：“是 AI 太无知了吗？还是它不知道这些事实？”
为了测试这一点，他们把错误变成了测验（称为 TALES-QA）。他们向 AI 提问直接的问题，比如“这场婚礼上提供哪种传统食物？”或“这座雕像位于哪里？”
令人震惊的结果：
- 当作为测验形式出现时，AI 在英语环境下答对的概率为 76%，在印度语言环境下为 60%。
- 结论： AI 知道这些事实。这些信息就在它的脑子里。但在尝试写故事时，它却无法正确地运用这些知识。
类比：
想象一个学生可以轻松通过历史选择题考试（拿到 90 分的高分），但当被要求写一篇历史论文时，却编造了一些荒诞且错误的史实。这个学生并不是“无知”；他只是无法在创意性的、开放式的场景中应用所学知识。
总结
论文得出结论，目前的 AI 模型就像是过度自信的游客。它们读过指南书（拥有数据），但当它们试图讲述一个关于当地文化的故事时，它们依赖于刻板印象，混淆细节，并且无法捕捉到那个地方真正的“风味”。在处理较小的城镇和较不常用的语言时，情况尤其如此。
研究人员希望他们的“文化小抄”和“测验”能帮助开发者进行修复，从而让未来的 AI 能够讲述那些让人们感到真实且受尊重的故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。