💬 NLP

FFE-Hallu:Hallucinations in Fixed Figurative Expressions:Benchmark of Idioms and Proverbs in the Persian Language

本文介绍了 FFE-Hallu，这是首个用于评估波斯语中固定修辞表达幻觉的基准测试，揭示了当前的语言大模型在文化落地方面存在困难，并且经常生成或无法检测出虚构的成语和谚语。

原作者： Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Faezeh Hosseini, Mohammadali Yousefzadeh, Yadollah Yaghoobzadeh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人说人类语言。你可能会认为，如果机器人知道“kick”（踢）和“bucket”（桶）这些词的字典定义，它就能理解短语“kick the bucket”（意为：去世/翘辫子）。但实际上，这个短语并不意味着字面上踢了一个水桶；它是一个固定的、文化性的代码，代表着“死亡”。

这篇名为 FFE-HALLU 的论文，就像是为人工智能设计的专门“测谎仪”，旨在观察这些机器人究竟是在创造自己的文化代码，还是真正理解了真实的文化代码。

以下是研究人员所做工作的拆解，使用了简单的类比：

1. 问题所在：“伪成语”陷阱

大语言模型（LLMs）非常擅长写出听起来很通顺的句子。但涉及到**固定修辞表达（Fixed Figurative Expressions, FFEs）**时——比如习语（如“break a leg/祝好运”）和谚语（如“a stitch in time/亡羊补牢”）——它们经常会产生混乱。

研究人员定义了一种特定的错误类型，称为修辞幻觉（Figurative Hallucination）。

类比： 想象一个机器人试图讲笑话。它说：“为什么稻草人会获奖？因为它在领域里表现出色（outstanding in his field）！”这是一个真实的笑话。
幻觉： 机器人接着说：“为什么烤面包机能获奖？因为它在领域里很‘酥脆’（crispy in his field）！”
- 它听起来像个笑话。它符合语法规则。但它是假的。它在人类文化中并不存在。
- 危险之处在于，如果非母语使用者听到这个，他们可能会想：“哦，这是一个真实的波斯语谚语！”并模仿使用，从而显得很愚蠢或传播错误信息。

2. 解决方案： “FFE-HALLU” 考试

作者创建了一个专门针对波斯语的测试，名为 FFE-HALLU。他们建立了一个包含 600 个练习题的“健身房”，用来测试人工智能的“文化肌肉”。该测试包含三个主要站点：

站点 1：“含义到短语”挑战
- 任务： 给定一个定义（例如：“后悔犯错并保证不再犯”），要求 AI 说出实际的波斯语习语。
- 陷阱： AI 可能不会说出真实的习语，而是发明一个听起来很有道理但人类从未用过的假习语。
- 结果： 一些顶尖模型（如 GPT-4.1）大约能答对 60%。其他模型（如 Qwen）表现糟糕，在近 70% 的情况下都会发明假习语。
站点 2：“真还是假？”侦探游戏
- 任务： 向 AI 展示一个短语，并问：“这是一个真实的波斯语习语吗？”
- 陷阱： 研究人员创建了 200 个看起来和听起来都极其真实的“假”习语（例如，通过替换真实短语中的一个词或扭曲其含义来制造）。
- 结果： 这是最难的部分。即使是聪明的模型也会感到困惑。当被问及“这是假的吗？”时，许多模型会回答“不是”（即认为它是真的），即便它实际上是个谎言。这就像一名保安，因为伪造证件做得太完美了，就误以为那是真证件。
站点 3：“翻译员”测试
- 任务： 给 AI 一个英语习语（例如：“It's raining cats and dogs/下着倾盆大雨”），它必须找到对应的等价波斯语习语，而不是进行逐字翻译。
- 陷阱： 如果 AI 进行字面翻译（“正在下着猫和狗”），这就是一种幻觉，因为这不符合波斯语使用者的表达习惯。
- 结果： 大多数模型难以找到文化上的等价表达，往往会发明新的短语或进行过于直白的翻译。

3. 研究结果：谁通过了，谁失败了？

研究人员测试了六种不同的 AI 模型：

顶尖表现者： GPT-4.1 和 Claude 3.7 表现最好。它们通常能找到真实的习语并拒绝虚假的习语，尽管仍会犯一些错误。
挣扎者： 像 DeepSeek、Gemma 和 Qwen 这样的模型经常失败。它们倾向于“过度生成”，即自信满满地编造听起来非常真实但完全是凭空捏造的习语。
“唯唯诺诺”问题： 一些模型为了讨好用户，当被问及“这是假的吗？”时，即使面对的是彻头彻尾的捏造，也会回答“不是”（意指“是真的”）。

4. “裁判”问题

论文还提出了一个问题：AI 能评判另一个 AI 的工作吗？
他们尝试用一个 AI 来给其他 AI 的答案评分。

类比： 这就像让一名学生去批改另一名同学的作文。
结果： 在处理简单问题时效果尚可，但当涉及到识别微妙的“假习语”时，AI 裁判往往会失灵。它们无法区分“错误的答案”和“编造的答案”。研究人员发现，人类专家（母语为波斯语的人）仍然是唯一能可靠识别这些微妙谎言的人。

总结

这篇论文是为 AI 贴上的一张警告标签。它表明，虽然 AI 可以写出流利的句子，但它们往往缺乏文化根基。它们可以听起来像是了解某种文化的习语，但实际上只是在即兴发挥。

研究人员构建了一项测试来证明这一点，证明即使是最聪明的 AI 模型也容易产生“修辞幻觉”——即讲述那些听起来像真话的文化谎言。在 AI 能够区分真实的文化表达与极具迷惑性的伪造表达之前，我们无法在需要深度文化理解的任务中完全信任它们。

技术摘要：FFE-HALLU

问题定义

大型语言模型（LLMs）在各种自然语言处理（NLP）任务中展现了卓越的成功，但在处理修辞性语言，特别是固定修辞表达（Fixed Figurative Expressions, FFEs，如成语和谚语）方面仍然面临困难。与字面意义的短语不同，FFEs 是植根于文化的、很大程度上是非组合性的，且在惯例上是固定的。本文识别了一种特定的、尚未得到充分研究的失效模式，称为修辞性幻觉（figurative hallucination）：即生成或认可那些听起来像成语且看似合理，但在目标语言中并不存在的真实固定表达。

虽然事实性幻觉通常可以通过外部知识源进行验证，但修辞性幻觉更为隐蔽，因为存在“虚假真理效应”（illusory truth effect），即即使是知情读者也会感知到那些结构熟悉的内容是真实的。这对于需要文化胜任力的应用场景（如机器翻译和对话系统）构成了显著风险，特别是对于可能接受伪造表达为真实表达的非母语用户。

方法论

为了填补这一空白，作者引入了 FFE-HALLU，这是首个旨在评估大语言模型中修辞性幻觉的综合基准测试，并专门针对波斯语进行了设计。该基准由 600 个精心策划的实例组成，分为三个互补的任务：

基于含义生成 FFE：
- 目标： 测试模型是否能在给定修辞定义的情况下检索出有效的成语或谚语。
- 数据： 200 个源自 Abadis 词典及 GPT-4o 改写的真实波斯语成语/谚语及其定义。
- 评估： 输出被归类为正确（匹配含义的真实 FFE）、错误（含义不符的真实 FFE）或幻觉（字面短语或不存在的表达）。
伪造 FFE 检测：
- 目标： 评估模型区分真实表达与看似合理的伪造品的能力。
- 数据： 200 个通过四种受控策略构建的伪造 FFE：
  - 词汇扰动（Word Perturbation）： 替换真实成语中的关键词项。
  - 语义反转（Semantic Inversion）： 扭曲或反转真实结构的含义。
  - 结构/句法模仿（Structural/Syntactic Mimicry）： 在不使用真实词汇材料的情况下，遵循常见的谚语模板生成新表达。
  - 文化/历史伪造（Cultural/Historical Fabrication）： 使用具有文化显著性的元素（如历史人物、仪式）来创建具有说服力但无效的表达。
- 评估： 通过提示模型回答“这个 FFE 是假的吗？”以及“这个 FFE 是真的吗？”，以衡量其一致性和幻觉率（误判为真的比例）。
FFE 到 FFE 的翻译（英语 $\rightarrow$ 波斯语）：
- 目标： 评估跨语言的修辞含义迁移能力，而不诉诸于字面翻译或凭空捏造。
- 数据： 200 对经过验证的英波双语对。
- 评估： 输出被归类为正确（文化等效的 FFE）、错误（含义错误的现有 FFE）或幻觉（字面翻译或捏造的表达）。

实验设置：
作者评估了六种最先进的多语言大语言模型（GPT-4.1, Claude 3.7 Sonnet, Gemma3-27B, DeepSeek-V3, DeepSeek-R1, 和 Qwen3-235B）。评估过程涉及母语人士的人工标注以及使用 LLM-as-a-judge（GPT-4.1 和 Gemini 2.5 Pro）进行的自动评估，以评估自动化指标在修辞任务中的可靠性。

关键结果

模型性能差异： GPT-4.1 在所有任务中表现最为稳健，在生成（60.5%）和翻译（65%）方面取得了最高的准确率，且幻觉率最低。Claude 3.7 Sonnet 展示了强大的生成能力，但在检测伪造 FFE 方面表现挣扎（幻觉率为 61.75%）。
开源权重模型的弱点： DeepSeek-V3、Gemma3-27B 和 Qwen3-235B 等模型表现出严重的缺陷。例如，Qwen3-235B 在生成任务中几乎有 70% 出现幻觉，在翻译任务中高达 94%，经常产生语法错误或完全捏造的表达。
检测的不稳定性： 在“伪造 FFE 检测”任务中的表现对提示词框架高度敏感。虽然大多数模型在被问及“这是真的吗？”时表现良好，但当被问及“这是假的吗？”时，其准确率大幅下降，这表明它们在拒绝伪造内容方面具有不稳定性。
自动评估的局限性： 研究发现，利用 LLM-as-a-judge 进行修辞性幻觉的自动评估具有挑战性。Gemini 2.5 Pro 比 GPT-4.1 与人类判断更具一致性（更高的 Cohen's $\kappa$ 值），特别是在区分“幻觉 FFE”与仅仅是“错误”的真实 FFE 方面。然而，随着幻觉率的上升，自动评判器会表现出困难，经常将不存在的表达误分类为仅仅是“错误”的真实表达。

意义与贡献

本文做出了四个主要贡献：

引入 FFE-HALLU： 第一个专门用于评估大语言模型中修辞性幻觉的基准测试，重点关注波斯语中的固定修辞表达。
任务框架： 提出了三个互补的任务（生成、检测、翻译），用以探测修辞能力和文化落地能力的各个不同维度。
实证分析： 对六种 SOTA 多语言大语言模型进行了详细评估，揭示了它们在修辞生成、检测和跨语言迁移方面的系统性弱点，尤其是在开源权重模型中。
评估有效性： 评估了 LLM-as-a-judge 方法在处理修辞性幻觉时的可靠性，强调了在处理具有文化细微差别任务时，专家人工标注的必要性。

作者总结道，掌握修辞性语言不仅需要多语言流利度，更需要真正的文化理解。研究结果强调了建立针对性基准测试以评估和减轻修辞性幻觉的需求，因为目前的模型经常生成或认可文化上无效的表达，从而误导用户。

局限性

作者承认，检测修辞性幻觉高度依赖于母语人士的直觉和判断，这限制了该基准测试仅限于波斯语。此外，由于大规模策划和验证成语难度较大，600 项的数据规模相对较小。论文指出，虽然自动评判提供了可扩展性，但它仍不完美，不应取代专家人工标注，特别是在处理文化微妙的案例时。