Evaluating the Creativity of LLMs in Persian Literary Text Generation
本文通过构建涵盖 20 个主题的波斯语文学数据集，利用改编的托兰斯创造性思维测试及大语言模型裁判，从原创性、流畅性、灵活性和详尽性四个维度评估了大语言模型在生成富含文化表达的波斯语文学文本（包括比喻等修辞手法）方面的能力，揭示了其优势与局限。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在举办一场**“波斯语文学创作大赛”**。参赛的选手不是人类作家，而是六款最先进的人工智能（AI）大模型。
这篇论文就是关于如何公平、有趣地评判这些 AI 选手在波斯语（伊朗的官方语言）文学创作上的“才华”。
以下是用通俗语言和生动比喻对这篇论文的解读：
1. 为什么要办这场比赛？（背景）
以前，大家只盯着英语看，觉得 AI 写英语诗、编英语故事很厉害。但波斯语就像一座深埋在地下的古老宝藏，充满了独特的文化韵味和修辞技巧，却很少有人去研究 AI 能不能挖到这些宝藏。
作者们觉得：“如果 AI 真的懂文学，它应该能写出像波斯人那样有情感、有文化底蕴的句子，而不仅仅是翻译机器。”
2. 他们怎么评判？（核心方法）
评判创造力很难，因为“创意”这东西太主观了。就像让两个人评价一幅画谁画得更有“灵魂”，大家看法可能完全不同。
为了解决这个问题，作者们搬出了一套经典的**“人类创造力体检表”（叫 TTCT），并把它“波斯化”了。这套体检表主要看四个维度，我们可以把它们想象成评价一道波斯菜的四个标准**：
- 原创性 (Originality) —— “这是新菜吗？”
- 是陈词滥调（像老掉牙的鸡汤），还是让人眼前一亮的创新？有没有像波斯谚语那样独特的味道？
- 流畅度 (Fluency) —— “这菜做得顺口吗？”
- 语法对不对？读起来像不像波斯人随口说出的自然句子？还是像生硬的机器翻译？
- 灵活性 (Flexibility) —— “这菜能变着花样吃吗？”
- 能不能从不同角度（比如幽默的、哲学的、讽刺的）去讲同一个话题？
- 丰富度 (Elaboration) —— “这菜料足吗？”
- 描写得细不细？能不能在读者脑海里画出一幅画？能不能让人感受到爱、悲伤或希望？
3. 他们准备了什么食材？（数据集 CPers）
为了测试，作者们自己种了一块**“波斯文学小菜园” (CPers 数据集)**。
- 他们收集了 4000 多句由普通波斯人写的短句，涵盖了 20 种主题（比如爱情、父爱、新年诺鲁孜节、失望等）。
- 这就好比他们收集了 4000 份**“人类标准答案”**，用来和 AI 写的句子做对比。
4. 谁来做裁判？（LLM as Judge）
找 100 个波斯专家来打分太贵也太慢。于是，作者们找来了AI 裁判（Claude 3.7 Sonnet）。
- 有趣的现象：他们先让两个真人专家打分，发现两人意见很统一。然后让 AI 裁判去打分，结果发现Claude 3.7 Sonnet 这个 AI 裁判，比另一个 AI 裁判（GPT-4o）更像真人专家。
- 比喻：GPT-4o 像个“老好人”，给 AI 写的文章打高分，有点偏心；而 Claude 3.7 Sonnet 像个“严师”，能敏锐地捕捉到波斯语中微妙的文化韵味，打分更靠谱。
5. 比赛结果如何？（谁赢了？）
六款 AI 选手上场，表现各不相同，就像六个性格迥异的厨师：
- DeepSeek-R1（推理型选手）：“全能型大厨”。
- 它最擅长**“丰富度”和“灵活性”**。因为它被训练过要“先思考，再回答”，所以它写的句子细节多、画面感强，像是一盘精心摆盘的波斯大餐。
- 缺点：偶尔会“卡壳”，重复说同一句话。
- GPT-4.1：“稳健的家常菜厨师”。
- 它的**“流畅度”**最高，句子通顺自然，语法完美。
- 缺点：有点太“保守”了，原创性一般，用的比喻（比如光与暗）太常见，缺乏惊喜。
- Qwen2.5：“特立独行的怪才”。
- 它的**“原创性”**很高，想法很新奇，甚至有点“离经叛道”。
- 缺点：**“流畅度”**差点意思，有时候句子读起来有点拗口，不够自然。
- 其他选手：表现中规中矩，有的擅长模仿，有的缺乏深度。
6. 发现了什么秘密？（修辞与词汇）
作者们还像**“文学侦探”**一样，分析了 AI 用了多少修辞手法（比喻、拟人、夸张等）：
- 人类写手：像**“调酒大师”**，能在一句话里自然融合多种修辞，情感细腻，用词丰富（比如用“天空”、“凝视”这种具体的词）。
- AI 写手：像**“只会做一种菜的大厨”**。
- 它们太依赖**“比喻”和“明喻”**了，而且喜欢重复使用一些老词（比如“希望”、“黑暗”、“光”）。
- 特别是，AI 很难分清“比喻”和“明喻”的区别，甚至自己当裁判时也经常搞混。
- 好消息：那些经过“深度思考训练”的模型（如 DeepSeek-R1），开始学会用更生动的词（比如“日出”），少用老套的词，越来越像人了。
总结：AI 离真正的“诗人”还有多远？
这篇论文告诉我们：
- AI 已经能写出不错的波斯语句子了，特别是在流畅度和细节描写上。
- 但 AI 还不是真正的“灵魂画手”。它们更像是在**“拼凑”学到的模式，而不是真正“理解”**情感。它们用的修辞手法太单一，缺乏人类那种微妙、多变的创造力。
- 文化很重要：要评价 AI 的创造力，不能只看英语，必须用符合当地文化（如波斯文化）的标准去衡量。
一句话总结：AI 现在是个**“勤奋的学徒”，能写出漂亮的波斯语句子，但离成为一位“充满灵感的波斯诗人”**，还需要更多的文化熏陶和真正的“灵魂”注入。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。