Do Large Language Models Perform Well on Comprehending Poetic Logic in Modern Chinese Poetry?
本文介绍了 Peony，这是首个旨在从诗节、诗行和意象层面评估现代汉语诗歌“诗学逻辑”的基准测试，揭示了当前大语言模型在通过整体推理理解此类文本方面的显著局限性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言不仅仅是交换事实的工具，它更是情感、意象以及定义人类经验的那种微妙且往往不合逻辑之联系的载体。几十年来，人工智能通过学习大量的新闻文章、科学论文和日常对话来学习阅读与写作。在这些文本中，意义通常遵循直线：因导致果，陈述后紧跟证据，目标是清晰。然而，存在着另一种规则被反转的写作形式。诗歌，尤其是现代中国诗歌，往往依赖于留白、时间的突然跳跃，以及那些在现实世界中并不相容但在读者脑海中却显得理所当然的意象。这种风格要求一种独特的推理方式，即从表面上看似无关的碎片中拼凑出一个完整的整体。
直到最近，人们还不清楚最先进的计算机程序是否能够理解这类写作。这些被称为大语言模型的程序已经变得极其擅长总结新闻或编写代码，但它们很少被测试其对复杂且富有情感逻辑的诗歌的理解力。问题不仅在于机器能否背诵一首诗，而是在于它能否捕捉到将一句关于枯萎之花的诗行与深沉忧伤联系在一起的隐藏线索，或者理解为什么诗人会描述“夜从大地升起”。为了回答这个问题，来自中国和日本大学的研究团队致力于构建一种新的测试方式，创造了一个专门的挑战，旨在衡量这些机器驾驭现代中国诗歌独特逻辑的能力。
研究人员创建了一个名为“牡丹”的新型测试场（以诗歌中常出现的花卉命名），以观察人工智能是否真的能理解现代中国诗歌的隐藏结构。他们收集了8ми百首由当代诗人创作的高质量诗歌，确保这些材料足够新鲜，使得计算机不会仅仅是从训练数据中死记硬背答案。研究人员并没有要求机器创作诗歌或翻译诗歌，而是设计了四个特定的谜题，迫使模型像读者一样思考。前两个谜题要求计算机将打乱的诗歌片段按正确的顺序重新排列，无论是按行还是按节。另外两个谜题则要求模型填补缺失的词语或句子，选择那个符合诗歌情感和逻辑流向的选项，同时剔除那些听起来相似但破坏了诗歌内在逻辑的其他选项。
当研究人员在六个最强大的可用语言模型上运行这些测试时，结果揭示了人类理解与机器处理能力之间的显著差距。虽然一些模型在处理需要匹配简单意象的任务时表现尚可，但在被要求遵循诗歌更深层的叙事或情感旅程时，却表现得极为吃力。那些使用“思考”过程逐步推理问题的最强模型，比那些直接给出答案的模型表现更好，但即使是表现最好的模型，也无法始终如一地把握住正确的逻辑。在最具挑战性的任务中——即模型必须推断两行遥远诗句之间的联系时——成功率低得令人惊讶。数据表明，虽然这些机器通常可以孤立地识别出单个正确的词或行，但当试图在脑海中同时把握整首诗时，它们经常会丢失线索。它们能看到单块砖石，却往往无法理解建筑的形状。
这项研究还强调了这些模型在处理定义该体裁的“诗歌逻辑”时的特定弱点。现代中国诗歌往往依赖于将看似矛盾的意象并置，例如“夜从地面升起”或“面容如莲花般盛开又凋零”。研究人员发现，模型倾向于依赖表面含义和普遍联想，而非人类读者会建立的更深层、往往更为抽象的情感联系。例如，当一首诗引用了一位著名的历史人物或一个文化概念时，模型往往会忽略该引用与诗歌主题之间的微妙联系，仅将这些词汇视为纯粹的数据点，而非意义的载体。这表明，尽管人工智能已经掌握了语言的机械机制，但它仍然缺乏在诗人栖息的抽象情感景观中进行航行的直觉能力。
研究人员得出结论，目前的人工智能系统尚未准备好充分理解现代中国诗歌的诗歌逻辑。这些模型可以模仿形式，甚至可能通过偶然或识别熟悉模式来获得正确答案，但它们难以重建由意象、情感和留白相互作用而产生的整体意义。“牡丹”基准测试为这些系统现状提供了一张清晰的地图，表明从处理文字到理解诗歌灵魂之间仍有一段遥远的距离。随着这些技术的不断演进，这一新测试提供了一种衡量标准，不仅衡量机器说话的能力，更衡量它感受那些使诗歌成为独特人类艺术形式的、无形之联系的深度。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。