💬 NLP

Poller: Are LLMs Suitable for Evaluating the Poetry Understanding Task?

本文介绍了 Poller，一种采用诗人视角的新型基于大语言模型（LLM）的评估方法，该方法能够显著减少在专业维度上评估中文诗歌理解时的误差，有效地弥合了自动化效率与人类专业知识之间的差距。

原作者： Shanshan Wang, Derek F. Wong, Jingming Yao, Lidia S. Chao

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Shanshan Wang, Derek F. Wong, Jingming Yao, Lidia S. Chao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一盒精美、复杂且现代的中国诗歌。你想知道一台计算机（具体来说是大型语言模型，即 LLM）是否能理解得足够好，以至于能够给别人的诗歌解读进行评分。

问题所在：“礼貌的机器人” vs. “真正的诗人”
研究人员发现，标准的 AI 模型并不擅长这项工作。这就像是请一位博学但礼貌的机器人去评审一幅画作。机器人能看到色彩和形状，却错过了作品的“灵魂”。

在论文的实验中，当 AI 尝试评价人类对诗歌的理解程度时，它表现得过于慷慨。即使人类的解释很肤浅或没抓到重点，AI 也会给出 90 或 95 分（满分 100 分）的高分。AI 本质上是在说：“噢，你用了高级词汇？太棒了！给你个 A+！”它缺乏深层的、文化性的以及情感上的语境。

解决方案：“Poller”（角色扮演的小技巧）
为了解决这个问题，研究人员发明了一种名为 Poller（诗歌 LLM 评估器）的方法。

你可以这样理解：他们不再要求 AI 扮演一个通用的“老师”，而是要求 AI 假装成这首诗的实际作者。

以下是他们的做法：

更换“戏服”：他们向 AI 输入一份关于这位真实诗人的“角色卡”。这包括诗人的传记、个人的奋斗经历、其对艺术的特定看法，甚至包括著名评论家对其作品的评价。
视角转换：AI 被告知：“你现在是这位诗人。你写了这首诗。现在，看看这个学生对你作品的解读。它是否捕捉到了你想要表达的内容？”
做出裁决：通过穿上诗人的鞋子，AI 不再是一个礼貌的机器人，而是开始像创作者一样思考。它开始注意到那些通用的 AI 会忽略的微妙隐喻、特定的节奏和隐藏的情感。

结果：从“太客气”到“精准到位”
结果是戏剧性的。

使用 Poller 之前：AI 就像一个不想伤害你感情的朋友，几乎给所有解释都打高分。AI 的评分与人类专家评分之间的差距巨大。
使用 Poller 之后：AI 变成了一个严厉且富有洞察力的评论家。当它扮演诗人的角色时，它的评分变得与人类专家的评分非常接近。

例如，在评判一个人对修辞技巧（诗人使用的华丽技巧）或陌生化（通过让熟悉的事物看起来陌生来引发思考）的理解程度时，AI 的误差降低了近 95%。它从极度不准确变得几乎与人类专家水平相当。

核心启示
论文得出结论：AI 可以成为优秀的诗歌评判者，但前提是你得“骗”它戴上诗人的帽子。通过迫使 AI 采用作者特定的视角、背景和灵魂，我们弥合了“快速计算机处理”与“深厚人类专业知识”之间的鸿沟。

论文并未提及的内容

它并未声称这种方法适用于所有类型的写作（如新闻文章或法律合同）；它专门针对现代中国诗歌进行了测试。
它并未表示这将完全取代人类诗人或评论家；它只是提供了一种更好的方法来自动评分诗歌理解类任务。
它并未声称 AI 真的产生了“情感”；它只是如此出色地模拟了诗人的视角，从而使评分变得准确。

简而言之：要让计算机理解诗歌，你必须让它假装成为那位诗人。一旦它做到了这一点，它才终于听懂了其中的妙处。

技术摘要：Poller —— 评估大语言模型对诗歌的理解能力

问题陈述

传统的自动评估方法（如 BLEU、ROUGE）并不适用于现代中文诗歌，因为该体裁高度依赖比喻、节奏、意象和文化内涵。虽然人工评估仍是金标准，但其成本高昂、耗时较长，且难以在大规模数据集上实现。以往尝试将大语言模型（LLM）用于诗歌相关任务评估的研究结果并不理想；LLM 常表现出显著的偏见，例如倾向于评价其自身生成的文本，或者仅关注表层的语言特征，而忽略了深层的文化语境和作者意图。因此，在诗歌评估领域，自动化效率与人类专业知识之间存在着严重的鸿沟。

方法论：Poller 框架

作者提出了 Poller (Poetry LLM Evaluator)，这是一种旨在通过利用 LLM 模拟诗歌作者视角来弥补这一差距的新颖方法。其核心假设是：为了准确评估读者对一首诗的理解，评估者必须采纳诗人特定的身份、背景和意图。

核心工作流

数据收集： 研究采用了由五位专业诗人创作的 40 首高质量、未发表的现代中文诗歌。
生成理解： 使用 LLM (GPT-4-Turbo) 针对八个专门维度生成这些诗歌的解读：
- 内容、语言、意象、修辞技巧、节奏、陌生化、思想与情感，以及现代性。
人类基准： 五位原作者对这些解读进行评估，为每个维度提供基准分数（0–100）。
基于角色扮演的 LLM 评估： 评估用的 LLM 不再作为一个通用的评判者，而是被要求扮演特定诗歌作者的角色。这是通过在提示词中注入详细的作者信息来实现的，包括：
- 基本信息 ( $I_i$ )： 职业、背景和个人经历。
- 诗学观点 ( $V_i$ )： 作者自身关于诗歌的经验与哲学。
- 评论意见 ( $C_i$ )： 对作者已发表作品的专业评论。
提示策略： 研究测试了四种提示策略 ( $P_1$ $P_{1}$ 至 $P_4$ $P_{4}$ ) 以优化角色扮演机制：
- $P_1$ ： 模型扮演作者并担任评判者。
- $P_2$ ： 强调该诗是由模型（作为作者）创作的，而理解来自于一名读者。
- $P_3$ ： 要求模型在评分前明确声明其作为作者的角色。
- $P_4$ ： 结合了 $P_2$ 和 $P_3$ 。

核心贡献

首次调查 LLM 作为诗歌评估者的能力： 本研究首次系统地调查了 LLM 在评估“诗歌理解”任务方面的能力，超越了单纯的生成或翻译评估。
Poller 方法： 提出了一种角色扮演框架，通过使用详细的传记和评论背景，使 LLM 采纳作者人格以模拟人类判断。
多维度验证： 该研究在多种主流 LLM（GPT-4-Turbo, DeepSeek-R1, Qwen2.5-Turbo, Claude3.5-sonnet）以及八个不同的评估维度上验证了该方法。

实验结果

研究使用与人类评分的绝对偏差作为主要指标，将基准 LLM 评估（无角色扮演， $P_0$ ）与 Poller 方法（ $P_1$ – $P_4$ ）进行了对比。

误差降低： Poller 方法显著降低了 LLM 与人类之间的评估误差。
- GPT-4-Turbo： 使用最优策略 ( $P_3$ ) 时，平均评估误差降低了 57.37%（从 14.38 降至 6.13）。
- DeepSeek-R1： 平均误差降低了 46.95%（从 12.61 降至 6.69）。
- Claude3.5-sonnet： 误差降低了 41.87%。
- Qwen2.5-Turbo： 误差降低了 23.08%。
特定维度的表现： 该方法在特定维度表现出卓越的提升：
- 修辞技巧： 使用 $P_3$ 的 DeepSeek-R1 将误差降低了 94.55%（从 11.37 降至 0.62）。
- 陌生化： 使用 $P_3$ 的 GPT-4-Turbo 将误差降低了 89.53%（从 10.98 降至 1.15）。
基准对比： 在没有 Poller 方法的情况下，LLM 持续对人类解读进行过高评分（例如，GPT-4-Turbo 平均分为 93.46，而人类为 79.08），这表明缺乏批判性判断。Poller 方法使 LLM 的评分更接近人类基准。

意义与主张

论文声称 Poller 有效地弥合了诗歌评估中自动化效率与人类专业知识之间的差距。通过强制 LLM 通过详细的角色扮演来采纳作者视角，该方法减轻了标准 LLM 评估中固有的偏见和肤浅性。

作者断言：

目前的 LLM 在默认状态下并不适合进行诗歌评估。
然而，通过 Poller 框架，LLM 可以成为辅助进行诗歌理解任务评估的可行工具。
该方法通过模拟诗人的“预设性格”来捕捉文化和情感的潜台词，为诗歌相关任务（特别是现代中文诗歌）的自动化评估奠定了基础。

局限性： 作者指出，本研究仅限于现代中文诗歌（自由诗），并且依赖于特定诗人背景信息的可用性。虽然采用作者视角的内核思想被认为是可迁移的，但在作者数据匮乏的其他诗歌形式或传统文本中应用该方法仍是一个开放性的挑战。