Multidimensional semantic retrieval of classical Chinese poetry for literary heritage discovery
本文提出了一种用于中国古典诗歌的多维语义检索框架，其特点是包含一个大规模标注数据集以及一种增益感知列表序损失（GLO）优化方法，该方法显著增强了基于情感、意图和主题等细微层面的诗歌发现能力。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
几个世纪以来，世界上最伟大的诗歌都存在于文字间那静谧的空间里。在那里，一朵落花的意象或许承载着沉重的哀伤，亦或是一段关于河流的描述可能低语着政治的变迁。在数字时代，学者和文学爱好者指尖下拥有着浩如烟海的文本库，然而，根据一种感觉或一个复杂的思想来寻找特定诗歌，仍然是一个棘手的挑战。标准的计算机搜索在已知确切目标（如作者姓名或特定标题）时表现出色，但当研究人员提出一些更为抽象的要求时——例如一首捕捉了春雨中特有忧郁感的诗，或一首表达了对时光流逝某种特定遗憾的诗——它们往往会陷入困境。这是因为人类语言是灵活且具有层次感的：两首诗可能共享同一主题，但在感受上却截然不同；或者使用完全不同的词汇来描述同一种深层情感。为了弥合人类好奇心与数字搜索之间的这一鸿沟，研究人员开始教导计算机理解那些让文学鲜活起来的细微意义差别。
来自上海师范大学和湖州师范大学的一个研究团队通过创造一种新的检索古典诗歌的方式，在该领域取得了显著进展。他们意识到，要找到正确的诗歌，计算机需要理解意义的四个不同层面：诗人所感的情绪、创作背后的特定意图、核心主题以及其传达的深层哲学思想。为了教导计算机驾驭这些层面，该团队首先必须建立一个庞大的训练场。他们从近百万首诗歌的藏书中入手，利用先进的语言模型对每一首诗进行分析，将其拆解为上述四个特定类别。通过这种分析，他们生成了近三万个独特的搜索问题（即查询语句），每个问题都旨在探测诗歌意义的不同侧面。
真正的挑战在于如何教导计算机哪些诗歌真正回答了这些问题。他们召集了一群包括学生和文学学者在内的专家组成评审团。对于成千上万个搜索问题中的每一个，计算机都会提取出一份候选诗歌列表。随后，人类评审员阅读查询语句和诗歌，并给出从零到三的评分。零分意味着诗歌完全不相关，三分则意味着该诗是完美的匹配，精准地捕捉到了所请求的意义；一分和二分则用于描述部分相关或大致相关的诗歌。这一过程产生了一个包含超过八千个案例的“金标准”数据集，其中人类的判断定义了真相，使研究人员能够准确观察计算机在何处正确，又在何处出错。
手握这些数据后，研究人员开发了一种新的训练计算机模型的方法，称之为“增益感知列表序损失”（gain-aware listwise ordinal loss）。简单来说，这是一套引导计算机从错误中学习的规则。该方法不再仅仅告诉计算机“这首诗是对的”或“那首诗是错的”，而是教导它理解相关性的等级制度。它让计算机明白，一首得分为三的诗应该比得分二的诗排名显著更高，且两者之间的差距应当清晰明确。这种方法迫使模型不仅要找到相关的诗歌，还要对它们进行排序，以反映出与用户需求匹配程度的细微差异。研究人员将这种方法与其他现有技术进行了对比测试，发现其方法始终能产生更好的结果，尤其是在区分“仅是相关”与“深度契合”的诗歌时。
结果表明，这种新的训练方法显著提升了计算机检索正确诗歌的能力。当研究人员要求系统寻找与特定情感或哲学查询高度相关的诗歌时，其成功率较未经训练的模型有了大幅跃升。例如，在搜索一首完美结合了河流意象、历史反思以及对友人告别的复杂查询时，经过训练的模型能够成功识别出最合适的诗歌，并将它们排在列表的最顶端。相比之下，未经训练的模型往往只能找到符合部分要求的诗歌，忽略了整体意境。研究还显示，计算机在处理涉及深层情感表达和抽象思想的诗歌时表现最为吃力，这表明这些领域是模拟人类理解最为困难的领域。
这项工作并未彻底解决理解诗歌的问题，但它提供了一个强大的文学发现新工具。通过创建一个尊重人类判断细微差别的数据库，以及一种能从这些细微差别中学习的训练方法，研究人员证明了计算机可以被教导基于“意义”而非仅仅基于“关键词”来检索文学作品。该数据集和方法现已向其他学者开放，为通过特定研究问题的视角来探索浩瀚的古典诗歌遗产提供了可能。研究结果表明，尽管机器可能永远无法完全取代人类阅读的体验，但它们可以成为更有效的意义探索伙伴，帮助我们找到理解过去所需的精准言辞。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。