Citation Intent Classification for Turkish Academic Literature with Prompt-Optimized LLMs and Language-Specific Encoders
本文介绍了 TurkCite，一个用于对土耳其学术文献中的引用意图进行分类的框架及专家标注数据集，证明了特定语言的 Transformer 编码器优于基于翻译的迁移，同时为非英语文献计量分析提供了经过提示词优化的、作为有效免训练替代方案的大型语言模型。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在广袤的学术研究领域，引用不仅仅是一个脚注或对前辈的礼貌致敬。它是一种特定的交际行为，是新论文向旧论文发送的一个微小信号，揭示了新作品究竟是如何使用旧作的。有时，研究人员引用之前的研究是因为他们直接基于其方法进行构建；而另一些时候，他们引用是为了表明自己的结果与之相矛盾，或者仅仅是为了提供历史背景。几十年来，学术界主要通过计数这些信号来衡量研究的价值，即统计一篇论文被提及的次数以计算影响力。然而，这种方法将每一次提及都视为完全相同的，忽略了深层的智力债务与随手提及之间的关键区别。为了理解科学影响力的真实本质，学者们不仅需要知道一篇论文被引用了多少次，还需要知道为什么要引用。
这种区别是引用意图分类（citation intent classification）的核心，该领域旨在将这些引用归入功能性类别。虽然研究人员在英语文献领域已取得了显著进展——那里拥有大型数据集和先进的计算机工具——但同样的工具在其他语言中却基本失效了。土耳其学术出版代表了一个庞大且不断增长的生态系统，拥有支持数千种期刊的国家级数据库，但它却缺乏一个能够理解土耳其学者为何相互引用的系统。土耳其语的语言结构与英语截然不同，这使得简单地翻译英语工具并期望其奏效变得十分困难。由于缺乏原生系统，土耳其期刊中发生的丰富且细微的对话一直处于自动化分析无法触及的状态，被困在原始数字构成的围墙之后。
一个研究团队致力于构建这一缺失的系统，开发了一个专门为土耳其学术文献设计的全新框架。他们首先构建了一个名为 TurkCite 的专门数据集，该数据集由来自土耳其发表的计算机科学论文中的近 2,800 个引用示例组成。这些示例并非只是被收集起来，而是经过人类专家的仔细审查和标注，专家们确定了每个引用的具体意图，将其分为五个不同的类别：背景背景、方法基础、支持性发现、对比性结果以及批判性讨论。这种人工标注的基础至关重要，因为团队首先测试了是否可以简单地将土耳其语引用翻译成英语，并使用现有的英语工具进行分析。结果显而易见：仅靠翻译是不够的。土耳其语中用于传达意图的微妙线索和话语模式在翻译过程中丢失了，这证明了原生解决方案的必要性。
带着手中的新数据集，研究人员探索了两条解决分类问题的路径。第一条路径依赖于大语言模型，即那些能够生成文本并回答问题的强大人工智能系统。他们测试了这些模型是否可以在不经过针对新土耳其数据进行显式训练的情况下学习分类，这种方法被称为上下文学习（in-context learning）。通过精心设计指令并在提示词中提供少量示例，他们发现这些模型可以实现极高的准确度，在识别正确意图方面的准确率接近 87%。这种方法被证明是一种有效的“冷启动”解决方案，提供了一种无需大规模预标注数据集即可立即分析引用的方式。然而，研究人员指出，这些模型的表现对指令的编写方式高度敏感，并且在一致识别较罕见的引用类型（如表示与前人研究存在分歧的引用）方面表现挣扎。
第二条路径涉及使用新的土耳其语数据集从头开始训练专门的计算机模型。团队微调了五种不同类型的神经网络架构，测试哪种最适合土耳其语。他们发现，专门针对土耳其语文本进行预训练的模型，其表现明显优于针对多语言或英语设计的模型。最成功的系统结合了一个土耳其语特定模型以及更丰富的输入信息（包括引用出现的论文章节及其周围的句子），其准确率超过了 90%。这种监督学习方法为处理大量学术文本提供了一种稳定、可靠且具有成本效益的方式。然而，即便拥有如此高的准确率，该系统仍然面临挑战：数据本身存在严重的偏差。在学术写作中，绝大多数引用都是用于一般性背景介绍，约占数据集的 78%。这种不平衡意味着，虽然模型非常擅长捕捉常见的背景引用，但在识别更罕见、更复杂的意图（如分歧或批判性讨论）时，其可靠性仍然较低。
研究结论认为，虽然新系统为分析土耳其学术研究提供了强大的工具，但任务的难度不仅在于技术，更在于数据的性质。研究人员发现，仅仅增加上下文或将问题分解为更小的步骤并不能完全解决识别罕见引用类型的问题。相反，未来的路径在于扩大数据集，以包含更多这些代表性不足的意图示例。通过提供一个稳健的框架和高质量的数据集，该团队为更细致地理解土耳其学术影响力打开了大门，使研究人员和编辑能够超越简单的计数，洞察科学对话的实际结构。这项工作为其他非英语学术共同体提供了蓝图，证明了虽然翻译是一个有用的第一步，但真正的理解需要专门针对当地学术世界的语言和话语构建的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。