Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature
这项关于德语科学文献自动主题索引的基准研究发现，虽然基于监督式 Transformer 的 XMLC 方法在整体二元相关性方面表现出色，但基于大语言模型（LLM）的生成式方法在等级相关性和处理主题词汇的长尾分布方面优于它们，从而使其成为未来极具前景的替代方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正走进一座宏大、古老且永不关门的图书馆。这座图书馆不仅收藏书籍，还收藏了用特定语言书写的每一个科学思想。但这里有个陷阱：图书馆里没有管理员来告诉你去哪里找东西，而是依赖一套巨大的、神奇的索引卡系统。每本书都需要一组“标签”（比如 #物理 或 #19世纪诗歌）才能被找到。问题在于，这座图书馆拥有超过 20 万个不同的标签，而且大多数标签只被使用了一两次。这就像是在试图为一百万本书分类，而其中 99% 的标签都是为了那些几乎不存在的书籍准备的。
这就是极端多标签分类（Extreme Multi-Label Classification, XMLC）的世界。把它想象成一场超级加强版的“猜标签”游戏。你有一份文档（一本书），你有一个庞大的候选标签列表。你的任务是选出正确的标签。在过去，计算机通过寻找精确的词汇匹配来进行工作，比如一个机器人扫描到“苹果”这个词，就把这本书标记为“水果”。但这太简单了。现在，我们有了生成式人工智能（Generative AI），它是领域里的新面孔。这些是能够写故事和回答问题的“创意型”计算机。它们不仅仅是匹配单词，它们理解“意义”。科学家们正在问的一个大问题是：“这些富有创造力的生成式人工智能机器人，是否终于击败了那些旧有的、严谨且注重数学逻辑的机器人？”
这篇论文是一场“旧守卫”与“新来者”之间的巅峰对决。德国国家图书馆的研究人员利用了一个现实世界的挑战：为数千本德语科学教科书进行打标签。他们将传统的、高度专业化的“监督式”算法（即那些数学奇才）与三种基于大语言模型（即那些创意作家）的新型实验方法进行了对决。他们不仅询问“它是否猜中了正确的标签？”，还询问了“如果标签不是完美的，它对人类读者是否有帮助？”
以下是他们的发现。如果你在意原始数据以及与“金标准”标签列表的“完美”匹配，那么旧派的数学奇才仍然胜出。具体来说，一种被称为 XR-Transformer（它结合了词频统计与深度学习）的方法在整体准确率方面成为了冠军。它是从海量列表中挑选出精确正确标签的最可靠方法。
然而，当你观察“长尾部分”——即那些只有极少数书籍使用的罕见、怪异且极其具体的标签时——故事变得有趣了。在这里，创意 AI 方法开始发光发热。当研究人员要求人类专家根据标签对于查找书籍的“有用程度”进行评分时（即使这些标签并非官方定义的“完美”标签），生成式 AI 方法占据了领先地位。AI 更擅长建议那些“略有帮助”或“非常有帮助”的标签，即便它们并不完全符合教科书式的定义。它更具创造力，也不太容易错过那些晦涩的主题。
但有一个巨大的陷阱，而且这是一个巨大的问题。创意 AI 非常“饥饿”。处理单本书籍时，AI 方法需要数百毫秒，而旧的数学方法只需不到一毫秒。AI 的速度慢了数千倍，并且需要庞大且昂贵的计算能力（比如两块巨大的显卡）才能完成这项工作。论文指出，虽然 AI 更聪明、对稀有主题更有帮助，但它目前的运行速度和成本过高，无法成为管理数百万本书籍的主力图书管理员。
因此，这篇论文并不是说 AI 已经“获胜”并取代了旧方法。相反，它建议进行“组队”。旧的数学方法快速且擅长基础工作，而新的 AI 则擅长处理棘手的、长尾的情况。作者得出结论，未来很可能在于两者的结合——利用快速的数学方法来承担繁重的体力活，并利用创意的 AI 来处理那些困难的、长尾的案例。他们还提到，他们所使用的特定 AI 模型只是一个快速变化领域的缩影；当你读到这里时，AI 可能已经变得更强大了，但速度问题很可能依然存在。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。