How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description
本文评估了将文献计量算法与大语言模型相结合以进行科学文献综合的有效性，发现尽管大语言模型在独立推断结构方面存在困难，但在混合工作流中，当提供可审计的、由算法推导出的结构时，它们在生成可读的聚类描述方面表现出色。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图整理一座拥有数百万本书籍的庞大而混乱的图书馆。你的目标是根据书籍的主题将它们划分为不同的“社区”，并为每个社区撰写简短清晰的描述，以便人们了解其内容。
这篇论文提出了一个简单却棘手的问题：超级智能的人工智能（大型语言模型，LLM）完成这项工作需要多少帮助？
是需要将书籍交给 AI，并告诉它“来吧，你自己整理并撰写描述”？还是说，如果由人类（或计算机程序）先将书籍分类成堆，而 AI 只需为这些预先分好的堆撰写描述，效果会更好？
实验：六种整理图书馆的方式
研究人员设置了六种不同的“工作流”（流程）来测试这一点。你可以将它们视为对 AI 的不同监督级别：
- “盲眼”AI：AI 仅获得图书馆分区的名称（例如“气候变化”），并被要求猜测社区并撰写描述。它没有可供查阅的书籍列表。
- “全文本”AI：AI 获得分区名称，以及图书馆中每一本书的标题和摘要。它仍然必须自行决定如何分组并撰写描述。
- “选择与总结”AI：与上述类似，但 AI 在撰写描述之前，会先为每个群体挑选“最佳”书籍。
- “已标注”AI：计算机程序已将书籍整齐地分类成堆（簇）。AI 获得这些预先分类好的堆，只需为其撰写描述。
- “已标注与选择”AI：书籍已分类成堆，但 AI 可以在撰写描述之前从每个堆中挑选最重要的书籍。
- “排名”AI：书籍已分类成堆，AI 仅获得每个堆中最重要的前 10 本书籍来撰写描述。
他们的发现
研究人员使用 100 个人类过去整理科学文献的真实案例测试了这些方法。结果如下：
1. “盲眼”AI 不可靠。
当 AI 必须从零开始整理书籍（既未看到实际书籍，也未获得预先分类）时，它显得力不从心。它经常编造虚假的书籍标题（幻觉），并创建出实际上与书籍关联不符的群体。这就像要求某人在不看书籍的情况下整理图书馆。
2. 结构是秘诀。
当 AI 无需自行进行分类时，其表现要好得多。
- 当计算机算法首先将书籍分类为逻辑组，而 AI 只需撰写描述时，结果非常出色。
- 事实上，在许多情况下，AI 撰写的描述在捕捉群体的数学结构方面，优于人类专家撰写的描述。（注意：这并不意味着 AI 在主题上更“聪明”，而是指它在遵循计算机定义的特定群体方面做得更好。）
3. “适量”的帮助取决于任务。
- 对于“文献耦合”（引用相同其他书籍的书籍）： 当 AI 看到整个预先分类好的堆时，表现最佳。它需要完整的上下文来理解广泛的主题。
- 对于“直接引用”（相互直接引用的书籍）： 当 AI 仅获得每个堆中最重要的几本书籍时，表现最佳。它不需要整个堆；只需该群体的“明星”就足以写出好的摘要。
主要结论
该论文得出结论，利用 AI 整理科学文献的最佳方式是采用混合团队方法：
- 让算法承担繁重工作：使用计算机程序执行排序和分组论文所需的复杂数学运算。这确保了结构的准确性和可审计性。
- 让 AI 负责表达：一旦群体分类完成，就让 AI 撰写可读的、对人类友好的描述。
这就像建筑工地：计算机是起重机和蓝图（提供结构），而 AI 是室内设计师（使其美观且易读）。如果你要求 AI 既当起重机又当设计师，建筑物可能会倒塌。但如果给它一个坚实的结构作为基础，它就能创造出美丽的东西。
简而言之：AI 擅长撰写描述，但不擅长独自理清图书馆的结构。它首先需要一张地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。