Mapping Scientific Literature with Large Language Models and Topic Modeling

技术摘要：利用大语言模型与主题模型进行科学文献映射

问题陈述
科学文献正日益受到学科边界、专业术语以及稀疏关键词系统的碎片化影响，这阻碍了捕捉现代科学演进结构的能力。传统的文献计量学映射方法（如共词分析、引用网络）通常依赖于主观的关键词选择，或受限于文本稀疏性。统计主题模型技术（如潜在狄利克雷分配 LDA 和非负矩阵分解 NMF）难以应对科学文本的复杂性，往往产生仅是单词集合（即“茶叶”）而缺乏语义可解释性的主题。此外，较新的深度嵌入方法（如 BERTopic）在可解释性和在缺乏地面真值（ground truth）的情况下确定最优主题数量方面仍面临挑战。现有的用于主题建模的大语言模型（LLM）方法通常依赖过时的评估指标、任意的主题种子设定，或者缺乏过滤噪声文档和离群值的鲁棒机制。

方法论
本研究提出了一种混合的两阶段分类流水线，旨在自主绘制科学研究的主题图谱，而不依赖于先验的种子主题。该框架应用于 2005 年至 2024 年间来自《美国国家科学院院刊》（PNAS）的 1,519 篇工程相关文章（跨度 20 年）的语料库。

1. 初级摘要分类（无监督 LLM 精炼聚类）：

   • 嵌入与聚类： 使用 text-embedding-3-small 将摘要编码为稠密向量。通过迭代 K-means 聚类过程将摘要划分为 $k$ 个簇。
   • LLM 注释与精炼： 对于每个簇，由 LLM（GPT-4o-mini）生成主题标题和描述。
   • 共识重分类： 为了减轻幻觉和随机性，LLM 对每个摘要进行五次主题生成与重分类。应用“五中三”的共识标准；只有当至少三次运行达成一致时，摘要才会被分配标签。
   • 一致性评分与递归精炼： 一致性得分（$A_j^t$）衡量原始 K-means 簇与 LLM 重分类之间的对齐程度。一致性得分低于阈值（$\tau = 0.60$）的簇被视为不稳定。其所属的摘要将被带入下一次迭代进行重新聚类。
   • 终止条件： 递归持续进行，直到剩余未分类的摘要数量低于终止阈值（$\delta = 0.10$ 的初始数据集规模）。这些剩余摘要被归入“其他”（Other）类别。
   • 输出： 一组具有人类可解释标签的稳定主题集合 $n^*$。

2. 次级全文分类（多标签分析）：

   • 将全文 PDF 解析为段落/句子片段。
   • 与侧重单标签的初级阶段不同，此阶段将每个文本片段针对稳定的主题集进行分类。
   • 片段可以被分配多个主题，从而揭示摘要中无法体现的潜在跨主题联系和方法论应用。

3. 评估与验证：

   • 自动化指标： 计算了相对于基准模型（LDA、NMF、BERTopic、TopicGPT、PDDP）的相干度（CV、UMass）、主题多样性（TD）和 Jaccard 相似度。
   • 人工验证： 对 20% 的摘要（303 个样本）进行盲审，评估其相对于人类判断的 Top-1 和 Top-3 准确率。
   • NLP 分析： 使用词袋模型（BoW）和基于类别的 TF-IDF（c-TF-IDF）来验证 LLM 生成的主题是否对应有意义的语言模式和统计分布（例如齐夫定律/Zipf's law）。
   • 二分图网络： 构建了一个连接摘要级主题与片段级分类的图，以可视化跨主题关系，并将其与 PNAS 的编辑双重分类系统进行对比。

核心贡献

• 一种混合框架： 引入了一种结合了基于嵌入的聚类与 LLM 引导精炼的结构化迭代协议，无需种子输入即可发现主题。
• 鲁棒性机制： 实现了“五中三”共识规则和明确的“其他”类别，以过滤噪声和离群值，解决了 LLM 主题建模中常见的稳定性问题。
• 双层级分析： 超越了仅基于摘要的分析，通过利用全文切片来识别次级主题和跨主题关系，提供了更细粒度的跨学科联系视图。
• 无地面真值的验证： 展示了一种在缺乏地面真值标签的情况下，通过结合自动化指标、人工验证和传统 NLP 统计检查来评估主题模型的有效方法。

结果

• 主题发现： 该流水线识别出 16 个稳定的研究主题（如组织工程、诊断技术、材料科学）以及一个“其他”类别（占摘要的 9.8%）。
• 性能： 所提方法实现了最高的主题多样性（TD = 0.909）和最低的 Jaccard 相似度（6.15 × 10⁻³），表明主题具有显著的区分性且互不重叠。虽然 MALLET LDA 显示出更高的相干度分数，但 LLM 方法提供了更优的可解释性和多样性。
• 准确率： 人工验证显示 Top-1 准确率为 52.5%，Top-3 准确率为 75.9%。较高的 Top-3 分数反映了语料库的跨主题特性，即许多文章横跨多个子领域。
• 跨主题洞察： 二分图网络分析显示，虽然某些主题（如材料科学）高度专业化（低提升度/Lift），但其他主题（如组织工程、合成生物学）则作为枢纽，具有高跨学科提升度，常将工程学与生物科学联系起来。全文分析显示，75% 的文本片段被分配了多个主题，凸显了单标签摘要分类的局限性。
• 语言一致性： c-TF-IDF 和 BoW 分析确认，LLM 生成的主题与独特的词汇分布相一致，并遵循已知的统计规律（齐夫定律），这表明模型挖掘出了有意义的语义结构而非随机分组。

意义与主张
本文声称，所提出的框架提供了一个强大的工具，用于在无需预知期刊模式的情况下，绘制科学图谱并识别新兴的跨主题联系。研究表明，LLM 能够独立恢复 PNAS 大部分的编辑双重分类结构，并能揭示通过关键词或摘要无法观察到的潜在关系。

作者强调，这种方法能将密集、专业的术语转化为共享且可解释的主题空间，有助于科学传播和元研究。然而，论文对于 LLM 的局限性保持了适度的谨慎，承认了幻觉风险以及对结构化防护措施（如共识投票和输入洗牌）的需求。研究结论认为，虽然 LLM 不能取代人类判断，但将其与传统的 NLP 验证技术相结合，为缺乏正式地面真值标签的领域提供了一种灵活且鲁棒的探索性分析方法。该框架被呈现为一个动态系统，能够通过监测“其他”类别的变化来追踪研究范式的兴衰。