技术摘要：利用基于密度的树与 LLM 嵌入发现文本语料库中的多尺度语义结构

1. 问题陈述

大规模文本语料库的语义组织仍然是信息检索和知识表示领域的核心挑战。虽然大语言模型（LLMs）通过高保真稠密嵌入（dense embeddings）彻底改变了文本表示，但目前的系统主要依赖于扁平聚类（如 k-means、DBSCAN）或预定义的分类法（taxonomies）。这些方法无法捕捉语义关系的层级特性，掩盖了细粒度概念如何合并为更广泛的主题领域。此外，传统的层级方法通常依赖于强建模假设、对噪声敏感的全局距离矩阵，或无法很好适应异构且不断变化的文本集合的固定本体（ontologies）。因此，需要一种数据驱动的方法，能够直接从嵌入空间中重建语义层级，而不施加固定的分辨率或预定义的结构。

2. 方法论

2.1 数据与嵌入

本研究使用了一系列多样化的英语文本语料库，包括标准基准数据集（20 Newsgroups、IMDB 50K Reviews、AG News）以及大型机构科学语料库（黎巴嫩美国大学 [AUB] 和维也纳工业大学 [TU Wien] 的摘要，以及法语博士论文）。

• 嵌入生成： 文本被转化为 4096 维向量，使用的是基于 MTEB 排行榜性能选出的高性能模型（Qwen3-Embedding-8B 或 SFR-Embedding-Mistral）。
• 降维： 应用主成分分析（PCA）来降低维度。作者发现，在减少后的主成分集（例如 2–10 个成分）上使用 L2 范数距离，比在全量 4096 维向量上使用余弦距离能产生更具解释性且结构更鲜明的树结构。

2.2 基于密度的层级树构建

其核心创新是一种自适应密度聚类程序，通过逐步放宽局部密度约束来实现层级结构的运作。

• 算法： 该方法改进了 DBSCAN，但通过迭代连续的密度阈值而非输出单一的扁平聚类来进行。
• 过程：
  1. 在迭代 $L$ 处定义聚类，其中局部密度 $\rho_L > \frac{minpts}{V(\epsilon_L)}$。
  2. 以固定增量 ($\Delta\epsilon$) 增加邻域半径 $\epsilon$，从而有效地降低密度阈值。
  3. 随着 $\epsilon$ 的增加，先前稠密的簇会合并成更大、更弥散的簇。
  4. 此过程生成一棵树，其中末端分支代表紧密相关的（稠密的）语义组，而高层节点代表日益泛化的主题区域。
• 结果： 生成的树直接从数据中编码多尺度语义组织，揭示了紧凑的组是如何合并成更广泛的区域的。

2.3 自动化语义标注

为了确保可解释性，该方法集成了 LLM 作为语义标注器：

• 上下文： 使用了 Llama-4-Scout-17B-16E-Instruct 模型（量化版）来处理长上下文（高达 ~600k token）。
• 工作流： 对于每个树节点，LLM 接收该簇内所有摘要的文本内容，并被提示推断出一个统一的研究领域标签。
• 处理大型簇： 如果一个簇超过了 token 限制，则会对摘要进行采样（采用过采样以保证稳定性），分块处理，然后由第二个模型 (gpt-oss-20b) 对生成的候选标签进行总结，以产生一个总括性的标签。
• 可视化： 树结构通过颜色编码图（通过 MNHN-Tree-Tools 和 newick-utilities）进行可视化，并配备交互式基于瓦片的查看器，以便对节点级标签进行详细探索。

2.4 评估

对于具有地面真值（ground-truth）标签的基准数据集，作者通过计算每层树的调整兰德指数（ARI）和归一化互信息（NMI）来评估对齐情况。这使得能够评估语义一致性如何随不同分辨率（深度）的变化而演变。

3. 关键结果

3.1 降维的影响

实验表明，使用余弦距离在全量嵌入上构建的树表现出较差的结构分辨率。相比之下，应用 PCA 后使用 L2 范数距离进行聚类产生的树具有更清晰的分支和可检测的细微子结构。作者将其归功于 PCA 优先考虑方差并抑制噪声的能力。

3.2 基准测试表现

• 20 Newsgroups： 推断出的树成功恢复了直观的关系，例如体育相关组的接近性，以及宗教与政治的合并。ARI 和 NMI 在中间树深度达到峰值，这表明在细粒度词汇噪声被吸收但广泛主题区别得以保留的分辨率下，与地面真值标签的对齐最为强烈。
• AG News： 世界与体育类别形成了截然不同、可分离的子树。商业与科学/技术类别显示出实质性的重叠，反映了它们在标题中的主题相似性。
• IMDB 50K Reviews： 树结构浅且同质化程度高，在所有深度下的 ARI/NMI 得分均较低。这表明所使用的嵌入模型在其他语义维度面前，对情感的编码能力较弱，且基于情感的聚类无法作为稳定的宏观结构存在。
• 法语论文（Theses-fr-en）： 尽管作者提供的标签具有高度异质性，但该树清晰地分离了人文科学与自然科学。通过对 OECD 科学领域（FOS）分类的进一步分析，发现工程学与医学科学在层级结构中合并的时间早于社会科学与人文科学，这是一种在标准 FOS 分类中未明确定义的结构关系。

3.3 机构洞察

应用于 AUB 和 TU Wien 语料库时，该方法揭示了特定机构的研究景观，而无需依赖预定义类别：

• AUB： 由一个凝聚的医疗/健康子树主导，拥有一个独特的文化研究分支（中东研究），该分支在结构上更接近工程学而非医学，暗示了独特的跨学科联系。
• TU Wien： 揭示了一个同质但内部结构化的树，突出了在量子物理、材料科学和信息技术方面的优势，其中基础数学和理论物理形成了早期的独立分支。

4. 核心贡献

1. 基于密度的层级结构的运作化： 本文介绍了一种通过逐步放宽 LLM 嵌入上的密度约束来构建语义树的方法，这是将基于密度的聚类应用于文本语料库的一种新颖应用。
2. 多尺度表示： 该方法提供了一种统一的表示，既能捕捉局部语义连贯性，又能捕捉全局主题组织，能够容纳那些在细粒度分辨率下不属于稠密组的文档。
3. 数据驱动的分类法发现： 该方法以无监督方式推断层级关系，使其适用于对异构语料库进行探索性分析，尤其是在现有分类不完整或不存在的情况下。
4. 集成标注流水线： 该工作将无监督结构发现与长上下文 LLM 自动化标注相结合，为树节点生成人类可读的标签。
5. 实证验证： 研究证明了语义对齐在中间密度水平达到顶峰，且树中的突变对应着语义分辨率的有意义变化。

5. 重要性与主张

作者主张，将层级结构视为嵌入空间中密度的涌现属性，提供了一种适用于大规模、动态演进文本集合的可解释、多尺度表示。该方法提供了一种灵活的替代方案，能够揭示：

• 机构研究内部的主导领域与跨学科亲近度。
• 现有分类系统可能无法捕捉到的新兴主题簇。
• 标准分类法中的结构性模糊（例如，工程、医学与自然科学之间的关系）。

论文得出结论，虽然该方法受限于底层嵌入模型的表示能力（例如，无法捕捉像 IMDB 中情感这样微弱的信号），但它提供了一个强大的框架，用于绘制语义结构并探索复杂的文本知识空间。作者也谦虚地指出了在处理极大型簇时标注稳定性的局限性，并建议未来的工作可以涉及领域特定嵌入或应用于其他模态（图像、音频）。