Do LLM Embedding Spaces Recover Expert Structure?

技术摘要：LLM 嵌入空间是否恢复了专家结构？

问题陈述
预训练文本嵌入正越来越多地被用作表示映射，用于将文本间的几何距离与独立指定的概念结构进行比较。然而，高类别可分性（例如，分类社区的能力）并不一定意味着嵌入几何结构恢复了细粒度的、由专家定义的语义关系。这一问题在心理健康语言领域尤为突出，因为该领域的类别表现出症状重叠和梯度边界的特征，从而提供了一个外部专家参考。然而，在线社区引入了强大的非临床混淆因素，包括特定于 Reddit 子版块的术语、风格规范以及广泛的领域划分（心理健康 vs. 控制组）。模型可能仅基于这些粗粒度的分布线索对社区进行聚类，而未能编码定义专家结构的底层症状级关系。本文研究了 LLM 嵌入空间是否能在超越粗粒度领域分离的基础上，恢复专家定义的症状结构，以及任务特定监督和模型规模如何影响这种几何结构。

方法论
本研究使用了一个包含 28 个 Reddit 社区（17 个心理健康特定社区，11 个控制组社区）的数据集，时间跨度为 2018–2020 年。作者比较了使用两种模型规模的预训练和监督微调后的嵌入空间：Qwen3-Embedding-0.6B 和 Qwen3-Embedding-4B。

评估框架采用了三种互补的分析方法：

1. 表示相似性分析 (RSA)： 作者通过对文档嵌入取平均值来构建类别原型。他们根据这些原型之间的余弦距离生成表示差异矩阵 (RDM)。该模型衍生的 RDM 与两个参考矩阵进行比较：一个基于二元症状谱 Jaccard 距离的专家衍生症状矩阵，以及一个领域-控制矩阵。RSA 通过这些矩阵上三角元素的 Spearman 秩相关系数进行计算。
2. 基于原型的典型性与边界分析： 为了检查局部结构，作者计算了文档典型性（到类别原型的距离）和原型边缘。他们定义了一个“边界对齐得分” ($\Delta_{align}$)，用于衡量残余边界模糊性是集中在专家邻近类别对（具有高症状重叠的类别对）中，还是集中在非邻近类别对中。
3. 多基准线混淆控制： 为确保对齐并非由非临床信号驱动，作者控制了四个基准线：效价-唤醒度-支配度 (VAD) 情感得分、LIWC 语言特征类别、词汇风格特征以及主题分布结构（通过嵌入主题模型）。

关键结果

• 专家结构恢复： 即使没有监督，预训练嵌入在心理健康子集中也表现出与专家定义的症状结构的可测量的对齐。这种对齐显著强于仅由粗粒度领域分离所能解释的程度。
• 监督的影响： 监督微调加强了与专家结构的对齐，其中最显著的增益观察于最细粒度的类别层面（在心理健康子集内）。微调不仅仅增加了全局可分性；它重新塑造了几何结构，以减少“非结构化”的模糊性，并将残余不确定性集中在专家邻近的类别对中。
• 模型规模效应： 更大的模型规模（4B vs. 0.6B）提升了零样本对齐效果以及监督诱导的增益。4B 模型实现了更高的 RSA 得分，并显示出与非临床基准线关联性的更显著降低。
• 混淆鲁棒性： 即使在控制了 VAD、LIWC、词汇风格和主题分布后，观察到的对齐现象依然存在。虽然内容丰富的基准线（如主题分布）解释了部分对齐，但与专家结构之间仍存在实质性的残余对齐，这表明几何结构捕捉到的不仅仅是话语或情感规律。
• 局部组织： 微调减少了弥散性的边界模糊。在零样本模型中与边界模糊相关的议题（共享的情感叙事）在微调模型中变得更加清晰，微调模型展现出更具类别特异性的词汇场。

意义与主张
本文认为，LLM 嵌入可以恢复专家相关的类别几何结构，但这种恢复是部分性的、依赖于层级的，并受监督和规模的影响。作者警告说，仅凭分类性能不足以推断语义结构；必须进行显式的混淆控制和层级化的分析。

主要贡献包括：

• 一个结合了 RSA、基于原型的典型性和多基理解构控制的表示级框架，用于测试在领域分离之外的专家结构恢复情况。
• 提供了层级依赖模式的实证证据，即预训练模型编码了症状级的组织，而监督最有效地在最细粒度处放大这种对齐。
• 证明了更大规模的模型与监督共同减少了与非临床基准线的关联，从而产生了更具类别特异性的几何结构。

局限性
作者明确指出，其专家参考是一个用于类别级比较的结构化基准，而非能够捕捉个体层面严重程度或共病性的临床诊断本体。研究结果支持一个有限的主张：预训练嵌入包含有意义但并不完整的组织信号，而监督增强了这一点。本研究受限于特定的模型家族和数据集；其结论在不同架构及其他非特定社区语言来源上的泛化性仍是一个开放性问题。此外，基于主题的分析是解释性的而非因果性的。