Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

技术摘要：基于职位招聘数据从零构建人工智能技能与任务自定义分类体系

问题陈述
劳动力市场的快速演变，特别是关于人工智能（AI）的领域，亟需创建开放、细粒度的分类体系以追踪技能与任务的变化。尽管存在专有分类体系，但它们常受限于数据访问权限且缺乏标准化，从而限制了其在 workforce development（劳动力发展）和 educational design（教育设计）等公共产品方面的效用。虽然大语言模型（LLMs）提供了一条从海量文本语料库（例如职位招聘广告）中自动化构建分类体系的路径，但在如何最佳利用此类大规模数据方面仍存在关键缺口。具体而言，目前尚不清楚是通过数据增强（augmentation）纳入更多数据，还是严格过滤数据，能获得更好的领域特定覆盖率和清晰度。先前的工作多聚焦于较小规模的数据集或依赖种子分类体系，导致针对大规模非结构化语料库的设计参数的系统性评估尚未被探索。

方法论：TAXONOMYBUILDER
作者提出了TAXONOMYBUILDER，这是一个旨在将大规模非结构化职位招聘文本转化为层级分类体系的系统化流程。该方法主要包含三个阶段：

1. 设置与上下文挖掘：

   • 候选提取： 系统使用包含 590 个 AI 相关关键词的精选列表进行基于关键词的搜索，从海量职位招聘语料库中提取候选句子。
   • 评分与过滤： 为减少误报（例如，"torch"指焊接工具而非库），采用基于句子嵌入与关键词嵌入之间余弦相似度的混合方法对候选项进行评分。为求稳定，对三种嵌入模型（ALL-MINILM-L12-V2、GTE-LARGE、EMBEDDINGGEMMA-300M）的结果取平均值。
   • 配置变量： 本研究考察了三个关键设计决策：
     • 数据增强： 将语料库中语义相似的句子（阈值 > 0.9）添加到候选集中。
     • 百分位过滤： 仅保留评分最高的前 25%、50% 或 75% 的候选项以减少噪声。
     • 软聚类： 将“噪声”点（即不符合任何聚类的点）重新分配给最近的聚类中心。

2. 构建基础（叶节点层级）：

   • 聚类： 使用 HDBSCAN 对候选句子进行聚类（通过 UMAP 降维至 10 维）。
   • 生成式标注： 利用大语言模型（GPT-4o-mini）为每个聚类生成简洁标签，总结候选句子内容。
   • 剪枝： 对生成的标签进行基于相似性的检查；高度相似的标签（余弦相似度 > 0.95）被聚合以消除冗余。

3. 向上构建（层级构造）：

   • 该过程垂直迭代：当前层级的标签作为下一层级聚类和标注的输入。
   • 当标签数量低于阈值（默认 10）或达到最大深度（默认 5）时，过程停止。

数据集
该流程在两个大型美国职位招聘语料库上进行了评估：

• NLx： 2024–2025 年的 3212 万份职位招聘广告。
• USAJOBS： 2017–2023 年的 154 万份联邦职位招聘广告。
  每个语料库中最新的一部分数据被保留作为测试集，用于外部有效性评估。

评估指标
作者在 24 种实验配置（每个数据集 12 种）中采用了多维评估策略：

• 聚类质量： 使用轮廓系数（Silhouette score）衡量聚类定义。
• LLM 作为裁判： 一个大语言模型（GPT-5.4-Nano）从四个类别评估分类体系：清晰度（精确性、歧义性、一致性、可访问性）、层级连贯性、正交性（区分度、非重叠性）以及完整性（覆盖率、深度、平衡性）。
• 领域覆盖率： 通过评估生成的分类体系标签在多大程度上能将保留的职位句子分类为 AI 相关来衡量。这包括在不同相似度阈值（$\tau$）下的“宽松”（至少一个大语言模型同意）和“严格”（两个大语言模型均同意）覆盖率，以及“标签利用率”指标。

关键结果
通过因子方差分析（factorial ANOVA）分析实验结果，揭示了一个反直觉的发现：“少即是多”。

• 数据增强： 与“更多数据能改善覆盖率”的直觉相反，数据增强显著降低了严格覆盖率和标签利用率。它引入了噪声，降低了最终分类体系的质量。
• 过滤： 更严格的过滤（更高的百分位，例如仅保留前 25% 或 50% 的评分）通常能改善聚类拟合度、正交性和标签利用率。
• 软聚类： 软聚类（重新分配噪声点）仅在未使用数据增强时有益。当与数据增强结合使用时，它并未带来显著改进。
• 权衡： 研究发现了数据包含量与覆盖率表现之间的逆相关关系，具体取决于评估阈值的严格程度。虽然更大、噪声更多的分类体系（低过滤）在极高相似度阈值（例如 $\tau=0.9$）下表现更好，但由于概念定义更清晰，更简洁、经过过滤的分类体系在较低阈值（例如 $\tau=0.6$）下表现更佳。

贡献与意义
本文做出了四项主要贡献：

1. 系统性调查： 解决了在大规模领域自动化构建分类体系中关于最佳数据使用（增强与过滤）这一未被探索的问题。
2. TAXONOMYBUILDER： 引入了一种通用的、开源的流程，用于从非结构化文本构建层级分类体系，并在 AI 职场技能这一复杂领域进行了演示。
3. 实证证据： 提供了明确的建议，表明谨慎的数据增强、严格的聚类和选择性过滤比无限制的数据包含能产生更全面且简洁的分类体系。
4. 开放资源： 作者发布了构建的 AI 技能分类体系以及 TAXONOMYBUILDER 工具（作为 Python 包并在 GitHub 上可用），以支持进一步的研究和劳动力发展。

结论
作者得出结论，虽然大规模数据语料库为分类体系构建提供了肥沃的基础，但 indiscriminate（不加区分）地包含数据可能弊大于利。本研究倡导“少即是多”的理念，即选择性过滤和谨慎处理噪声对于创建高质量、可解释且与领域相关的分类体系至关重要。该工作警示，这些发现具有特定案例的局限性，未来的研究应继续探索设计权衡，并制定适用于现实世界通用性的评估指标。