🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

本文介绍了 NAICS-GH，这是一个高精度的公开数据集，包含 6,588 个使用 NAICS 2022 行业部门进行标注的 GitHub 仓库，该数据集通过结合 BAAI/bge-large-en 嵌入与 GPT-4.1 的检索并验证流水线构建而成，实现了 96.98% 的人工验证精度，并作为开源创新研究中行业分类的基准。

原作者： Kevin Xu, Alexander Quispe

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kevin Xu, Alexander Quispe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将 GitHub 想象成一座巨大的、混乱的图书馆，其中包含了数亿本“书”（代码仓库）。问题在于，虽然图书馆知道每本书的书名，但它没有一套“杜威分类法”来告诉你每本书究竟属于哪种业务或行业。这本书是为银行编写的吗？还是为农场？或者是为游戏工作室？如果没有这些标签，经济学家、政策制定者或公司就很难理解不同行业是如何使用开源软件的。

本论文介绍了 NAICS-GH，这是一个全新的系统，它像一位超级聪明的图书管理员，负责将这些书籍整理进北美行业分类体系（NAICS）——这是美国、加拿大和墨西哥政府使用的标准分类系统。

以下是他们构建该系统的过程，以简单易懂的方式进行解释：

1. “捕鱼网”（检索）

首先，团队无法阅读图书馆里的每一本书（共有超过 130 万个候选对象）。因此，他们使用了一个名为 BGE 嵌入（embeddings） 和 FAASS 的数字捕鱼网。

比喻： 想象你有一个包含 1,000 个特定关键词的列表（例如“作物产量”、“银行安全”或“医院调度”）。你将这些关键词投入图书馆，这张网会瞬间抓取与每个关键词听起来最相似的前 20 本书。
结果： 这张网捕捉到了大约 31,000 个潜在匹配项。它撒了一个大网，以确保不会遗漏任何内容，但也同时抓到了一些“似是而非”的书（听起来很像但并不完全正确的书）。

2. “专家法官”（验证）

由于这张网抓取的范围太广，他们需要一位严格的法官来验证捕获的内容。他们聘请了 GPT-4.1（一种非常先进的 AI）来充当领域专家。

比喻： 把 GPT-4.1 想象成一位资深的检查员。对于网中捕捉到的每一本书，检查员都会阅读封面、摘要和前几页（即仓库的描述和 README 文件）。
评分标准： 检查员不仅仅是靠直觉猜测；他们使用一份严格的清单（“评分量表”）。他们会询问：“这段代码是否真的解决了该特定行业的问题？”
- 如果答案是明确的“是”，检查员会给出 9 分或 10 分。
- 如果是“可能”，分数会较低。
- 如果是一个通用的工具（比如一个基础计算器），得分则会很低。
截断点： 他们只保留了得分在 8 分或以上 的书籍。这确保了他们只保留高置信度的匹配项。

3. 最终收藏（数据集）

在 AI 法官过滤掉弱匹配项后，最后剩下了 6,588 个高质量的仓库。

这些仓库分布在 19 个不同的行业 中（如农业、制造业、医疗保健和金融业）。
他们特意剔除了一个类别（“企业管理”），因为没有足够的清晰案例来构成一个可靠的组别。
至关重要的一点是： 他们删除了所有者的名称以保护隐私，仅保留了代码内容和行业标签。

4. 它奏效了吗？（验证）

为了确保 AI 法官没有产生“幻觉”，团队聘请了人类研究助理，对随机抽取的 2,421 本 已标记书籍进行了人工核查。

结果： 人类评审员与 AI 的一致率高达 96.98%。
细微差别： 对于像“公共管理”或“艺术与娱乐”这样界限清晰的行业，AI 表现得近乎完美。然而，在处理“制造业”和“批发贸易”等较为棘手的行业时，AI 的表现稍显吃力，因为这些行业的软件有时看起来非常通用。论文指出，如果将评分要求提高到 9 分或 10 分，这些复杂行业的准确率会变得更高。

5. “教学工具”（基准测试）

最后，团队利用这个新的、带有标签的“图书馆”来教导六种不同的 AI 模型如何自主进行代码分类。

他们测试了包括 RoBERTa、ModernBERT 和 DeBERTa 在内的模型。
优胜者： 一个名为 RoBERTa-large 的模型学得最好，在从未见过的测试集上达到了 86.45% 的准确率。
启示： 这证明了只要拥有一个优秀的“带标签图书馆”，你就可以训练更小、更快的 AI 模型来自动完成未来的分类工作。

总结

该论文展示了一个公开可用的数据集，该数据集将 GitHub 代码映射到现实世界的行业。它的构建过程如下：

撒大网 以寻找潜在匹配。
使用严格的 AI 法官 根据详细的清单进行验证。
通过人工双重检查 以确保 97% 的准确率。
发布数据和代码，以便任何人都可以研究不同行业如何使用开源软件。

作者明确指出，这是一个应用于全球的北美分类系统，并警告说，虽然这些标签高度准确，但并非对每一个行业（特别是制造业和批发业）都完美无缺。他们还指出，该系统目前在处理英文代码描述时效果最好。

技术摘要：利用 NAICS 对 GitHub 仓库进行行业分类

问题陈述
GitHub 托管着数以亿计的公共仓库，但缺乏将其映射到标准化行业部门的原生机制。这种结构化行业元数据的缺失，限制了对创新地理学、开源生产的工业组成以及技术在不同经济部门间扩散的研究。现有的分类工作依赖于用户声明的主题标签或软件应用领域，但尚未有研究在多个司法管辖区采用如北美行业分类系统（NAICS）这样的标准化经济分类法。

方法论：NAICS-GH 流水线
作者提出了 NAICS-GH，这是一个包含 6,588 个 GitHub 仓库并标注了 2 位数 NAICS 代码（NAICS 2022）的语料库。该数据集通过一个可复现的两阶段“检索并验证”流水线构建，该流水线应用于来自美国、欧盟和澳大利亚的源池。

源池提取：
- 数据： 从 GitHub 内部数据仓库中提取了 1,372,489 个公共、非 fork 的仓库。
- 纳入标准： 仓库必须是公开的，至少有一个 star，包含 $\ge 750$ 字节的 README，拥有 $>6$ 次提交，且涉及 $\ge 2$ 名不同的贡献者。
- 司法管辖区： 根据所有者账户国家进行划分：美国 (510,380)、欧盟-27 (530,898) 和澳大利亚 (331,211)。
第一阶段：语义检索（候选生成）：
- 嵌入： 使用 BAAI/bge-large-en 嵌入对仓库 README（前 1,000 个字符）进行编码。
- 查询构建： 流水线使用由 1,029 个不同的 6 位数 NAICS 子行业短语组成的分类法。对于每个短语，生成一个查询语句：“Repositories about {subindustry}”。
- 检索： 使用 FAISS (IndexFlatIP) 进行精确内积搜索，系统检索出语义最相似的前 $k$ 个仓库。 $k$ 值是自适应的：对于拥有许多子行业的部门， $k=20$ ；对于子行业较少的部门，则增加 $k$ 值（ $k \approx 24\text{--}29$ ），以确保每个部门约有 400 个候选对象。
- 输出： 此步骤产生了 31,178 个唯一的（仓库, 部门）候选对。
第二阶段：LLM 验证（过滤）：
- 模型： 使用 GPT-4.1（快照 gpt-4.1-2025-04-14）作为验证器。
- 输入： 模型接收包含仓库描述、主题标签和清洗后的 README（拼接而成）的结构化提示词，以及目标 NAICS 部门的定义。
- 评分标准： 模型根据四个标准在 1–10 分范围内对匹配度进行评分：行业特定软件、部门相关功能、行业领域应用以及部门特定数据/研究。
- 阈值设定： 分数 $\ge 8$ 的候选对象被保留。应用最小类规模过滤器（ $n \ge 80$ ），移除了仅有 13 个通过候选的第 55 部门（“企业管理”）。

核心贡献

数据集 (NAICS-GH)： 一个公开发布的包含 6,588 个仓库并标注了 2 位数 NAICS 代码的语料库，覆盖了 19 个 NAICS 部门。该数据集包括仓库元数据、清洗后的文本，以及 LLM 的置信度分数和理由。
可复现的流水线： 一个结合了稠密检索（BGE + FAISS）与 LLM 验证（GPT-4.1）的完整开源流水线（MIT 许可证）。该流水线旨在可适配于其他行业分类法。
验证： 一个经过人工验证的“金标准”子集（2,421 个仓库）证实了该流水线的精确度。
基准测试： 在该语料库上微调的六个预训练编码器（RoBERTa, ModernBERT, DeBERTa-v3）的直接对比。

结果与验证

精确度： 在人工验证的金标准样本上，该流水线实现了 96.98% 的精确度（95% Wilson 置信区间：[96.23%, 97.59%]）。
分数相关性： 精确度与 GPT-4.1 的分数呈单调相关：分数 8 时为 90.76%，分数 9 时为 97.81%，分数 10 时为 99.30%。
部门差异： 六个部门（包括公共管理、信息和采矿业）在金标准样本中达到了 100% 的精确度。然而，制造业 (31–33) 和 批发贸易 (42) 在 $\ge 8$ 的阈值下显示出较低的精确度 (73.0%)，表明这些部门较难与通用的供应链工具区分开来。
可复现性： 在不同硬件上重新运行流水线，生成的候选集大小与原始大小的偏差在 0.03% 以内。
基准表现： 在六个微调编码器中，RoBERTa-large 取得了最高的测试集性能，F1 分数为 86.45%，准确率为 86.35%。值得注意的是，更大的参数量并不统一提升性能（例如，ModernBERT-large 的表现不如 ModernBERT-base），这表明对于该规模的语料库（约 4.6k 个训练样本），预训练目标比规模更重要。

意义与主张
本文声称提供了第一个公开可用的、将 GitHub 仓库映射到 NAICS 标准的多司法管辖区语料库。这一资源解决了经济学家、政策制定者和研究人员在研究软件部门劳动力与资本配置时面临的关键空白。作者将该数据集定位为并非完美的“地面真值”（承认了特定部门的标签噪声以及检索模型的仅限英语限制），而是一个高置信度的资源，能够支持关于开源工业组成的实证研究。发布内容包括数据集、微调后的检查点以及完整的流水线代码，以促进下游研究和复现。