Identifying unique developers in OSS projects: A family of models

技术摘要：识别开源软件项目中的唯一开发者：一个模型家族

问题陈述
准确识别唯一开发者是计算开源软件（OSS）项目中组织与逻辑耦合指标的基础前提。在版本控制系统中，开发者身份源自提交元数据（姓名和电子邮件），由于配置变更、基于角色的账户或非正式的命名习惯，这些信息往往包含不一致性。当同一个自然人在多个别名下出现时，会为协作网络和耦合度测量引入系统性噪声，可能导致架构解释和实证结论的偏差。虽然现有文献通常采用启发式方法（在小数据集上进行人工处理）或完全忽略此问题，但目前仍缺乏用于大规模 OSS 挖掘的、可扩展、精确且可复现的解析机制。

研究方法
本注册报告概述了一项系统的实证研究，旨在评估并比较用于开发者身份去重的大语言模型（LLM）与经典机器学习（ML）方法。该研究围绕三个主要研究问题（RQ）展开：

1. LLM 有效性 (RQ1)： 研究调查 LLM 是否能够通过利用传统基于字符串的启发式方法之外的上下文和语义信息，可靠地识别重复的开发者身份。多个 LLM 将作为独立的决策者，接收（姓名, 电子邮件）对，以判断它们是否属于同一个自然人。人类专家将对这些输出进行统计抽样验证，以建立用于精度评估的地面真值（ground truth）。
2. ML 可扩展性与效率 (RQ2)： 研究旨在利用 LLM 标注的数据来训练并评估经典的 ML 模型（包括记录链接库、字符串相似度和字符串嵌入方法）。此阶段评估：
   • ML 模型是否能有效识别重复项 (RQ2.1)。
   • 与 LLM 相比，ML 方法是否在处理大规模挖掘时具有更优的时间和能源效率 (RQ2.2)。
   • 训练数据量与模型精度之间的关系 (RQ2.3)。
3. 特征增强 (RQ3)： 研究评估引入基于开发者活动概况（文件修改历史）的余弦相似度，是否能提高 LLM 和 ML 方法在重复识别方面的质量。

研究背景与执行

• 数据源： 主要研究背景是 Linux 内核仓库，选择它是因其规模巨大（超过 100 万次提交，1.5 万名贡献者）且贡献者群体多样。如果发现的重复案例不足，将挖掘其他大规模 OSS 项目。
• 数据流水线： 过程包括收集提交元数据、预处理（标准化姓名/电子邮件）以及生成身份对。采用基于低成本字符串启发式方法（如 Levenshtein 相似度）的阻断策略（blocking strategy），在将候选对传递给 LLM 或 ML 模型之前过滤掉明显的非匹配对。
• 环境： 实验在“Roihu”超级计算机（芬兰 CSC）上执行，利用包含 NVIDIA GH200 Grace Hopper 超级芯片的异构架构，以确保可扩展的执行并实现对时间与能耗的准确测量。
• 分析： 将进行统计假设检验（用于模型比较的 McNemar 检验，用于成本和特征分析的配对 t 检验），显著性水平设定为 $\alpha = 0.05$。精度（Precision）是主要指标，召回率（Recall）和 F1 分数是补充指标。

核心贡献
本文拟提供以下内容：

• 对用于 OSS 中重复开发者身份识别的 LLM 进行系统的实证评估。
• 对使用 LLM 策展数据的经典 ML 方法进行对比评估，重点关注精度、可扩展性和计算效率。
• 分析 LLM 与 ML 解决方案之间在时间/能源消耗方面的权衡。
• 调查训练数据量如何影响基于 ML 的身份解析精度。
• 评估开发者活动相似度（余弦相似度）是否能提升检测质量。
• 提供一个可重用的、公开可用的实验协议和复现包，以支持未来的社会技术挖掘研究。

主张与意义
作者将这项工作定位为首次尝试将大语言模型应用于 OSS 项目中唯一开发者识别这一特定问题。本研究的意义在于其对于强化以开发者为中心的软件架构研究的方法论基础具有潜在贡献。通过提供一个可扩展、准确且具备能效意识的去重流水线，本研究旨在解决当前架构分析中的关键局限，确保诸如耦合度和内聚性等指标不会因身份噪声而失真。最终目标是明确哪些方案能在准确性和成本之间提供最佳平衡，从而实现对 OSS 仓库更可靠的大规模挖掘。

有效性威胁
作者承认，“重复开发者身份”依赖于人类判断，这在边界案例（如常见姓名）中可能具有主观性。为了减轻这一影响，他们采用了保守的标注方法，即在存在不确定性时将其标记为“非重复”，从而优先保证精度而非召回率，以避免产生可能扭曲架构指标的假阳性。此外，他们指出，使用 LLM 策展数据训练的 ML 模型可能会继承来自 LLM 的系统性偏差，尽管他们关注的重点是 ML 在效率上的提升，而非直接的性能超越。