Identifying unique developers in OSS projects: A family of models

Résumé Technique : Identification des développeurs uniques dans les projets OSS : Une famille de modèles

Énoncé du problème
L'identification précise des développeurs uniques est un prérequis fondamental pour calculer les métriques de couplage organisationnel et logique dans les projets de logiciels libres (OSS). Dans les systèmes de contrôle de version, les identités des développeurs sont dérivées des métadonnées de commit (noms et emails), qui contiennent souvent des incohérences dues à des changements de configuration, des comptes basés sur des rôles ou des conventions de nommage informelles. Lorsque la même personne physique apparaît sous plusieurs alias, cela introduit un bruit systématique dans les réseaux de collaboration et les mesures de couplage, pouvant potentiellement fausser les interprétations architecturales et les conclusions empiriques. Alors que la littérature existante traite souvent la déduplication d'identité de manière heuristique, manuellement sur de petits ensembles de données, ou l'omet entièrement, il existe un manque critique de mécanismes de résolution scalables, précis et reproductibles pour l'extraction de données OSS à grande échelle.

Méthodologie
Ce rapport enregistré décrit une étude empirique systématique conçue pour évaluer et comparer les modèles de langage de grande taille (LLM) et les approches d'apprentissage automatique (ML) classiques pour la déduplication d'identité des développeurs. L'étude est structurée autour de trois questions de recherche (RQ) principales :

1. Efficacité des LLM (RQ1) : L'étude examine si les LLM peuvent identifier de manière fiable les identités de développeurs dupliquées en exploitant des informations contextuelles et sémantiques au-delà des heuristiques traditionnelles basées sur les chaînes de caractères. Plusieurs LLM agiront comme des décideurs indépendants, recevant des paires de (nom, email) pour déterminer s'ils appartiennent à la même personne physique. Des experts humains valideront un sous-ensemble échantillonné statistiquement de ces résultats pour établir une vérité de terrain pour l'évaluation de la précision.
2. Scalabilité et efficacité du ML (RQ2) : L'étude vise à entraîner et évaluer des modèles de ML classiques (incluant les bibliothèques de liaison d'enregistrements, la similitude de chaînes et les approches d'embedding de chaînes) en utilisant les données étiquetées par les LLM. Cette phase évalue :
   • Si les modèles de ML peuvent identifier efficacement les doublons (RQ2.1).
   • Si les approches de ML offrent une efficacité temporelle et énergétique supérieure par rapport aux LLM pour l'extraction de données à grande échelle (RQ2.2).
   • La relation entre le volume de données d'entraînement et la précision du modèle (RQ2.3).
3. Augmentation des caractéristiques (RQ3) : L'étude évalue si l'incorporation de la similitude cosinus dérivée des profils d'activité des développeurs (historiques de modification de fichiers) améliore la qualité de l'identification des doublons pour les approches LLM et ML.

Contexte et exécution de l'étude

• Source de données : Le contexte principal est le dépôt du noyau Linux, choisi pour son échelle (plus d'un million de commits, 15 000 contributeurs) et sa base de contributeurs diversifiée. Si des cas de doublons insuffisants sont trouvés, d'autres projets OSS à grande échelle seront extraits.
• Pipeline de données : Le processus implique la collecte des métadonnées de commit, le prétraitement (standardisation des noms/emails) et la génération de paires d'identités. Une stratégie de blocage utilisant des heuristiques de chaînes à faible coût (ex. : similitude de Levenshtein) est employée pour filtrer les paires manifestement non correspondantes avant de les transmettre aux LLM ou aux modèles de ML.
• Environnement : Les expériences sont exécutées sur le supercalculateur "Roihu" (CSC, Finlande), utilisant une architecture hétérogène avec des superpuces NVIDIA GH200 Grace Hopper pour assurer une exécution scalable et une mesure précise du temps et de la consommation d'énergie.
• Analyse : Des tests d'hypothèses statistiques (test de McNemar pour les comparaisons de modèles, tests t appariés pour l'analyse des coûts et des caractéristiques) seront menés à un seuil de signification de $\alpha = 0,05$. La précision est la métrique primaire, le rappel et le score F1 servant d'indicateurs complémentaires.

Contributions clés
Le papier propose de livrer les éléments suivants :

• Une évaluation empirique systématique des LLM pour l'identification des identités de développeurs dupliqués dans l'OSS.
• Une évaluation comparative des approches basées sur le ML classique entraînées sur des données curatées par des LLM, se concentrant sur la précision, la scalabilité et l'efficacité computationnelle.
• Une analyse des compromis entre la consommation de temps/énergie dans les solutions basées sur les LLM versus les solutions basées sur le ML.
• Une investigation sur la manière dont le volume de données d'entraînement impacte la précision de la résolution d'identité par le ML.
• Une évaluation de savoir si la similitude de l'activité des développeurs (similitude cosinus) améliore la qualité de la détection.
• Un protocole expérimental et un package de réplication réutilisables et ouverts pour soutenir de futures études d'extraction socio-techniques.

Revendications et importance
Les auteurs positionnent ce travail comme la première tentative d'appliquer les modèles de langage de grande taille au problème spécifique de l'identification des développeurs uniques dans les projets OSS. L'importance de l'étude réside dans son potentiel à renforcer les fondements méthodologiques de la recherche sur l'architecture logicielle centrée sur le développeur. En fournissant un pipeline de déduplication scalable, précis et sensible à l'énergie, l'étude vise à résoudre une limitation critique dans l'analyse architecturale actuelle, garantissant que des métriques telles que le couplage et la cohésion ne soient pas faussées par le bruit d'identité. L'objectif ultime est de clarifier quelles solutions offrent le meilleur compromis entre précision et coût, permettant ainsi une extraction plus fiable des dépôts OSS à grande échelle.

Menaces pour la validité
Les auteurs reconnaissent que la notion de "doublon d'identité de développeur" repose sur le jugement humain, qui peut être subjectif pour les cas limites (ex. : noms communs). Pour atténuer cela, ils emploient une approche d'étiquetage conservatrice où l'incertitude entraîne un label "non-doublon", privilégiant la précision sur le rappel afin d'éviter les faux positifs qui pourraient fausser les métriques architecturales. De plus, ils notent que les modèles de ML entraînés sur des données curatées par des LLM peuvent hériter de biais systématiques des LLM, bien qu'ils se concentrent sur la comparaison de l'efficacité des gains du ML plutôt que sur une supériorité directe de performance sur les LLM.