Identifying unique developers in OSS projects: A family of models

Technische Samenvatting: Identificatie van Unieke Ontwikkelaars in OSS-projecten: Een Familie van Modellen

Probleemstelling
De nauwkeurige identificatie van unieke ontwikkelaars is een fundamentele voorwaarde voor het berekenen van organisatorische en logische koppelingmetrieken in Open Source Software (OSS) projecten. In versiebeheersystemen worden identiteiten van ontwikkelaars afgeleid van commit-metadata (namen en e-mailadressen), die vaak inconsistenties bevatten door wijzigingen in configuraties, rollengebaseerde accounts of informele naamconventies. Wanneer dezelfde natuurlijke persoon onder meerdere aliassen verschijnt, introduceert dit systematische ruis in collaboratienetwerken en koppelingmetingen, wat architecturale interpretaties en empirische conclusies potentieel kan verstoren. Hoewel de bestaande literatuur de de-duplicatie van identiteiten vaak heuristisch behandelt, handmatig op kleine datasets, of het geheel weglaat, is er een kritiek gebrek aan schaalbare, precieze en reproduceerbare resolutiemechanismen voor grootschalige OSS-mining.

Methodologie
Dit geregistreerde rapport schetst een systematische empirische studie die is ontworpen om Large Language Models (LLMs) en klassieke Machine Learning (ML) benaderingen voor de de-duplicatie van ontwikkelaarsidentiteiten te evalueren en te vergelijken. De studie is gestructureerd rond drie primaire Onderzoeksvragen (RQs):

1. LLM Effectiviteit (RQ1): De studie onderzoekt of LLMs betrouwbaar duplicerende ontwikkelaarsidentiteiten kunnen identificeren door gebruik te maken van contextuele en semantische informatie die verder gaat dan traditionele stringgebaseerde heuristieken. Meerdere LLMs zullen optreden als onafhankelijke besluitvormers, waarbij zij paren van (naam, e-mail) ontvangen om te bepalen of deze toebehoren aan dezelfde natuurlijke persoon. Menselijke experts zullen een statistisch gesamplede subset van deze outputs valideren om een grondwaarheid (ground truth) voor precisie-evaluatie vast te stellen.
2. ML Schaalbaarheid en Efficiëntie (RQ2): De studie beoogt klassieke ML-modellen (inclusief record linkage bibliotheken, string-gelijkenis en string-embedding benaderingen) te trainen en te evalueren met behulp van de gelabelde data die door de LLMs is gecureerd. Deze fase beoordeelt:
   • Of ML-modellen effectief duplicaten kunnen identificeren (RQ2.1).
   • Of ML-benaderingen een superieure tijd- en energie-efficiëntie bieden ten opzichte van LLMs voor grootschalige mining (RQ2.2).
   • De relatie tussen de omvang van de trainingsdata en de modelprecisie (RQ2.3).
3. Feature Augmentatie (RQ3): De studie evalueert of het incorporeren van cosinusgelijkenis afgeleid van de activiteitsprofielen van ontwikkelaars (geschiedenissen van bestandswijzigingen) de kwaliteit van de duplicatie-identificatie voor zowel LLM- als ML-benaderingen verbetert.

Studiecontext en Uitvoering

• Databron: De primaire context is de Linux kernel repository, gekozen vanwege de schaal (meer dan 1 miljoen commits, 15.000 bijdragers) en de diverse basis van bijdragers. Indien onvoldoende duplicerende gevallen worden gevonden, zullen aanvullende grootschalige OSS-projecten worden gemined.
• Datapijplijn: Het proces omvat het verzamelen van commit-metadata, preprocessing (standaardiseren van namen/e-mails), en het genereren van identiteitsparen. Een blocking-strategie met goedkope string-heuristieken (bijv. Levenshtein-gelijkenis) wordt toegepast om overduidelijk niet-overeenkomende paren te filteren voordat ze naar LLMs of ML-modellen worden doorgegeven.
• Omgeving: Experimenten worden uitgevoerd op de "Roihu" supercomputer (CSC, Finland), gebruikmakend van een heterogene architectuur met NVIDIA GH200 Grace Hopper superchips om schaalbare uitvoering en nauwkeurige meting van tijd en energieverbruik te garanderen.
• Analyse: Statistische hypothesetests (McNemar's test voor modelvergelijkingen, gepaarde t-tests voor kosten- en featureanalyse) zullen worden uitgevoerd op een significantieniveau van $\alpha = 0.05$. Precisie is de primaire metriek, waarbij recall en F1-scores als complementaire indicatoren dienen.

Kernbijdragen
Het artikel stelt voor het volgende te leveren:

• Een systematische empirische evaluatie van LLMs voor de identificatie van duplicerende ontwikkelaarsidentiteiten in OSS.
• Een vergelijkende beoordeling van klassieke ML-gebaseerde benaderingen getraind op door LLMs gecureerde data, met de focus op precisie, schaalbaarheid en computationele efficiëntie.
• Een analyse van de trade-offs tussen tijd/energieverbruik in LLM-gebaseerde versus ML-gebaseerde oplossingen.
• Een onderzoek naar hoe de omvang van de trainingsdata de precisie van ML-gebaseerde identificatie beïnvloedt.
• Een beoordeling van of de gelijkenis van ontwikkelaarsactiviteit (cosinusgelijkenis) de detectiekwaliteit verbetert.
• Een herbruikbaar, openbaar beschikbaar experimenteel protocol en replicatiepakket om toekomstige socio-technische miningstudies te ondersteunen.

Claims en Betekenis
De auteurs positioneren dit werk als de eerste poging om Large Language Models toe te passen op het specifieke probleem van unieke ontwikkelaarsidentificatie in OSS-projecten. De betekenis van de studie ligt in het potentieel om de methodologische fundamenten van ontwikkelaar-centrische softwarearchitectuur-onderzoek te versterken. Door een schaalbare, nauwkeurige en energiebewuste de-duplicatiepijplijn te bieden, beoogt de studie een kritieke beperking in huidige architecturale analyse op te lossen, waardoor metrieken zoals koppeling en cohesie niet worden verstoord door identiteitsruis. Het uiteindelijke doel is om te verhelderen welke oplossingen de beste balans bieden tussen nauwkeurigheid en kosten, om zo een meer betrouwbare grootschalige mining van OSS-repositories mogelijk te maken.

Bedreigingen voor de Validiteit
De auteurs erkennen dat "duplicerende ontwikkelaarsidentiteit" berust op menselijk oordeel, wat subjectief kan zijn voor grensgevallen (bijv. veelvoorkomende namen). Om dit te mitigeren, hanteren zij een conservatieve etiketteringsaanpak waarbij onzekerheid resulteert in een "niet-duplicat" label, waarbij de voorkeur wordt gegeven aan precisie boven recall om fout-positieven te vermijden die architecturale metrieken zouden kunnen verstoren. Daarnaast merken zij op dat ML-modellen getraind op door LLM's gecureerde data systematische biases van de LLM's kunnen erven, hoewel zij hun vergelijking richten op de efficiëntievoordelen van ML in plaats van directe prestatie-superioriteit ten opzichte van LLMs.