Identifying unique developers in OSS projects: A family of models

Sintesi Tecnica: Identificazione di Sviluppatori Unici in Progetti OSS: Una Famiglia di Modelli

Enunciato del Problema
L'identificazione accurata di sviluppatori unici è un prerequisito fondamentale per il calcolo delle metriche di accoppiamento organizzativo e logico nei progetti Open Source Software (OSS). Nei sistemi di controllo versione, le identità degli sviluppatori sono derivate dai metadati dei commit (nomi ed email), che spesso contengono incongruenze dovute a cambiamenti di configurazione, account basati su ruoli o convenzioni di denominazione informali. Quando la stessa persona fisica appare sotto più alias, si introduce un rumore sistematico nelle reti di collaborazione e nelle misurazioni di accoppiamento, potenzialmente distorcendo le interpretazioni architettoniche e le conclusioni empiriche. Mentre la letteratura esistente tratta spesso la de-duplicazione delle identità in modo euristico, manualmente su piccoli dataset, o la omette del tutto, esiste una carenza critica di meccanismi di risoluzione scalabili, precisi e riproducibili per il mining su larga scala di OSS.

Metodologia
Questo rapporto registrato delinea uno studio empirico sistematico progettato per valutare e confrontare i modelli di linguaggio di grandi dimensioni (LLM) e gli approcci di Machine Learning (ML) classico per la de-duplicazione delle identità degli sviluppatori. Lo studio è strutturato attorno a tre domande di ricerca (RQ) primarie:

1. Efficacia degli LLM (RQ1): Lo studio indaga se gli LLM possano identificare in modo affidabile le identità duplicate degli sviluppatori sfruttando informazioni contestuali e semantiche che vanno oltre le tradizionali euristiche basate su stringhe. Molteplici LLM agiranno come decisori indipendenti, ricevendo coppie di (nome, email) per determinare se appartengano alla stessa persona fisica. Esperti umani valideranno un sottoinsieme campionato statisticamente di questi output per stabilire una verità di base (ground truth) per la valutazione della precisione.
2. Scalabilità ed Efficienza del ML (RQ2): Lo studio mira a addestrare e valutare modelli di ML classico (inclusi librerie di record linkage, similitudine tra stringhe e approcci di embedding di stringhe) utilizzando i dati etichettati curati dagli LLM. Questa fase valuta:
   • Se i modelli ML possono identificare efficacemente i duplicati (RQ2.1).
   • Se gli approcci ML offrono una superiore efficienza temporale ed energetica rispetto agli LLM per il mining su larga scala (RQ2.2).
   • La relazione tra il volume dei dati di addestramento e la precisione del modello (RQ2.3).
3. Augmentation delle Feature (RQ3): Lo studio valuta se l'incorporazione della similitudine del coseno derivata dai profili di attività degli sviluppatori (storia di modifica dei file) migliori la qualità dell'identificazione dei duplicati sia per gli approcci LLM che per quelli ML.

Contesto dello Studio ed Esecuzione

• Fonte dei Dati: Il contesto primario è il repository del kernel Linux, scelto per la sua scala (oltre 1 milione di commit, 15.000 contributori) e la diversità della base di contributori. Qualora venissero trovati casi di duplicazione insufficienti, verranno estratti altri progetti OSS su larga scala.
• Pipeline dei Dati: Il processo prevede la raccolta dei metadati dei commit, il pre-processing (standardizzazione di nomi/email) e la generazione di coppie di identità. Viene impiegata una strategia di blocking utilizzando euristiche di similitudine tra stringhe a basso costo (es. Levenshtein similarity) per filtrare le coppie palesemente non corrispondenti prima di passarle a LLM o ML.
• Ambiente: Gli esperimenti sono eseguiti sul supercomputer "Roihu" (CSC, Finlandia), utilizzando un'architettura eterogenea con superchip NVIDIA GH200 Grace Hopper per garantire un'esecuzione scalabile e una misurazione accurata del tempo e del consumo energetico.
• Analisi: Test di ipotesi statistica (test di McNemar per i confronti tra modelli, t-test accoppiati per l'analisi di costi e feature) saranno condotti con un livello di significatività di $\alpha = 0,05$. La precisione è la metrica primaria, mentre recall e punteggi F1 sono indicatori complementari.

Contributi Chiave
Il documento propone di fornire i seguenti elementi:

• Una valutazione empirica sistematica degli LLM per l'identificazione delle identità duplicate degli sviluppatori in OSS.
• Una valutazione comparativa degli approcci basati su ML classico addestrati su dati curati da LLM, focalizzandosi su precisione, scalabilità ed efficienza computazionale.
• Un'analisi dei trade-off tra il consumo di tempo/energia nelle soluzioni basate su LLM rispetto a quelle basate su ML.
• Un'indagine su come il volume dei dati di addestramento influenzi la precisione della risoluzione delle identità basata su ML.
• Una valutazione se la similitudine dell'attività dello sviluppatore (similitudine del coseno) migliori la qualità del rilevamento.
• Un protocollo sperimentale riutilizzabile e un pacchetto di replicazione accessibili pubblicamente per supportare futuri studi di mining socio-tecnico.

Affermazioni e Significato
Gli autori posizionano questo lavoro come il primo tentativo di applicare i modelli di linguaggio di grandi dimensioni al problema specifico dell'identificazione di sviluppatori unici nei progetti OSS. La significatività dello studio risiede nel suo potenziale di rafforzare le fondamenta metodologiche della ricerca sull'architettura del software centrata sullo sviluppatore. Fornendo una pipeline di de-duplicazione scalabile, accurata e consapevole dei consumi energetici, lo studio mira a risolvere un limite critico nell'attuale analisi architettonica, garantendo che metriche come accoppiamento e coesione non siano distorte dal rumore delle identità. L'obiettivo finale è chiarire quali soluzioni offrano il miglior compromesso tra accuratezza e costo, consentendo così un mining più affidabile dei repository OSS su larga scala.

Minacce alla Validità
Gli autori riconoscono che la "identità duplicata dello sviluppatore" dipende dal giudizio umano, che può essere soggettivo per i casi limite (es. nomi comuni). Per mitigare ciò, impiegano un approccio di etichettatura conservativo in cui l'incertezza risulta in un'etichetta di "non-duplicato", dando priorità alla precisione rispetto alla recall per evitare falsi positivi che potrebbero distorcere le metriche architettoniche. Inoltre, notano che i modelli ML addestrati su dati curati da LLM possono ereditare bias sistematici dagli LLM, sebbene si concentrino il loro confronto sui guadagni di efficienza del ML piuttosto che sulla diretta superiorità delle prestazioni rispetto agli LLM.