Identifying unique developers in OSS projects: A family of models

Resumo Técnico: Identificando Desenvolvedores Únicos em Projetos OSS: Uma Família de Modelos

Declaração do Problema
A identificação precisa de desenvolvedores únicos é um pré-requisito fundamental para o cálculo de métricas de acoplamento organizacional e lógico em projetos de Software de Código Aberto (OSS). Em sistemas de controle de versão, as identidades dos desenvolvedores são derivadas de metadados de commits (nomes e e-mails), que frequentemente contêm inconsistências devido a mudanças de configuração, contas baseadas em funções ou convenções de nomenclatura informais. Quando a mesma pessoa natural aparece sob múltiplos pseudônimos, isso introduz ruído sistemático em redes de colaboração e medições de acoplamento, podendo distorcer interpretações arquiteturais e conclusões empíricas. Embora a literatura existente muitas vezes trate a desduplicação de identidade de forma heurística, manualmente em conjuntos de dados pequenos, ou a omita inteiramente, há uma carência crítica de mecanismos de resolução escaláveis, precisos e reprodutíveis para a mineração de larga escala de OSS.

Metodologia
Este relatório registrado descreve um estudo empírico sistemático projetado para avaliar e comparar abordagens de Grandes Modelos de Linguagem (LLMs) e Aprendizado de Máquina (ML) clássico para a desduplicação de identidade de desenvolvedores. O estudo está estruturado em torno de três Questões de Pesquisa (RQs) primárias:

1. Eficácia de LLM (RQ1): O estudo investiga se os LLMs podem identificar de forma confiável identidades duplicadas de desenvolvedores ao aproveitar informações contextuais e semânticas que vão além das heurísticas tradicionais baseadas em strings. Múltiplos LLMs atuarão como tomadores de decisão independentes, recebendo pares de (nome, e-mail) para determinar se pertencem à mesma pessoa natural. Especialistas humanos validarão um subconjunto amostrado estatisticamente desses resultados para estabelecer uma verdade fundamental (ground truth) para a avaliação de precisão.
2. Escalabilidade e Eficiência de ML (RQ2): O estudo visa treinar e avaliar modelos de ML clássicos (incluindo bibliotecas de vinculação de registros, similaridade de strings e abordagens de embedding de strings) utilizando os dados rotulados curados pelos LLMs. Esta fase avalia:
   • Se os modelos de ML podem identificar efetivamente duplicatas (RQ2.1).
   • Se as abordagens de ML oferecem eficiência superior de tempo e energia em comparação aos LLMs para mineração de larga escala (RQ2.2).
   • A relação entre o volume de dados de treinamento e a precisão do modelo (RQ2.3).
3. Aumento de Características (RQ3): O estudo avalia se a incorporação da similaridade de cosseno derivada dos perfis de atividade dos desenvolvedores (históricos de modificação de arquivos) melhora a qualidade da identificação de duplicatas tanto para abordagens de LLM quanto de ML.

Contexto e Execução do Estudo

• Fonte de Dados: O contexto primário é o repositório do kernel Linux, escolhido por sua escala (mais de 1 milhão de commits, 15.000 contribuidores) e base diversificada de colaboradores. Caso sejam encontrados casos de duplicatas insuficientes, outros projetos de OSS de larga escala serão minerados.
• Pipeline de Dados: O processo envolve a coleta de metadados de commits, pré-processamento (padronização de nomes/e-mails) e geração de pares de identidade. Uma estratégia de bloqueio (blocking) usando heurísticas de string de baixo custo (ex: similaridade de Levenshtein) é empregada para filtrar pares obviamente não correspondentes antes de passá-los para LLMs ou modelos de ML.
• Ambiente: Os experimentos são executados no supercomputador "Roihu" (CSC, Finlândia), utilizando uma arquitetura heterogênea com superchips NVIDIA GH200 Grace Hopper para garantir execução escalável e medição precisa de consumo de tempo e energia.
• Análise: Testes de hipóteses estatísticas (teste de McNemar para comparações de modelos, testes t pareados para análise de custo e características) serão conduzidos em um nível de significância de $\alpha = 0,05$. A precisão é a métrica primária, com precisão (recall) e F1 sendo indicadores complementares.

Principais Contribuições
O artigo propõe entregar o seguinte:

• Uma avaliação empírica sistemática de LLMs para identificação de identidade de desenvolvedor duplicado em OSS.
• Uma avaliação comparativa de abordagens baseadas em ML clássico treinadas em dados curados por LLM, focando em precisão, escalabilidade e eficiência computacional.
• Uma análise dos compromissos (trade-offs) entre consumo de tempo/energia em soluções baseadas em LLM versus ML.
• Uma investigação sobre como o volume de dados de treinamento impacta a precisão da resolução de identidade baseada em ML.
• Uma avaliação de se a similaridade de atividade do desenvolvedor (similaridade de cosseno) aumenta a qualidade da detecção.
• Um protocolo experimental reutilizável e um pacote de replicação abertos para apoiar futuros estudos de mineração sócio-técnica.

Alegações e Significância
Os autores posicionam este trabalho como a primeira tentativa de aplicar Grandes Modelos de Linguagem ao problema específico de identificação de desenvolvedor único em projetos de OSS. A significância do estudo reside em seu potencial para fortalecer as fundações metodológicas da pesquisa de arquitetura de software centrada no desenvolvedor. Ao fornecer um pipeline de desduplicação escalável, preciso e consciente de energia, o estudo visa resolver uma limitação crítica na análise arquitetural atual, garantindo que métricas como acoplamento e coesão não sejam distorcidas pelo ruído de identidade. O objetivo final é esclarecer quais soluções oferecem o melhor equilíbrio entre precisão e custo, permitindo assim uma mineração de repositórios OSS de larga escala mais confiável.

Ameaças à Validade
Os autores reconhecem que a "identidade de desenvolvedor duplicada" depende do julgamento humano, que pode ser subjetivo para casos limítrofes (ex: nomes comuns). Para mitigar isso, eles empregam uma abordagem de rotulagem conservadora onde a incerteza resulta em um rótulo de "não duplicata", priorizando a precisão sobre a revocação (recall) para evitar falsos positivos que possam distorcer as métricas arquiteturais. Adicionalmente, observam que modelos de ML treinados em dados curados por LLMs podem herdar vieses sistemáticos dos LLMs, embora foquem sua comparação nos ganhos de eficiência do ML em vez da superioridade direta de desempenho sobre os LLMs.