Identifying unique developers in OSS projects: A family of models

Resumen Técnico: Identificación de Desarrolladores Únicos en Proyectos OSS: Una Familia de Modelos

Planteamiento del Problema
La identificación precisa de desarrolladores únicos es un requisito previo fundamental para computar métricas de acoplamiento organizacional y lógico en proyectos de Software de Código Abierto (OSS). En los sistemas de control de versiones, las identidades de los desarrolladores se derivan de los metadatos de los commits (nombres y correos electrónicos), que a menudo contienen inconsistencias debido a cambios de configuración, cuentas basadas en roles o convenciones de nomenclatura informales. Cuando la misma persona natural aparece bajo múltiples alias, esto introduce ruido sistemático en las redes de colaboración y en las mediciones de acoplamiento, lo que puede distorsionar las interpretaciones arquitectónicas y las conclusiones empíricas. Mientras que la literatura existente a menudo trata la deduplicación de identidades de forma heurística, manualmente en conjuntos de datos pequeños, u omite este proceso por completo, existe una falta crítica de mecanismos de resolución escalables, precisos y reproducibles para la minería de OSS a gran escala.

Metodología
Este reporte registrado describe un estudio empírico sistemático diseñado para evaluar y comparar el uso de Modelos de Lenguaje de Gran Escala (LLMs) y enfoques de Aprendizaje Automático (ML) clásico para la deduplicación de identidad de desarrolladores. El estudio se estructura en torno a tres Preguntas de Investigación (RQs) principales:

1. Eficacia de los LLM (RQ1): El estudio investiga si los LLMs pueden identificar de manera confiable identidades de desarrolladores duplicadas aprovechando información contextual y semántica más allá de las heurísticas tradicionales basadas en cadenas de texto. Múltiples LLMs actuarán como decisores independientes, recibiendo pares de (nombre, correo electrónico) para determinar si pertenecen a la misma persona natural. Expertos humanos validarán un subconjunto muestreado estadísticamente de estos resultados para establecer una verdad de campo (ground truth) para la evaluación de la precisión.
2. Escalabilidad y Eficiencia de ML (RQ2): El estudio pretende entrenar y evaluar modelos de ML clásicos (incluyendo librerías de vinculación de registros, similitud de cadenas y enfoques de incrustación de cadenas o embeddings) utilizando los datos etiquetados y curados por los LLMs. Esta fase evalúa:
   • Si los modelos de ML pueden identificar duplicados de manera efectiva (RQ2.1).
   • Si los enfoques de ML ofrecen una eficiencia de tiempo y energía superior en comparación con los LLMs para la minería a gran escala (RQ2.2).
   • La relación entre el volumen de datos de entrenamiento y la precisión del modelo (RQ2.3).
3. Aumentación de Características (RQ3): El estudio evalúa si la incorporación de la similitud de coseno derivada de los perfiles de actividad de los desarrolladores (historiales de modificación de archivos) mejora la calidad de la identificación de duplicados tanto para los enfoques de LLM como de ML.

Contexto y Ejecución del Estudio

• Fuente de Datos: El contexto primario es el repositorio del kernel de Linux, elegido por su escala (más de 1 millón de commits, 15,000 contribuyentes) y su base de contribuyentes diversa. Si no se encuentran suficientes casos de duplicidad, se minarán proyectos de OSS adicionales a gran escala.
• Pipeline de Datos: El proceso implica la recolección de metadatos de commits, preprocesamiento (estandarización de nombres/correos electrónicos) y generación de pares de identidad. Se emplea una estrategia de bloqueo (blocking) utilizando heurísticas de cadenas de bajo costo (por ejemplo, similitud de Levenshtein) para filtrar pares que son obviamente no coincidentes antes de pasarlos a los LLMs o modelos de ML.
• Entorno: Los experimentos se ejecutan en el supercomputador "Roihu" (CSC, Finlandia), utilizando una arquitectura heterogénea con superchips NVIDIA GH200 Grace Hopper para asegurar una ejecución escalable y una medición precisa del tiempo y el consumo de energía.
• Análisis: Se realizarán pruebas de hipótesis estadísticas (prueba de McNemar para comparaciones de modelos, pruebas t de muestras pareadas para análisis de costos y características) con un nivel de significancia de $\alpha = 0.05$. La precisión es la métrica principal, siendo el recall y la puntuación F1 indicadores complementarios.

Contribuciones Clave
El artículo propone entregar lo siguiente:

• Una evaluación empírica sistemática de los LLMs para la identificación de identidades de desarrolladores duplicados en OSS.
• Una evaluación comparativa de los enfoques basados en ML clásico entrenados con datos curados por LLMs, centrándose en la precisión, la escalabilidad y la eficiencia computacional.
• Un análisis de las compensaciones (trade-offs) entre el consumo de tiempo/energía en soluciones basadas en LLM frente a soluciones basadas en ML.
• Una investigación sobre cómo el volumen de datos de entrenamiento impacta la precisión de la resolución de identidad basada en ML.
• Una evaluación de si la similitud de la actividad del desarrollador (similitud de coseno) mejora la calidad de la detección.
• Un protocolo experimental y un paquete de replicación reutilizables y de acceso abierto para apoyar futuros estudios de minería socio-técnica.

Reclamaciones y Significación
Los autores posicionan este trabajo como el primer intento de aplicar Modelos de Lenguaje de Gran Escala al problema específico de la identificación de desarrolladores únicos en proyectos de OSS. La significación del estudio radica en su potencial para fortalecer los fundamentos metodológicos de la investigación de la arquitectura de software centrada en el desarrollador. Al proporcionar un pipeline de deduplicación escalable, preciso y consciente del consumo energético, el estudio pretende resolver una limitación crítica en la investigación arquitectónica actual, asegurando que métricas como el acoplamiento y la cohesión no se vean distorsionadas por el ruido de identidad. El objetivo final es aclarar qué soluciones ofrecen el mejor equilibrio entre precisión y costo, permitiendo así una minería de repositorios de OSS más confiable y a gran escala.

Amenazas a la Validez
Los autores reconocen que la "identidad de desarrollador duplicada" depende del juicio humano, lo cual puede ser subjetivo para casos limítrofes (por ejemplo, nombres comunes). Para mitigar esto, emplean un enfoque de etiquetado conservador donde la incertidumbre resulta en una etiqueta de "no duplicado", priorizando la precisión sobre el recall para evitar falsos positivos que podrían distorsionar las métricas arquitectónicas. Adicionalmente, señalan que los modelos de ML entrenados con datos curados por LLMs pueden heredar sesgos sistemáticos de los LLMs, aunque su comparación se centra en las ganancias de eficiencia de ML en lugar de una superioridad directa de rendimiento sobre los LLMs.