Identifying unique developers in OSS projects: A family of models

기술 요약: OSS 프로젝트 내 고유 개발자 식별: 모델 패밀리 연구

문제 정의
고유한 개발자를 정확하게 식별하는 것은 오픈 소스 소프트웨어(OSS) 프로젝트의 조직적 및 논리적 결합도(coupling) 지표를 계산하기 위한 필수적인 전제 조건이다. 버전 관리 시스템에서 개발자 신원은 커밋 메타데이터(이름 및 이메일)로부터 도출되는데, 이는 설정 변경, 역할 기반 계정 또는 비공식적인 명명 규칙으로 인해 불일치가 발생하는 경우가 많다. 동일한 자연인이 여러 개의 별칭(alias)으로 나타날 때, 이는 협업 네트워크와 결합도 측정에 체계적인 노이즈를 유입시켜 건축적 해석과 실증적 결론을 왜곡할 가능성이 있다. 기존 문헌에서는 이러한 신원 중복 제거(de-duplication)를 휴리스틱하게 처리하거나, 소규모 데이터셋에 대해 수동으로 수행하거나, 혹은 아예 생략하는 경우가 많으나, 대규모 OSS 마이닝을 위한 확장 가능하고 정밀하며 재현 가능한 해결 메커니는 현재 매우 부족한 실정이다.

연구 방법론
본 등록 보고서(registered report)는 개발자 신원 중복 제거를 위해 거대 언어 모델(LLM)과 고전적 머신러닝(ML) 접근 방식을 평가하고 비교하기 위해 설계된 체계적인 실증 연구를 개요한다. 본 연구는 세 가지 주요 연구 질문(RQ)을 중심으로 구조화된다:

1. LLM 효능 (RQ1): 본 연구는 LLM이 전통적인 문자열 기반 휴리스틱을 넘어 맥락적 및 의미론적 정보를 활용하여 중복된 개발자 신원을 신뢰성 있게 식별할 수 있는지 조사한다. 다수의 LLM은 독립적인 결정자로 작용하며, (이름, 이메일) 쌍을 전달받아 이들이 동일한 자연인인지 여부를 판별한다. 인간 전문가가 통계적으로 샘플링된 출력값의 일부를 검증함으로써 정밀도(precision) 평가를 위한 그라운드 트루스(ground truth)를 구축한다.
2. ML 확장성 및 효율성 (RQ2): 본 연구는 LLM이 레이블링한 데이터를 사용하여 고전적 ML 모델(레코드 링크 라이브러리, 문자열 유사도, 문자열 임베딩 방식 포함)을 학습시키고 평가하는 것을 목표로 한다. 이 단계에서는 다음을 평가한다:
   • ML 모델이 중복을 효과적으로 식별할 수 있는가 (RQ2.1).
   • ML 접근 방식이 대규모 마이닝 시 LLM에 비해 시간 및 에너지 효율성 측면에서 우위에 있는가 (RQ2.2).
   • 학습 데이터의 양과 모델 정밀도 사이의 관계는 무엇인가 (RQ2.3).
3. 특징 증강 (RQ3): 본 연구는 개발자의 활동 프로필(파일 수정 이력)에서 도출된 코사인 유사도를 통합하는 것이 LLM 및 ML 접근 방식 모두의 중복 식별 품질을 향상시키는지 평가한다.

연구 맥락 및 실행

• 데이터 소스: 주요 맥락은 리눅스 커널(Linux kernel) 저장소이며, 이는 규모(100만 개 이상의 커밋, 15,000명의 기여자)와 다양한 기여자 층을 고려하여 선택되었다. 만약 중복 사례가 충분하지 않을 경우, 추가적인 대규모 OSS 프로젝트를 마이닝할 예정이다.
• 데이터 파이프라인: 프로세스는 커밋 메타데이터 수집, 전처리(이름/이메일 표준화), 그리고 신원 쌍 생성 과정을 포함한다. LLM이나 ML 모델에 전달하기 전, 저비용 문자열 휴리스틱(예: 레벤슈타인 유사도)을 사용하는 블로킹(blocking) 전략을 채택하여 명백히 일치하지 않는 쌍을 필터링한다.
• 환경: 실험은 핀란드 CSC의 "Roihu" 슈퍼컴퓨터에서 실행되며, 확장 가능한 실행과 시간 및 에너지 소비량의 정확한 측정을 보장하기 위해 NVIDIA GH200 Grace Hopper 슈퍼칩을 활용한 이종 아키텍처를 사용한다.
• 분석: 모델 비교를 위한 McNemar 테스트, 비용 및 특징 분석을 위한 대응 표본 t-검정(paired t-test) 등의 통계적 가설 검정이 유의 수준 $\alpha = 0.05$에서 수행될 것이다. 정밀도(Precision)가 주요 지표이며, 재현율(Recall)과 F1 점수는 보완적 지표로 사용된다.

핵심 기여
본 논문은 다음과 같은 성과를 제공하고자 한다:

• OSS 내 중복 개발자 신원 식별을 위한 LLM의 체계적인 실증적 평가.
• LLM이 큐레이션한 데이터를 사용하여 학습된 고전적 ML 기반 접근 방식의 정밀도, 확장성 및 계산 효율성에 대한 비교 평가.
• LLM 기반 솔루션과 ML 기반 솔루션 간의 시간/에너지 소비 트레이드오프 분석.
• 학습 데이터의 양이 ML 기반 신원 해결의 정밀도에 미치는 영향에 대한 조사.
• 개발자 활동 유사도(코사인 유사도)가 탐지 품질을 향상시키는지에 대한 평가.
• 향후 사회-기술적(socio-technical) 마이닝 연구를 지원하기 위한 재사용 가능한 개방형 실험 프로토콜 및 복제 패키지 제공.

주장 및 의의
저자들은 본 연구를 OSS 프로젝트의 고유 개발자 식별 문제에 거대 언어 모델을 적용하는 첫 번째 시도로 규정한다. 본 연구의 의의는 개발자 중심의 소프트웨어 아키텍처 연구에 대한 방법론적 토대를 강화할 수 있다는 점에 있다. 중복 제거를 위한 확장 가능하고 정확하며 에너지 효율적인 파이프라인을 제공함으로써, 본 연구는 결합도(coupling)나 응집도(cohesion)와 같은 지표가 신원 노이즈에 의해 왜곡되지 않도록 하는 것을 목표로 한다. 궁극적인 목표는 어떤 솔루션이 정확도와 비용 사이에서 최적의 균형을 제공하는지 명확히 하여, 보다 신뢰할 수 있는 대규모 OSS 저장소 마이닝을 가능하게 하는 것이다.

타당성 위협
저자들은 "중복 개발자 신원"이 인간의 판단에 의존하며, 경계선에 있는 사례(예: 흔한 이름)의 경우 주관적일 수 있음을 인정한다. 이를 완화하기 위해 불확정적인 경우 "비중복(non-duplicate)" 레이블을 부여하는 보수적인 레이블링 방식을 채택하여, 아키텍처 지표를 왜곡할 수 있는 거짓 양성(false positive)을 방지하고 정밀도를 우선시한다. 또한, LLM이 큐레이션한 데이터로 학습된 ML 모델은 LLM으로부터 체계적인 편향을 물려받을 수 있음을 언급하지만, 비교의 초점은 LLM보다 직접적인 성능 우위보다는 ML의 효율성 이득에 둔다.