💻 computer science

Scaling Author Identity Disambiguation to the World of Code: A Methodology

이 논문은 구조적 그래프 컷(structural graph cuts)과 GitHub의 no-reply 식별자를 통해 학습된 에지별 분류기(per-edge classifier)를 결합함으로써 수백만 개의 정체성이 "메가 클러스터"로 과도하게 병합되는 문제를 해결하여, 세계의 코드(World of Code) 내 저자 식별 모호성 해소를 위한 확장 가능한 방법론을 제시하며, 정체성 해소의 확장성에 관한 핵심적인 교훈을 기록하는 동시에 최첨단 수준의 정밀도와 재현율을 달성한다.

원저자: Audris Mockus

게시일 2026-07-09

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Audris Mockus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 오픈 소스 소프트웨어의 전체 역사를 담은 "Who's Who" 디렉토리를 만들려고 한다고 상상해 보십시오. 수십억 개의 코드 커밋이 존재하지만, 그곳에 붙은 이름들은 엉망진창입니다. 어떤 사람은 "John Smith"로, 어떤 사람은 "J. Smith", 또 다른 사람은 "john.smith@work.com" 또는 "john.doe@personal.com"으로 기록되어 있을 수 있습니다. 때로는 서로 다른 사람들이 실수로 "admin"이나 "test"와 같은 일반적인 이름을 사용하기도 합니다.

이 논문의 목표는 거대한 퍼즐을 해결하는 것입니다: 어떻게 하면 이 엉망인 이름들을 낯선 사람들을 하나로 묶어버리는 실수 없이, 올바른 한 사람의 그룹으로 정확하게 묶을 수 있을 것인가?

연구진들은 약 60억 개의 커밋과 1억 7백만 개의 고유한 작성자 문자열을 포함하는 "World of Code"라는 데이터셋을 위해 이 문제를 해결했습니다.

다음은 이들이 이 문제를 어떻게 해결했는지, 쉬운 비유를 들어 설명하는 이야기입니다.

문제점: "메가 클러스터(Mega-Cluster)" 괴물

규모가 작은 프로젝트에서는 연결을 놓치는 것(두 이름이 동일 인물임을 알아차리지 못하는 것)이 주요 걱정거리입니다. 하지만 이처럼 거대한 규모에서는 문제가 정반대로 바뀝니다. 바로 **과잉 병합(over-merging)**의 위험입니다.

모두가 친구를 찾으려 노력하는 파티를 상상해 보십시오. 만약 "브릿지 밥(Bridge Bob)"이라는 사람이 모든 사람과 친구라면, 그리고 당신이 모든 사람에게 아는 사람과 손을 잡으라고 지시한다면, 곧 파티장의 모든 사람이 하나의 거대하고 뒤엉킨 원을 그리며 손을 잡게 될 것입니다.

코드의 세계에서 "브릿지 밥"은 일반적인 이메일 주소(예: noreply@github.com 또는 test@test.com과 같은 자리 표시자)나 수천 명의 서로 다른 사람들이 사용하는 봇 계정입니다. 시스템이 주의를 기울이지 않으면, "앨리스"가 test@test.com을 사용했고 "밥"도 test@test.com을 사용했다는 것을 보고 앨리스와 밥을 동일 인물이라고 가정합니다. 그런 다음 이들을 해당 이메일을 사용한 다른 모든 사람과 연결해 버립니다.

그 결과, 수백만 명의 무관한 사람들이 하나의 거대한 덩어리로 합쳐진 **"메가 클러스터"**가 발생합니다. 연구진의 첫 번째 시도에서 그들은 17만 명의 사람들이 포함된 하나의 클러스터를 만들었습니다(이전 버전에서는 300만 명의 클러스터가 만들어지기도 했습니다). 이는 마치 소도시 전체의 인구가 사실은 단 한 명이라고 말하는 것과 같습니다.

실패한 시도들: 매듭을 끊으려는 노력

팀은 이 거대한 덩어리가 형성되는 것을 막기 위해 여러 방법을 시도했지만, 대부분 실패했습니다.

"희귀성(Rarity)" 관문: 그들은 너무 흔한 이메일 주소를 차단하려고 했습니다. 하지만 이것은 둔탁한 망치와 같았습니다. 단순히 흔한 이름을 사용하는 실제 사용자들까지 너무 많이 차단해 버렸습니다.
"프로젝트 확산(Project Spread)" 관문: 그들은 (봇이라고 생각하여) 너무 많은 프로젝트에서 작업하는 사람들을 차단하려 했습니다. 하지만 실제 개발자 중에도 많은 프로젝트에서 작업하는 사람이 있고, 봇 중에도 단 하나의 프로젝트만 수행하는 것이 있습니다. 이 방법은 충분히 효과적이지 않았습니다.
"차수(Degree)" 관문: 그들은 다른 사람들과 너무 많이 연결된 사람들을 차단하려고 했습니다. 이것은 도움이 되었지만, 양파 껍질을 한 겹씩 벗겨내는 것과 같았습니다. 나쁜 연결의 상위 레이어를 제거하면, 바로 그 아래에 또 다른 나쁜 연결 레이어가 있어 거대한 덩어리는 여전히 온전하게 유지되었습니다.

그들은 단순히 "나쁜" 이름을 차단하는 것만으로는 부족하다는 것을 깨달았습니다. 왜냐하면 나쁜 이름들이 중복된 메쉬(redundant mesh) 구조로 엮여 있었기 때문입니다. 실 하나를 끊더라도 다른 실들이 매듭을 계속 유지하고 있었습니다.

해결책: 2단계 수술

연구진은 접근 방식을 "나쁜 사람을 차단하는 것"에서 "특정한 매듭을 끊는 것"으로 바꿔야 한다는 것을 깨달았습니다.

1단계: 구조적 절단 (하중을 견디는 기둥 찾기)

그들은 누구인지가 아니라 연결의 형태를 보았습니다. 그들은 데이터를 다리(bridge)처럼 취급했습니다.

비유: 현수교를 상상해 보십시오. 도로 위의 무작위한 자갈 하나를 제거한다고 해서 다리가 무너지지는 않습니다. 하지만 주요 지지 케이블을 제거하면 다리는 붕괴합니다.
실행: 그들은 **매개 중심성(Betweenness Centrality)**이라는 수학적 도구를 사용하여 거대한 덩어리의 "주요 지지 케이블"을 찾았습니다. 이들은 거대 클러스터를 작고 무해한 조각들로 산산조각 낼 수 있는 특정 신원들이었습니다.
결과: 그들은 거대한 덩어리를 유지하고 있던 단 2,000개의 특정 "브릿지" 신원을 식별해 냈습니다. 이 2,000개의 노드를 제거하자 17만 명의 괴물이 수천 개의 작고 관리 가능한 그룹으로 분해되었습니다.

2단계: 스마트 필터 (에지 분류기)

거대한 절단 작업 이후에도, 여전히 비슷해 보이는 사람들(예를 들어 모두 이름이 "David"이거나 "Kim"인 그룹)의 중간 규모 그룹들이 남아 있었습니다.

비유: 섞여 있는 퍼즐 조각 더미를 가지고 있다고 상상해 보십시오. 큰 더미들은 분리했지만, 이제는 모두 "하늘색"처럼 보이는 작은 조각 더 더미들이 남았습니다. 이제 두 "하늘색" 조각이 실제로 서로 맞는지, 아니면 그냥 다른 그림에서 온 비슷한 색상인지 구별할 수 있는 똑똑한 눈이 필요합니다.
실행: 그들은 수백만 개의 사례로 학습된 **머신러닝 분류기(스마트 필터)**를 구축했습니다. 그들은 영리한 트릭을 사용했는데, 바로 "GitHub No-Reply" 이메일을 채굴한 것입니다. 이 이메일들에는 서로 달라 보이는 두 이름이 실제로는 동일한 GitHub 계정에 속한다는 것을 증명하는 숨겨된 숫자가 포함되어 있습니다. 이를 통해 인간이 직접 라벨을 붙이지 않고도 "동일 인물"과 "다른 인물"에 대한 260만 개의 완벽한 무료 예시를 확보했습니다.
결과: 이 필터는 남은 작은 그룹들을 살펴보고, 올바른 연결은 유지하면서 잘못된 *특정 연결(edge)*만을 잘라냈습니다.

최종 결과: 깨끗한 지도

구조적 절단(거대 덩어리 분쇄)과 스마트 필터(작은 그룹 정리)를 결합함으로써, 그들은 엄청난 개선을 이루었습니다.

전: 가장 큰 그룹의 크기는 170,431명이었습니다.
후: 가장 큰 그룹의 크기는 7,000명 미만이 되었습니다.
정확도: 그들은 더 적은 실수를 하면서도(정밀도 향상) 더 많은 실제 연결을 정확히 찾아냈습니다(재현율이 44%에서 70%로 상승).

또한 그들은 마지막 단계로 **암호학적 서명(cryptographic signatures)**을 확인하는 과정을 추가했습니다. 문서에 찍힌 디지털 서명이 서명자를 증명하는 것처럼, 서로 다른 코드 커밋이 동일한 개인 키에 의해 서명되었는지 확인했습니다. 이는 그들의 작업이 맞는지 검증하는 "골드 스탠다드(표준)" 닻 역할을 했습니다.

핵심 교훈

이 논문은 거대한 데이터 퍼즐을 풀려는 모든 이들을 위해 몇 가지 핵심적인 교훈을 제시합니다.

나쁜 것을 차단하기보다 구조를 끊으십시오. 때로는 "나쁜" 항목을 차단하는 것만으로는 문제를 해결할 수 없습니다. 대신 그 엉망진창을 유지하고 있는 특정한 구조적 약점을 찾아야 합니다.
맥락이 중요합니다. "나쁜" 이메일은 어떤 사람에게는 프라이버시를 위한 선택일 수 있고, 다른 사람에게는 실수일 수 있습니다. 연결이 왜 존재하는지 이해해야 합니다.
벤치마크는 까다로울 수 있습니다. 단순히 얼마나 많은 연결을 찾았는지(재현율)만 측정하면 실수로 거대한 괴물을 만들 수 있습니다. 반대로 실수(정밀도)를 얼마나 줄였는지만 측정하면 실제 연결을 놓칠 수 있습니다. 두 가지를 동시에 측정해야 합니다.

요약하자면, 연구진은 60억 개의 코드 커밋이 얽힌 혼란스러운 웹을 구조적 수학과 스마트 필터링을 사용하여 풀어냈고, 거대하고 혼란스러운 괴물을 전 세계 개발자들의 깨끗하고 사용 가능한 지도로 탈바꿈시켰습니다.

기술 요약: 코드의 세계(World of Code)로 확장된 저자 식별 모호성 해소

문제 정의
본 논문은 "코드의 세계(World of Code, WoC)" 컬렉션 V2604 규모의 저자 식별(de-aliasing) 과제를 다룹니다. 이 데이터셋은 약 60억 개의 커밋에 걸쳐 약 1억 7백만 개의 고유한 저자 문자열로 구성되어 있습니다. 누락된 병합을 방지하는 것(재현율 극대화)에 집중했던 이전의 노력들과 달리, 이 규모에서 지배적인 실패 모드는 **과잉 병합(over-merge)**입니다. 봇, 역할 계정, 플레이스홀더 이메일, 다중 저자 커밋 필드와 같은 소수의 "브릿지 정체성(bridge identities)"이 서로 무관한 클러스터들을 하나의 "메가 클러스터(mega-clusters)"로 전이적으로 결합해 버립니다. 예를 들어, V2604의 초기 무조건적 합집합은 857,853개의 프로젝트에 걸친 170,431명의 멤버를 가진 단일 클러스터를 생성했으며, 이전 버전의 맵에는 3백만 명의 멤버를 가진 클러스터가 존재했습니다. 핵심 엔지니어링 과제는 적법한 병합을 희생하거나 재현율을 파괴하지 않으면서 이러한 메가 클러스터를 해체하는 것입니다.

방법론 및 실험 기록
본 논문은 배포된 설계로 이어진 실패 사례를 포함하여 총 20번의 실험에 대한 완전한 실험 기록을 문서화합니다. 방법론은 세 가지 뚜렷한 단계로 진화했습니다:

노드 수준 게이팅 및 속성 중립화 (실험 1–10):
- 초기 시도는 정보 점수, 프로젝트 확산도, 링크 차수에 기반한 노드 수준 게이트를 사용했습니다. 이는 재현율을 보존했지만, 메가 클러스터를 효율적으로 해체하는 데는 실패했습니다. 이는 임계값을 조이는 것이 단지 다음 단계의 중간 정도의 브릿지를 드러낼 뿐인 "느린 박리(slow-peel)" 메커니즘으로 작용했기 때문입니다.
- 실험 8–10에서는 "나쁜 고품질 속성"(Cloudflare relay 해시나 설정되지 않은 git 템플릿처럼 식별 가능한 것처럼 보이지만 의미론적으로는 비어 있는 값들)을 중립화하려고 시도했습니다. 이러한 속성을 소스에서 중립화하는 것은 재현율 측면에서 안전했지만, 불충분한 것으로 판명되었습니다. 메가 클러스터는 다수의 중간 품질의 값들이 형성한 중복된 메쉬(mesh)에 의해 유지되고 있었습니다. 하나의 용접 부위를 제거해도 메쉬는 그 주변으로 다시 닫혀버렸습니다.
- 핵심 발견: 단일 노드 수준의 신호나 속성 블랙리스트로는 재현율을 희생하지 않고 메가 클러스터를 해체할 수 없었습니다. 문제는 분석의 대상을 전환해야 함을 요구했습니다.
구조적 및 에지 수준 분석 (실험 11–12):
- 구조적 절단 (실험 11): 저자들은 정확한 합집합 그래프를 재구성하고 **매개 중심성(betweenness centrality)**을 적용하여 하중을 견디는 노드들을 식하여냈습니다. 이를 통해 메가 클러스터가 (특정 템플릿 문자열, 서비스 계정, 호모님 체인 등) 속성 기반 규칙으로는 거의 포착되지 않는(상위 브릿지의 98.4%가 차단된 속성을 보유하지 않음) 희소한 "브릿지" 노드들에 의해 유지되고 있음을 밝혀냈습니다. 상위 2,000개의 매개 중심성 노드를 제거하자, 적법한 재현율의 손실 없이 메가 클러스터가 170,431명에서 7,268명으로 해체되었습니다.
- 에지 수준 분류 (실험 12): 잔여 파편들(1k–10k 클러스터)은 주로 호모님 블록(예: "Kim" 또는 "David"와 같은 흔한 이름)으로 구성되었습니다. GitHub의 no-reply ID(숫자 ID가 일치하면 true match, 충돌하면 false link를 나타냄)에서 무료로 추출한 260만 개의 레이블된 쌍을 학습시킨 퍼-에지(per-edge) 로지스틱 분류기를 사용하여, 이 특정 파편 내의 에지들을 가지치기했습니다. 이 접근 방식은 분류기가 부적절하다고 판단한 에지만을 타겟팅하여, 남은 파편들을 깨뜨리면서도 재현율을 보존했습니다.
재현율 회복 및 외부 검증 (실험 13–18):
- 정밀도 메커니즘(구조적 절단 + 에지 가지치기)이 구축된 후, 시스템은 휴면 상태였던 Rule-3 싱글 레이어(교차 프로젝트 이름 싱글)를 안전하게 확장했습니다. 분류기로 필터링된 확장을 통해 3,080만 개의 에지를 추가하였고, 메가 클러스터를 재도입하지 않으면서 상당한 재현율을 회복했습니다.
- 외부 벤치마크: 최종 맵은 두 가지 벤치마크로 평가되었습니다:
  - ALFAA 골드 세트: 인간이 판정한 469k 쌍. 배포된 모델은 인간 레이블에 대해 0.987의 AUC를 달랐으며, 이는 GitHub-ID로부터의 학습 결과가 성공적으로 전이되었음을 보여줍니다.
  - GitHub 그라운드 트루스: 단일 저자 저장소로부터 추출한 2,140만 개의 에일리어스(alias)를 포함한 재현율 전용 벤치마크. 최종 맵은 이 프라이버시 보존형 글로벌 맥락에서 이전 모델들과 공개된 최신 기술(GitAuthority)보다 우수한 성능을 보였습니다.
- 최종 구성: 프로덕션 맵은 매개 중심성 절단, 잔여 호모님 파편의 에지 가지치기, 분류기 필터링된 싱글 확장, 그리고 GitHub 자체 계정 주장(same-ghid edges)을 결합합니다. 또한, 글로벌하게는 모호하지만 단일 프로젝트 내에서는 명확한 저품질 ID(일반적인 이름, 머신 로컬 주소)를 해결하기 위한 프로젝트 내부 레이어도 포함합니다.

주요 기여

기록으로서의 방법론: 본 논문은 실패 사례를 포함한 20번의 실험을 모두 보고하며, 구조적 절단과 에지 분류기가 왜 필요한지(노드 수준 게이트와 속성 블랙리스트는 메가 클러스터 문제를 해결할 수 없기 때문)를 입증합니다.
과잉 병합 진단: 저자들은 과잉 병합이 속성상으로는 깨끗하지만 구조적으로 하중을 견디는 "나쁜 고품질 속성"과 브릿지 정체성에 의해 발생함을 식별했습니다. 이들은 프라이버시 마스크(의도적 익명성, 절대 병합해서는 안 됨)와 호모님 기본값(우발적 충돌, 잠재적 재연결 가능)을 구분합니다.
대규모 무료 레이블: 본 논문은 원시 GitHub no-reply 이메일 문자열(숫자 ID 추출)로부터 260만 개의 레이블된 정체성 쌍을 비용 없이 채굴하여, 높은 정확도로 인간 판정에 전이되는 퍼-에지 분류기를 학습시키는 방법을 보여줍니다(AUC 0.987).
구성된 설계: 성공적인 해결은 특정 순서를 따릅니다: 정확한 합집합 그래프 재구성, 하중을 견디는 노드의 샘플링된 매개 중심성 절단, 잔여 호모님 파편의 에지 가지치기, 그리고 분류기 필터링된 교차 프로젝트 그룹 확장입니다.
외부 평가: 최종 맵은 골드 재현율 0.70(0.44에서 상승)과 정밀도 0.88을 달려냈으며, 가장 큰 클러스터를 170,431명에서 7,000명 미만으로 줄였습니다. 또한 2,100만 개의 에일리어스를 가진 GitHub 그라운드 트루스에서 이전의 글로벌 리졸버들을 능가했습니다.

결과 및 의의
WoC V2604를 위한 배포된 맵은 1억 680만 개의 저자 ID를 해결합니다. 주요 지표는 다음과 같습니다:

클러스터 크기: 가장 큰 클러스터가 (게이트가 없는 경우의) 170,431명에서 6,910명(단일 no-reply 정체성)으로 감소했습니다.
재현율/정밀도: 골드 재현율은 0.44에서 0.70으로, 정밀도는 0.873에서 0.879로 증가했습니다.
커버리지: 인간(비봇) ID의 커밋 가중치 커버리지가 96.49%에서 98.17%로 증가했습니다.

본 논문은 $10^8$ 규모의 정체성 문제에서 디-에일리어싱(de-aliasing)을 위해서는 두 가지 별개의 문제를 특정 순서로 해결해야 한다고 주장합니다: 첫째, 정밀도(구조적 및 에지 수준 분석을 통한 메가 클러스터 해체), 둘째, 재현율(분류기 필터링된 확장을 통한 적법한 병합 회복). 저자들은 구조적 인증(structural certificates)이 새로운 에지 세트로 전이되지 않으며, 벤더드(verdicts)를 뒤집지 않기 위해 벤치마크를 정밀도와 재현율 측면에서 공동으로 읽어야 함을 강조합니다. 이 연구는 그래디언트 부스팅이 레이블 생성의 아티팩트를 "지름길로 학습"할 수 있는 반면(낮은 전이성 유발), 선형 모델은 살아남을 수 있다는 점과 재현율 전용 벤치마크가 정밀도 실패를 은폐할 수 있다는 점을 강조하는 규모의 교훈 카탈로그 역할을 합니다.

이 설계는 현재 World of Code V2604의 프로덕션 정체성 레이어로 사용되며, 개발자 생산성, 프로젝트 건전성, 공급망 보안에 대한 정량적 주장의 토대를 제공합니다.