💻 computer science

A Global Author-Identity Map for the World of Code:62.7M Developer Identities from 106.8M Author Strings over 5.87B Commits

Dit artikel introduceert een gecureerde, hoog-precieze globale auteur-identiteitskaart voor de World of Code (V2604) die 106,8 miljoen auteur-strings oplost in 62,7 miljoen canonieke identiteiten over 5,87 miljard commits door prioriteit te geven aan het voorkomen van foutieve "clumping" boven eenvoudige recall, waardoor de betrouwbaarheid van grootschalige software-repository-analyse en wetenschappelijke auteur-graaf-joins aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Audris Mockus

Gepubliceerd 2026-07-08

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Audris Mockus

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de hele geschiedenis van softwareontwikkeling voor als een enorme, chaotische bibliotheek met bijna 6 miljard boeken (code commits). In deze bibliotheek zet iedereen zijn naam onder de pagina's die hij schrijft. Maar hier is het probleem: de handtekeningen zijn een puinhoop.

Iemand kan tekenen als "Jane Doe", dan als "j.doe", dan als "jane.doe@work.com", en later als "jane@personal.org". Ondertussen tekenen duizenden verschillende vreemden hun pagina's als "root" of "user" of "Je Naam".

Als je probeerde te tellen hoeveel unieke auteurs er zijn door alleen naar deze handtekeningen te kijken, zou je een volkomen fout antwoord krijgen. Je zou denken dat er miljoenen meer mensen zijn dan er in werkelijkheid zijn (omdat één persoon er als tien lijkt), of je zou missen dat veel "mensen" eigenlijk robots of bots zijn.

Dit artikel presenteert een Gigantische Identiteitskaart die deze bibliotheek opruimt. Het neemt 106 miljoen slordige handtekeningen en organiseert ze in 62,7 miljoen echte mensen.

Dit is hoe ze het deden, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Mega-Cluster" Valstrik

De auteurs leggen uit dat eerdere pogingen om dit probleem op te lossen leken op het proberen aan elkaar lijmen van puzzelstukjes op basis van alleen kleur. Als je simpelweg zegt: "Als twee namen een gemeenschappelijke letter of e-mail delen, moeten ze dezelfde persoon zijn," dan lijm je uiteindelijk miljoenen ongerelateerde mensen aan elkaar tot één gigantische, monsterlijke klomp.

Ze noemen dit een "Mega-Cluster". Stel je een bibliotheek voor waar, omdat iedereen het woord "De" in hun titel gebruikte, de bibliothecaris besloot dat elk boek in het gebouw door dezelfde persoon was geschreven. Dat is wat er in eerdere kaarten gebeurde: ze voegden per ongeluk 3 miljoen ongerelateerde ontwikkelaars samen tot één gigantische "super-auteur".

2. De Oplossing: Een Zesstappen Detective-pipeline

Om dit op te lossen, bouwden de auteurs een zesfasig detectiveproces om de handtekeningen te sorteren zonder die grote fout te maken:

Stap 1: De Initiële Aanwijzing: Ze beginnen met het koppelen van handtekeningen die overduidelijke overeenkomsten hebben, zoals exact hetzelfde e-mailadres.
Stap 2: De "Bad Actor" Filter: Ze negeren namen die duidelijk generiek zijn (zoals "root" of "admin") of toebehoren aan robots. Dit zijn als "geesten" in de bibliotheek; ze mogen niet worden gebruikt om echte mensen met elkaar te verbinden.
Stap 3: De Structurele Snede (De Magische Truc): Dit is de belangrijkste stap. Ze bekeken de verbindingen als een kaart van bruggen. Ze vonden een paar specifieke "brug"-handtekeningen die enorme, ongerelateerde groepen mensen bij elkaar hielden. Ze sneden die bruggen door. Dit loste de gigantische "Mega-Cluster" direct op in kleinere, beheersbare groepen.
Stap 4: De Slimme Classificatie: Ze gebruikten een computerprogramma (getraind op miljoenen echte voorbeelden) om te beslissen of twee vergelijkbaar klinkende namen daadwerkelijk dezelfde persoon zijn of gewoon een toevalstreffer (zoals twee mensen genaamd "John Smith").
Stap 5: Het Herstel van de Recall: Na het doorsnijden van de slechte verbindingen, voegden ze zorgvuldig enkele verbindingen die ze eerder hadden genegeerd weer toe, door gebruik te maken van een andere methode (kijken naar hoe namen in stukjes zijn gespeld) om er zeker van te zijn dat ze niet te veel echte vrienden misten.
Stap 6: De Definitieve Labeling: Ze kozen de "beste" versie van elke naam (meestal degene met een echte naam en een echt e-mailadres) om de officiële ID voor die persoon te worden.

3. Waarom dit ertoe doet: De "Bus Factor" en Productiviteit

Het artikel laat zien dat als je deze namen niet herstelt, je wiskunde niet klopt. Ze voerden verschillende experimenten uit om het verschil aan te tonen:

Mensen tellen: Zonder de namen te herstellen, lijkt de bibliotheek 66% meer auteurs te hebben dan in werkelijkheid het geval is. Het is alsof je dezelfde persoon 10 keer telt omdat diegene zich op 10 verschillende manieren heeft ondertekend.
Teamveiligheid (De Bus Factor): Stel je een project voor waarbij je moet weten: "Als één persoon door een bus wordt geraakt, gaat het project dan dood?"
- Zonder de namen te herstellen: Het project lijkt veilig omdat het werk verspreid is over 10 verschillende "namen".
- Met het herstellen van de namen: Je realiseert je dat al die 10 namen bij één persoon horen. Het project is in werkelijkheid in groot gevaar.
- Het Resultaat: Het artikel vond dat 96% van de projecten daadwerkelijk afhankelijk is van één persoon (een "Single Point of Failure"), terwijl de rommelige data het liet lijken alsof slechts 90% dat was.
Centraliteit (De "Belangrijkste" Mensen): In de rommelige data waren de "belangrijkste" mensen in het netwerk vaak robots of generieke accounts (zoals "root"). Zodra ze de namen herstelden, waren de "belangkrijkste" mensen daadwerkelijke menselijke ontwikkelaars.

4. De "Gold Standard" Controle

De auteurs hebben niet gewoon geraden; ze hebben hun kaart getest tegen twee verschillende "antwoordsleutels":

Menselijke Review: Een kleine groep mensen controleerde of de kaart correct was.
GitHub Data: Ze gebruikten gegevens van GitHub-accounts om te zien of ze alle aliassen hadden gevonden.

Ze ontdekten dat hun nieuwe kaart 88% precies is (het verwisselt zelden vreemden) en 70% compleet (het vindt de meeste aliassen). Cruciaal is dat ze bewezen dat de oude kaarten er perfect uitzagen (95% precies) alleen omdat ze de gigantische "Mega-Clusters" negeerden waar de fouten zich verborgen.

5. Code Verbinden met Wetenschap

Ten slotte suggereren de auteurs dat deze kaart kan worden gebruikt als een "universele sleutel" om softwareontwikkelaars te verbinden met academische onderzoekers. Aangezien veel mensen zowel code als wetenschappelijke artikelen schrijven, kan deze kaart helpen om het onderzoekswerk van een ontwikkelaar te koppelen aan hun wetenschappelijke publicaties. Ze waarschuwen echter dat dit erg moeilijk is omdat namen zo algemeen voorkomen (bijv. "John Smith" in code en "John Smith" in een paper), en dat men uiterst voorzichtig moet zijn om niet per ongeluk de verkeerde mensen aan elkaar te koppelen.

Samenvatting

Dit artikel is een gids voor het opschonen van een enorme, rommelige database van software-auteurs. Het bewijst dat het negeren van de rommel leidt tot verkeerde conclusies over wie er werkt, hoe productief ze zijn en hoe veilig projecten zijn. Hun nieuwe kaart is de eerste die erin slaagt om de valstrik te vermijden om miljoenen vreemden aan elkaar te plakken tot één enkele, valse identiteit.

Technische Samenvatting: Een Mondiale Auteurs-Identiteitskaart voor de Wereld van Code

1. Probleemstelling

Het artikel behandelt de fundamentele uitdaging van auteurs-identiteitsresolutie in software-repositories op wereldwijde schaal. In de "World of Code" (WoC) gebruikt een enkele ontwikkelaar vaak meerdere naam/e-mail-strings (aliassen), terwijl een enkele string (bijv. root@localhost of Your Name <you@example.com>) frequent wordt hergebruikt door duizenden verschillende ontwikkelaars.

De kern van de moeilijkheid ligt in het balanceren van recall (het samenvoegen van alle aliassen van één persoon) met precisie (het voorkomen van het "over-mergen" van ongerelateerde personen). De auteurs stellen dat naïeve transitieve unie over gedeelde attributen (bijv. het delen van een e-mail of naam) "mega-clusters" creëert—enkele clusters die miljoenen ongerelateerde identiteiten bevatten. Deze clusters corrumperen downstream-analyses (bijv. aantal ontwikkelaars, productiviteit, bus factors) geruisloos en maken precisie-metrieken betekenisloos als de geconflueerde regio niet wordt gemeten. Eerdere mondiale kaarten bereikten een hoge recall, maar leden aan massale over-merging, terwijl benchmarks die alleen op recall gericht waren, faalden in het bestraffen van deze conflatie.

2. Methodologie

De auteurs presenteren een zesfasige constructie-pipeline die is ontworpen om een mega-cluster-vrije identiteitskaart te produceren. Het proces wordt gedreven door een sequentie van "gating" en "cutting" operaties om over-merging te elimineren voordat geprobeerd wordt de recall te herstellen.

Link Generatie: Kandidaten voor "dezelfde persoon"-edges worden gegenereerd op basis van exacte overeenkomsten van e-mail, naam of zeldzame gedeelde handles. De transitieve afsluiting van deze edges vormt een ruwe unie-graaf.
Waarde Gating: Identiteiten met niet-identificerende attributen (generieke namen, placeholder e-mails, bot-accounts) worden geneutraliseerd zodat ze niet als "merge bridges" kunnen fungeren. Dit gebeurt via name-spread analyse en frequentie/blacklist-controles.
Structurele Gating (De Kritieke Stap): Om de resterende mega-cluster op te lossen, berekenen de auteurs gesamplede betweenness centrality op de exacte unie-graaf. Ze identificeren en snijden een kleine set van hoog-betweenness "bridge" identiteiten (ongeveer 2.000 ID's) die anders gescheiden gemeenschappen aan elkaar lassen. Cruciaal is dat 98% van deze bridges "attribute-clean" zijn, wat betekent dat ze niet alleen door waarde-gebaseerde regels kunnen worden verwijderd.
Edge Classificatie: Een logistische classifier, getraind op 2,6 miljoen vrije GitHub ID-labels, scoort kandidaat-paren binnen de resterende componenten. Het elimineert residuele homoniem-welding (bijv. verschillende mensen genaamd "John Smith") die de structurele snede had geïsoleerd.
Recall Herstel: Zodra de mega-cluster is opgelost, breidt de pipeline de recall veilig uit. Het activeert een latente "shingle" laag (links gebaseerd op gedeelde naam/e-mail tokens) en GitHub's noreply asserties. Deze edges worden gescoord door de classifier en toegelaten bij getunede drempelwaarden (bijv. $\tau=0.9$ voor pairwise expansie, $\tau=0.8$ voor map-level expansie).
Representatieve Selectie & Classificatie: Een canonieke representant wordt voor elke cluster geselecteerd op basis van kwaliteitsregels (voorkeur voor echte namen en niet-generieke e-mails). Een per-identiteit classificatie wordt toegewezen (goed, slecht-door-attribuut, lokaal, bot, partieel). Ten slotte lost een within-project resolution laag kwalitatief lage ID's op die globaal ambigu zijn, maar ondubbelzinnig binnen een specifere projectcontext.

3. Belangrijkste Bijdragen en Artefacten

Het artikel brengt WoC V2604 uit, een gecureerde auteur-identiteitskaart die 5,87 miljard commits en 106,8 miljoen auteur-strings beslaat, gevouwen in 62,7 miljoen canonieke identiteiten. De release bevat vier co-versioneerde artefacten:

a2AFull (Globale Alias Map): Koppelt ruwe strings aan canonieke ID's. Het is mega-cluster-vrij; de grootste cluster bevat 6.910 ID's (een enkele GitHub noreply identiteit), vergeleken met de 3-miljoen-ID mega-cluster van de vorige kaart.
A2clsFull (Per-Identiteit Classificatie): Tagt elke ID met een kwaliteitsklasse:
- Goed: Echte naam en e-mail.
- Slecht-door-attribuut: Generieke namen of gedeelde/placeholder attributen.
- Lokaal: Machine-lokale adressen met echte gebruikersnamen.
- Bot: Geautomatiseerde accounts.
- Partieel: Goede attributen maar mist één component (naam of e-mail).
P2aAFull (Within-Project Resolution): Lost 5,3 miljoen ambigue ID's op binnen het specifieke project waar ze voorkomen, waardoor 47,8% van de laag-kwalitatieve commit-pool wordt hersteld die door de globale kaart onopgelost bleef.
c2AFull (Commit-naar-Identiteit Tabel): Tagt elke commit met de opgeloste auteur en een provenance tag (g voor globaal, B voor bot, p voor binnen-project, s voor zelf/onopgelost), waardoor gebruikers kunnen filteren op resolutiekwaliteit.

4. Resultaten en Validatie

De auteurs valideren de kaart tegen twee onafhankelijke grondwaarheden: een menselijk beoordeelde gold set (ALFAA, OpenStack-gecentreerd) en een grootschalige recall benchmark (GitHub binnen-handle labels).

Precision vs. Recall Afweging: De vrijgegeven kaart bereikt een Recall 0,70 en Precision 0,88 op de menselijke gold set.
Clumping vs. Splitting: Het artikel introduceert een onderscheid tussen splitting (falen om aliassen samen te voegen) en clumping (het samenvoegen van vreemden).
- De eerdere WoC-kaart (V3) rapporteerde een precisie van 0,95, maar dit stortte in naar 0,52 toen de 3-miljoen-ID mega-cluster als een enkele fout werd geteld.
- De nieuwe kaart vermindert de grootste cluster van 3.006.318 naar 6.910, waardoor de "ongemeten clumping" die eerdere benchmarks plaagde, effectief wordt geëlimineerd.
Commit Dekking: De kaart lost 73,5% van alle commits op in multi-ID identiteiten. Wanneer beperkt tot menselijke commits, bereikt de dekking 98,17% (globale kaart + within-project laag).

5. Downstream Impact

Het artikel demonstreert dat de keuze van de identiteitsmethode de developer-analytics fundamenteel verandert. De auteurs vergelijken drie archetypen: Under-merge (ruwe strings), Over-merge (naïeve unie), en Gekalibreerd (deze kaart).

Developer Populatie: Ruwe strings blazen het aantal ontwikkelaars op met 66,6% (104M vs. 62,7M).
Productiviteit: Under-merging onderschat de output van productieve ontwikkelaars (p90 commits daalt met 34% in ruwe data).
Collaboratie Netwerken: Ruwe data creëert spookachtige edges waarbij de aliassen van één persoon naar zichzelf linken. Aliasing verwijdert 32% van de edges in het co-project netwerk en onthult dat 36,3% van de projecten die als multi-developer verschijnen, in werkelijkheid single-developers zijn die meerdere identiteiten gebruiken.
Centrality: In ruwe netwerken zijn de top centrality nodes vaak bots of placeholder ID's (bijv. root, CI bots). De gekalibreerde kaart verschuift deze ranglijsten naar echte ontwikkelaars, hoewel bots een uitdaging blijven voor centrality-maten.
Team Veerkracht: Ruwe data creëert een "vals gevoel van veiligheid" met betrekking tot bus factors. Het samenvoegen van identiteiten onthult dat 96,48% van de projecten afhankelijk is van één onmisbare ontwikkelaar (vs. 90,15% in ruwe data), en 12 miljoen projecten die voorheen als collaboratief werden beschouwd, storten in tot een single point of failure.

6. Betekenis en Bredere Impact

Het artikel betoogt dat clumping de beperkende factor is voor identiteitsresolutie op wereldwijde schaal, niet recall. De betekenis van dit werk ligt in:

Methodologische Verschuiving: Van "recall-only" benchmarks naar een gezamenlijke evaluatie van splitting en clumping, waarbij de grootte van de grootste cluster expliciet wordt gemeten.
Data Integriteit: Het leveren van een "mega-cluster-vrije" substantie die de stille corruptie van per-auteur aggregaten voorkomt.
Cross-Corpus Linking: De kaart dient als een noodzakelijke join-key voor het koppelen van software-auteurs aan wetenschappelijke records (bijv. Semantic Scholar, OpenAlex). De auteurs demonstreren dat zonder mega-cluster-vrijheid, het koppelen van software-identiteiten aan academische papers resulteert in catastrofale false positives (bijv. het koppelen van 3 miljoen mensen aan één paper). Een pilotstudie met DOI-anchoring koppelde succesvol 7.246 canonieke auteurs met hoge precisie (1,05 wetenschappelijke ID's per auteur), wat het nut van de kaart bewijst als fundament voor cross-domein entiteitsresolutie.

De auteurs concluderen dat de ontwerpkeuzes (gate, cut topology, classify, recover recall) werden afgedwongen door de gemeten mislukkingen van eenvoudigere alternatieven, en dat de resulterende artefacten bias-gecorrigeerde analyses mogelijk maken op een schaal die voorheen onbereikbaar was.