A Global Author-Identity Map for the World of Code:62.7M Developer Identities from 106.8M Author Strings over 5.87B Commits

Resumo Técnico: Um Mapa Global de Identidade de Autor para o Mundo do Código

1. Definição do Problema

O artigo aborda o desafio fundamental da resolução de identidade de autor em repositórios de software de escala global. No "Mundo do Código" (WoC - World of Code), um único desenvolvedor frequentemente realiza commits sob múltiplas strings de nome/e-mail (aliases), enquanto uma única string (ex: root@localhost ou Seu Nome <voce@exemplo.com>) é frequentemente reutilizada por milhares de desenvolvedores distintos.

A dificuldade central reside em equilibrar o recall (unir todos os aliases de uma pessoa) com a precisão (evitar a "super-união" de pessoas não relacionadas). Os autores argumentam que a união transitiva ingênua sobre atributos compartilhados (ex: compartilhar um e-mail ou nome) cria "mega-clusters" — clusters únicos contendo milhões de identidades não relacionadas. Esses clusters corrompem silenciosamente análises subsequentes (ex: contagem de desenvolvedores, produtividade, bus factors) e tornam métricas de precisão sem sentido se a região de conflação não for medida. Mapas globais anteriores alcançaram alto recall, mas sofreram com super-uniões massivas, enquanto benchmarks focados apenas em recall falharam em penalizar essa conflação.

2. Metodologia

Os autores apresentam um pipeline de construção de seis estágios projetado para produzir um mapa de identidade livre de mega-clusters. O processo é impulsionado por uma sequência de operações de "filtragem" (gating) e "corte" (cutting) para eliminar a super-união antes de tentar recuperar o recall.

1. Geração de Links: Edges candidatos de "mesma pessoa" são gerados com base em correspondências exatas de e-mail, nome ou handles raros compartilhados. O fechamento transitivo desses edges forma um grafo de união bruto.
2. Filtragem de Valores (Value Gating): Identidades com atributos não identificadores (nomes genéricos, e-mails de placeholder, contas de bots) são neutralizadas para que não possam atuar como pontes de união. Isso é feito via análise de dispersão de nomes e verificações de frequência/listas negras.
3. Filtragem Estrutural (Structural Gating - O Passo Crítico): Para dissolver o mega-cluster restante, os autores computam a centralidade de intermediação amostrada (sampled betweenness centrality) no grafo de união exato. Eles identificam e cortam um pequeno conjunto de identidades "ponte" de alta intermediação (aprox. 2.000 IDs) que unem comunidades que deveriam estar disjuntas. Crucialmente, 98% dessas pontes são "limpas de atributos", o que significa que não podem ser removidas apenas por regras baseadas em valores.
4. Classificação de Edges: Um classificador logístico, treinado em 2,6 milhões de rótulos de ID do GitHub, pontua pares candidatos dentro dos componentes restantes. Ele poda remanescentes de uniões de homônimos (ex: diferentes pessoas chamadas "João Smith") que o corte estrutural isolou.
5. Recuperação de Recall: Com o mega-cluster dissolvido, o pipeline expande o recall de forma segura. Ele ativa uma camada de "shingle" latente (links baseados em tokens de nome/e-mail compartilhados) e asserções noreply do GitHub. Esses edges são pontuados pelo classificador e admitidos em limiares ajustados (ex: $\tau=0.9$ para expansão de pares, $\tau=0.8$ para expansão de nível de mapa).
6. Seleção de Representantes e Classificação: Um representante canônico é selecionado para cada cluster com base em regras de qualidade (favorecendo nomes reais e e-mails não genéricos). Uma classificação por identidade é atribuída (bom, ruim-por-atributo, local, bot, parcial). Finalmente, uma camada de resolução dentro do projeto resolve IDs de baixa qualidade que são ambíguos globalmente, mas inequívocos dentro de um único projeto.

3. Contribuições Principais e Artefatos

O artigo libera o WoC V2604, um mapa de identidade de autor curado que cobre 5,87 bilhões de commits e 106,8 milhões de strings de autor, colapsadas em 62,7 milhões de identidades canônicas. O lançamento inclui quatro artefatos co-versionados:

• a2AFullSUG (Mapa Global de Aliases): Mapeia strings brutas para IDs canônicos. É livre de mega-clusters; o maior cluster contém 6.910 IDs (uma única identidade noreply do GitHub), comparado ao mega-cluster de 3 milhões de IDs do mapa anterior.
• A2clsFull (Classificação por Identidade): Marca cada ID com uma classe de qualidade:
  • Bom (Good): Nome e e-mail reais.
  • Ruim-por-atributo (Bad-by-attribute): Nomes genéricos ou atributos compartilhados/placeholders.
  • Local: Endereços locais de máquina com nomes de usuário reais.
  • Bot: Contas automatizadas.
  • Parcial (Partial): Bons atributos, mas faltando um componente (nome ou e-mail).
• P2aAFull (Resolução Dentro do Projeto): Resolve 5,3 milhões de IDs ambíguos dentro do projeto específico onde aparecem, recuperando 47,8% do pool de commits de baixa qualidade deixado sem resolução pelo mapa global.
• c2AFull (Tabela de Commit-para-Identidade): Marca cada commit com seu autor resolvido e uma tag de proveniência (g para global, B para bot, p para dentro do projeto, s para si mesmo/não resolvido), permitindo que os consumidores filtrem por qualidade de resolução.

4. Resultados e Validação

Os autores validam o mapa contra duas verdades de base (ground truths) independentes: um conjunto de ouro avaliado por humanos (ALFAA, centrado em OpenStack) e um benchmark de recall em larga escala (GitHub dentro de rótulos de handle).

• Troca entre Precisão e Recall: O mapa liberado atinge Recall 0.70 e Precisão 0.88 no conjunto de ouro humano.
• Agrupamento (Clumping) vs. Divisão (Splitting): O artigo introduz uma distinção entre divisão (falha em unir aliases) e agrupamento (unir estranhos).
  • O mapa anterior do WoC (V3) reportou uma precisão de 0,95, mas esta colapsou para 0,52 quando seu mega-cluster de 3 milhões de IDs foi contado como um único erro.
  • O novo mapa reduz o maior cluster de 3.006.318 para 6.910, efetivamente eliminando o "agrupamento não medido" que assolava os benchmarks anteriores.
• Cobertura de Commits: O mapa resolve 73,5% de todos os commits em identidades múltiplas. Quando restrito a commits humanos, a cobertura chega a 98,17% (mapa global + camada dentro do projeto).

5. Impacto em Jusante (Downstream Impact)

O artigo demonstra que a escolha do método de identidade altera fundamentalmente as análises de desenvolvedor. Os autores comparam três arquétipos: Sub-união (strings brutas), Super-união (união ingênua) e Calibrado (este mapa).

• População de Desenvolvedores: As strings brutas inflam a contagem de desenvolvedores em 66,6% (104M vs. 62,7M).
• Produtividade: A sub-união subestima o output de desenvolvedores prolíficos (o p90 de commits cai 34% nos dados brutos).
• Redes de Colaboração: Os dados brutos criam arestas espúrias onde os aliases de uma única pessoa se ligam a si mesma. A aliasing remove 32% das arestas na rede de co-projeto e revela que 36,3% dos projetos que parecem ter múltiplos desenvolvedores são, na verdade, um único desenvolvedor usando múltiplas identidades.
• Centralidade: Em redes brutas, os nós de alta centralidade são frequentemente bots ou IDs de placeholder (ex: root, CI bots). O mapa calibrado desloca esses rankings para desenvolvedores reais, embora bots continuem sendo um desafio para medidas de centralidade.
• Resiliência de Equipe: Os dados brutos criam uma "falsa sensação de segurança" em relação aos bus factors. A união de identidades revela que 96,48% dos projetos dependem de um único desenvolvedor indispensável (vs. 90,15% nos dados brutos), e 12 milhões de projetos anteriormente classificados como colaborativos colapsam para um único ponto de falha.

6. Significância e Impacto Amplo

O artigo argumenta que o agrupamento (clumping) é a restrição limitante para a resolução de identidade em escala global, não o recall. A significância deste trabalho reside em:

1. Mudança Metodológica: Mover de benchmarks de "apenas recall" para uma avaliação conjunta de divisão (splitting) e agrupamento (clumping), medindo explicitamente o tamanho do maior cluster.
2. Integridade de Dados: Fornecer um substrato "livre de mega-clusters" que evita a corrupção silenciosa de agregados por autor.
3. Ligação entre Corpus: O mapa serve como uma chave de junção necessária para ligar autores de software a registros acadêmicos (ex: Semantic Scholar, OpenAlex). Os autores demonstram que, sem a liberdade de mega-clusters, a ligação de identidades de software a artigos acadêmicos resulta em falsos positivos catastróficos (ex: ligar 3 milhões de pessoas a um único artigo). Um estudo piloto usando ancoragem por DOI vinculou com sucesso 7.246 autores canônicos com alta precisão (1,05 IDs acadêmicos por autor), provando a utilidade do mapa como fundação para resolução de entidades entre domínios.

Os autores concluem que as escolhas de design (filtrar, cortar topologia, classificar, recuperar recall) foram forçadas pelas falhas medidas de alternativas mais simples, e que os artefatos resultantes permitem análises corrigidas de viés em uma escala anteriormente inalcançável.