🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

Este artigo apresenta o NAICS-GH, um corpus de alta precisão, lançado publicamente, de 6.588 repositórios do GitHub rotulados com setores industriais NAICS 2022 utilizando um pipeline de recuperação e verificação que combina embeddings BAAI/bge-large-en e GPT-4.1, o qual alcança 96,98% de precisão validada por humanos e serve como um benchmark para classificação industrial em pesquisas de inovação de código aberto.

Autores originais: Kevin Xu, Alexander Quispe

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kevin Xu, Alexander Quispe

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o GitHub como uma biblioteca massiva e caótica contendo centenas de milhões de livros (repositórios de código). O problema é que, embora a biblioteca conheça o título de cada livro, ela não possui um "Sistema Dewey" para dizer qual é o tipo de negócio ou indústria aquele livro realmente atende. Este código é para um banco? Uma fazenda? Um estúdio de videogames? Sem esse rótulo, é difícil para economistas, formuladores de políticas ou empresas entenderem como diferentes setores estão utilizando o software de código aberto.

Este artigo apresenta o NAICS-GH, um novo sistema que atua como um bibliotecário superinteligente para organizar esses livros no North American Industry Classification System (NAICS) — o sistema de arquivamento padrão usado por governos nos EUA, Canadá e México.

Veja como eles construíram isso, explicado de forma simples:

1. A "Rede de Pesca" (Recuperação)

Primeiro, a equipe não pôde ler cada um dos livros da biblioteca (existem mais de 1,3 milhão de candidatos). Por isso, usaram uma rede de pesca digital chamada embeddings BGE e FAISS.

A Metáfora: Imagine que você tem uma lista de 1.000 palavras-chave específicas (como "rendimento de safra", "segurança bancária" ou "agendamento hospitalar"). Você lança essas palavras-chave na biblioteca e a rede agarra instantaneamente os 20 livros que soam mais semelhantes a cada palavra-chave.
O Resultado: Esta rede capturou cerca de 31.000 correspondências potenciais. Eles lançaram uma rede ampla para garantir que nada fosse perdido, mas também pegaram alguns "quase-acertos" (livros que soavam semelhantes, mas não eram exatamente o que se buscava).

2. O "Juiz Especialista" (Verificação)

A rede era muito frouxa, então eles precisavam de um juiz rigoroso para verificar as capturas. Eles contrataram o GPT-4.1 (uma IA muito avançada) para atuar como um especialista de domínio.

A Metáfora: Pense no GPT-4.1 como um inspetor experiente. Para cada livro que a rede capturou, o inspetor lê a capa, o resumo e as primeiras páginas (a descrição do repositório e o README).
A Rubrica: O inspetor não apenas adivinha; ele usa uma lista de verificação rigorosa (uma "rubrica"). Ele pergunta: "Este código realmente resolve um problema para este setor específico?"
- Se a resposta for um "Sim" claro, o inspetor dá uma nota 9 ou 10.
- Se for um "Talvez", a nota é menor.
- Se for uma ferramenta genérica usada por todos (como uma calculadora básica), recebe uma nota baixa.
O Corte: Eles mantiveram apenas os livros que obtiveram uma pontuação de 8 ou superior. Isso garantiu que mantivessem apenas correspondências de alta confiança.

3. A Coleção Final (O Conjunto de Dados)

Após o juiz de IA filtrar as correspondências fracas, restaram 6.588 repositórios de alta qualidade.

Estes estão espalhados por 19 setores diferentes (como Agricultura, Manufatura, Saúde e Finanças).
Eles deixaram de fora intencionalmente uma categoria ("Gestão de Empresas") porque não havia exemplos claros suficientes para formar um grupo confiável.
Crucialmente: Eles removeram os nomes dos proprietários para proteger a privacidade, mantendo apenas o conteúdo do código e o rótulo do setor.

4. Funcionou? (Validação)

Para garantir que o juiz de IA não estava alucinando, a equipe contratou assistentes de pesquisa humanos para verificar aleatoriamente 2.421 desses livros rotulados.

O Resultado: Os juízes humanos concordaram com a IA 96,98% das vezes.
A Nuance: A IA foi quase perfeita para setores claros como "Administração Pública" ou "Artes e Entretenimento". No entanto, ela teve um pouco mais de dificuldade com "Manufatura" e "Comércio Atacadista", onde o software às vezes pode parecer genérico. O artigo observa que, se você elevar o requisito de pontuação para 9 ou 10, a precisão nesses setores complicados aumenta ainda mais.

5. A "Ferramenta de Ensino" (Benchmark)

Finalmente, a equipe usou esta nova biblioteca rotulada para ensinar seis modelos de IA diferentes a classificar código por conta própria.

Eles testaram modelos como RoBERTa, ModernBERT e DeBERTa.
O Vencedor: Um modelo chamado RoBERTa-large aprendeu melhor, alcançando 86,45% de precisão em um conjunto de teste que nunca tinha visto antes.
A Lição: Isso prova que, uma vez que você tem uma boa "biblioteca rotulada", pode treinar modelos de IA menores e mais rápidos para realizar o trabalho de classificação automaticamente no futuro.

Resumo

O artigo apresenta um conjunto de dados disponível publicamente que mapeia o código do GitHub para setores do mundo real. Foi construído por:

Lançar uma rede ampla para encontrar correspondências potenciais.
Usar um juiz de IA rigoroso para verificá-los contra uma lista de verificação detalhada.
Ter humanos conferindo o trabalho para garantir 97% de precisão.
Liberar os dados e o código para que qualquer pessoa possa estudar como diferentes setores utilizam o software de código aberto.

Os autores afirmam explicitamente que este é um sistema de classificação norte-americano aplicado globalmente e alertam que, embora os rótulos sejam altamente precisos, eles não são perfeitos para todos os setores (especificamente manufatura e comércio atacadista). Eles também observam que o sistema funciona melhor atualmente com descrições de código em língua inglesa.

Resumo Técnico: Classificação Industrial de Repositórios do GitHub usando NAICS

Definição do Problema
O GitHub hospeda centenas de milhões de repositórios públicos, mas carece de um mecanismo nativo para mapear esses repositórios para setores industriais padronizados. Essa ausência de metadados industriais estruturados limita a pesquisa empírica sobre a geografia da inovação, a composição industrial da produção de código aberto e a difusão de tecnologias entre setores econômicos. Os esforços de classificação existentes basearam-se em tags de tópicos declaradas pelo usuário ou domínios de aplicação de software, mas nenhum adotou uma taxonomia econômica padronizada como o Sistema de Classificação da América do Norte (NAICS) em múltiplas jurisdições.

Metodologia: O Pipeline NAICS-GH
Os autores apresentam o NAICS-GH, um corpus de 6.588 repositórios do GitHub rotulados com códigos NAICS de 2 dígitos (NACS 2022). O conjunto de dados é construído usando um pipeline reproduzível de duas etapas, "recuperação-e-verificação", aplicado a pools de origem dos Estados Unidos, da União Europeia e da Austrália.

Extração do Pool de Origem:
- Dados: 1.372.489 repositórios públicos não-fork foram extraídos do data warehouse interno do GitHub.
- Critérios de Inclusão: Os repositórios devem ser públicos, ter pelo menos uma estrela (star), conter um README de $\ge$ 750 bytes, possuir $>6$ commits e envolver $\ge2$ contribuidores distintos.
- Jurisdições: O pool é dividido pela conta do proprietário por país: EUA (510.380), UE-27 (530.898) e Austrália (331.211).
Etapa 1: Recuperação Semântica (Geração de Candidatos):
- Embedding: Os READMEs dos repositórios (primeiros 1.000 caracteres) são codificados usando embeddings BAAI/bge-large-en.
- Construção de Query: O pipeline utiliza uma taxonomia de 1.029 frases distintas de subindústrias de 6 dígitos do NAICS. Para cada frase, é gerada uma query: "Repositories about {subindustry}".
- Recuperação: Usando FAISS (IndexFlatIP) para busca exata de produto interno, o sistema recupera os top- $k$ repositórios semanticamente mais similares. O valor de $k$ é adaptável: $k=20$ para setores com muitas subindústrias, e aumentado ( $k \approx 24\text{--}29$ ) para setores com poucas subindústrias para garantir aproximadamente 400 candidatos por setor.
- Saída: Esta etapa gera 31.178 pares (repositório, setor) candidatos únicos.
Etapa 2: Verificação por LLM (Filtragem):
- Modelo: O GPT-4.1 (snapshot gpt-4.1-2025-04-14) é usado como verificador.
- Entrada: O modelo recebe uma prompt estruturada contendo a descrição do repositório, as tags de tópico e o README limpo (concatenado), juntamente com a definição do setor NAICS alvo.
- Rubrica: O modelo pontua a correspondência em uma escala de 1 a 10 baseada em quatro critérios: software específico da indústria, funcionalidade relevante ao setor, aplicações de domínio da indústria e dados/pesquisa específicos do setor.
- Limiar (Thresholding): Candidatos com pontuação $\ge 8$ são retidos. Um filtro de tamanho mínimo de classe ( $n \ge 80$ ) é aplicado, removendo o Setor 55 ("Gestão de Empresas e Gestão de Companhias") que possuía apenas 13 candidatos aprovados.

Principais Contribuições

Dataset (NAICS-GH): Um corpus de 6.588 repositórios liberado publicamente e rotulado com códigos NAICS de 2 dígitos, cobrindo 19 dos 20 setores do NAICS. O conjunto de dados inclui metadados do repositório, texto limpo, além do score de confiança e da justificativa do LLM.
Pipeline Reproduzível: Um pipeline completo e de código aberto (Licença MIT) combinando recuperação densa (BGE + FAISS) com verificação por LLM (GPT-4.1). O pipeline foi projetado para ser adaptável a outras taxonomias industriais.
Validação: Um subconjunto "gold" verificado manualmente de 2.421 repositórios confirma a precisão do pipeline.
Benchmarks: Uma comparação direta de seis encoders pré-treinados (RoBERTa, ModernBERT, DeBERTa-v3) ajustados (fine-tuned) no corpus.

Resultados e Validação

Precisão: Na amostra "gold" validada por humanos, o pipeline atinge 96,98% de precisão (IC Wilson 95%: [96,23%, 97,59%]).
Correlação de Score: A precisão correlaciona-se monotonicamente com o score do GPT-4.1: 90,76% no score 8, 97,81% no score 9 e 99,30% no score 10.
Variância de Setor: Seis setores (incluindo Administração Pública, Informação e Mineração) atingiram 100% de precisão na amostra gold. No entanto, Manufatura (31–33) e Comércio Atacadista (42) mostraram menor precisão (73,0%) no limiar de score $\ge 8$ , sugerindo que esses setores são mais difíceis de distinguir de ferramentas genéricas de cadeia de suprimentos.
Reprodutibilidade: Rodar o pipeline novamente em hardware diferente reproduz o conjunto de candidatos com uma variação de até 0,03% do tamanho original.
Desempenho de Benchmark: Entre seis encoders ajustados, o RoBERTa-large alcançou o maior desempenho no conjunto de teste com 86,45% de F1 e 86,35% de acurácia. Notavelmente, contagens maiores de parâmetros não melhoraram uniformemente o desempenho (ex: ModernBERT-large teve desempenho inferior ao ModernBERT-base), sugerindo que, para este tamanho de corpus (~4,6k exemplos de treinamento), os objetivos de pré-treinamento importam mais do que a escala.

Significância e Alegações
O artigo afirma fornecer o primeiro corpus multijurisdicional disponível publicamente que mapeia repositórios do GitHub ao padrão NAICS. Este recurso aborda uma lacuna crítica para economistas, formuladores de políticas e pesquisadores que estudam a alocação de trabalho e capital no setor de software. Os autores posicionam o conjunto de dados não como uma verdade absoluta (reconhecendo o ruído de rótulo em setores específicos e a limitação do modelo de recuperação apenas para o inglês), mas como um recurso de alta confiança que possibilita o trabalho empírico sobre a composição industrial do código aberto. O lançamento inclui o conjunto de dados, checkpoints ajustados e o código completo do pipeline para facilitar a pesquisa subsequente e a replicação.