🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

Questo articolo introduce NAICS-GH, un corpus ad alta precisione e rilasciato pubblicamente di 6.588 repository GitHub etichettati con i settori industriali NAICS 2022 tramite una pipeline di recupero e verifica che combina gli embedding BAAI/bge-large-en e GPT-4.1, il quale raggiunge una precisione validata da umani del 96,98% e funge da benchmark per la classificazione industriale nella ricerca sull'innovazione open-source.

Autori originali: Kevin Xu, Alexander Quispe

Pubblicato 2026-07-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kevin Xu, Alexander Quispe

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate GitHub come una biblioteca massiccia e caotica che contiene centinaia di milioni di libri (repository di codice). Il problema è che, sebbene la biblioteca conosca il titolo di ogni libro, non possiede un "Sistema Dewey" che possa dirvi a quale tipo di business o settore appartenga effettivamente quel libro. Questo codice è per una banca? Per un'azienda agricola? Per uno studio di videogiochi? Senza questa etichetta, è difficile per economisti, decisori politici o aziende capire come i diversi settori utilizzino il software open-source.

Questo articolo presenta NAICS-GH, un nuovo sistema che agisce come un bibliotecario super intelligente per organizzare questi libri nel North American Industry Classification System (NAICS) — il sistema di classificazione standard utilizzato dai governi di Stati Uniti, Canada e Messico.

Ecco come l'hanno costruito, spiegato in modo semplice:

1. La "Rete da Pesca" (Retrieval)

In primo luogo, il team non poteva leggere ogni singolo libro della biblioteca (ci sono oltre 1,3 milioni di candidati). Così, hanno utilizzato una rete digitale chiamata BGE embeddings e FAISS.

La Metafora: Immaginate di avere una lista di 1.000 parole chiave specifiche (come "resa dei raccolti", "sicurezza bancaria" o "pianificazione ospedaliera"). Lanciate queste parole chiave nella biblioteca e la rete cattura istantaneamente i 20 libri che suonano più simili a ciascuna parola chiave.
Il Risultato: Questa rete ha catturato circa 31.000 potenziali corrispondenze. È stata lanciata una rete molto ampia per assicurarsi di non perdere nulla, ma ha anche catturato alcuni "quasi-errori" (libri che suonavano simili ma non erano del tutto corretti).

2. L' "Esperto Giudice" (Verification)

La rete era troppo larga, quindi avevano bisogno di un giudice severo per verificare le catture. Hanno assunto GPT-4.1 (un'IA molto avanzata) per agire come esperto di dominio.

La Metafora: Pensate a GPT-4.1 come a un ispettore esperto. Per ogni libro catturato dalla rete, l'ispettore legge la copertina, il riassunto e le prime pagine (la descrizione del repository e il file README).
La Griglia di Valutazione: L'ispettore non si limita a indovinare; utilizza una checklist rigorosa (una "rubrica"). Chiede: "Questo codice risolve davvero un problema per questo settore specifico?"
- Se la risposta è un "Sì" chiaro, l'ispettore assegna un punteggio di 9 o 10.
- Se è un "Forse", il punteggio è più basso.
- Se è uno strumento generico usato da tutti (come una calcolatrice di base), riceve un punteggio basso.
Il Taglio: Hanno tenuto solo i libri che hanno ottenuto un punteggio di 8 o superiore. Questo ha garantito di mantenere solo le corrispondenze ad alta confidenza.

3. La Collezione Finale (The Dataset)

Dopo che il giudice IA ha filtrato le corrispondenze deboli, sono rimasti 6.588 repository di alta qualità.

Questi sono distribuiti in 19 diversi settori (come Agricoltura, Manifattura, Sanità e Finanza).
Hanno intenzionalmente escluso una categoria ("Gestione di Aziende") perché non c'erano abbastanza esempi chiari per creare un gruppo affidabile.
Fondamentale: Hanno rimosso i nomi dei proprietari per proteggere la privacy, mantenendo solo il contenuto del codice e l'etichetta del settore.

4. Ha Funzionato? (Validation)

Per assicurarsi che il giudice IA non stesse allucinando, il team ha assunto assistenti di ricerca umani per controllare casualmente 2.421 di questi libri etichettati.

Il Risultato: I giudici umani sono stati d'accordo con l'IA il 96,98% delle volte.
La Sfumatura: L'IA è stata quasi perfetta per settori netti come "Pubblica Amministrazione" o "Arti e Intrattenimento". Tuttavia, ha avuto un po' più di difficoltà con "Manifattura" e "Commercio all'Ingrosso", dove il software può talvolta apparire generico. L'articolo nota che se si alza il requisito del punteggio a 9 o 10, l'accuratezza in questi settori complicati aumenta ulteriormente.

5. Lo "Strumento di Insegnamento" (Benchmark)

Infine, il team ha utilizzato questa nuova biblioteca etichettata per insegnare a sei diversi modelli di IA come classificare il codice autonomamente.

Hanno testato modelli come RoBERTa, ModernBERT e DeBERTa.
Il Vincitore: Un modello chiamato RoBERTa-large ha imparato meglio, raggiungendo un'accuratezza dell'86,45% su un set di test che non aveva mai visto prima.
La Conclusione: Questo dimostra che una volta ottenuta una buona "biblioteca etichettata", è possibile addestrare modelli IA più piccoli e veloci per svolgere il lavoro di classificazione in modo automatico in futuro.

Riassunto

L'articolo presenta un dataset disponibile pubblicamente che mappa il codice di GitHub ai settori del mondo reale. È stato costruito:

Lanciando una rete ampia per trovare potenziali corrispondenze.
Utilizzando un rigoroso giudice IA per verificarle rispetto a una checklist dettagliata.
Facendo doppie verifiche umane per garantire un'accuratezza del 97%.
Rilasciando i dati e il codice affinché chiunque possa studiare come i diversi settori utilizzano il software open-source.

Gli autori dichiarano esplicitamente che questo è un sistema di classificazione nordamericano applicato globalmente, e avvertono che, sebbene le etichette siano altamente accurate, non sono perfette per ogni singolo settore (specificamente manifattura e commercio all'ingrosso). Notano anche che il sistema attualmente funziona meglio con le descrizioni del codice in lingua inglese.

Sintesi Tecnica: Classificazione Industriale dei Repository GitHub tramite NAICS

Problema
GitHub ospita centinaia di milioni di repository pubblici ma manca di un meccanismo nativo per mappare tali repository a settori industriali standardizzati. Questa assenza di metadati industriali strutturati limita la ricerca empirica sulla geografia dell'innovazione, sulla composizione industriale della produzione open-source e sulla diffusione delle tecnologie attraverso i settori economici. Gli sforzi di classificazione esistenti si sono basati su tag di argomento dichiarati dagli utenti o domini di applicazione del software, ma nessuno ha adottato una tassonomia economica standardizzata come il North American Industry Classification System (NAICS) attraverso più giurisdizioni.

Metodologia: La Pipeline NAICS-GH
Gli autori presentano NAICS-GH, un corpus di 6.588 repository GitHub etichettati con codici NAICS a 2 cifre (NAICS 2022). Il dataset è costruito utilizzando una pipeline riproducibile "retrieve-and-verify" (recupera-e-verifica) a due stadi applicata a pool di origine provenienti dagli Stati Uniti, dall'Unione Europea e dall'Australia.

Estrazione del Pool di Origine:
- Dati: 1.372.489 repository non fork pubblici sono stati estratti dal data warehouse interno di GitHub.
- Criteri di Inclusione: I repository devono essere pubblici, avere almeno una stella, contenere un README di ≥750 byte, avere >6 commit e coinvolgere ≥2 contributori distinti.
- Giurisdizioni: Il pool è suddiviso per paese dell'account proprietario: USA (510.380), UE-27 (530.898) e Australia (331.211).
Stadio 1: Recupero Semantico (Generazione dei Candidati):
- Embedding: I README dei repository (primi 1.000 caratteri) sono codificati utilizzando gli embedding BAAI/bge-large-en.
- Costruzione della Query: La pipeline utilizza una tassonomia di 1.029 frasi distinte di sottosettore NAICS a 6 cifre. Per ogni frase, viene generata una query: "Repositories about {subindustry}".
- Recupero: Utilizzando FAISS (IndexFlatIP) per la ricerca esatta del prodotto interno, il sistema recupera i primi- $k$ repository semanticamente più simili. Il valore $k$ è adattivo: $k=20$ per i settori con molte sottosettori, e aumentato ( $k \approx 24\text{--}29$ ) per i settori con pochi sottosettori per garantire circa 400 candidati per settore.
- Output: Questo passaggio produce 31.178 coppie uniche (repository, settore) candidate.
Stadio 2: Verifica tramite LLM (Filtraggio):
- Modello: Viene utilizzato GPT-4.1 (snapshot gpt-4.1-2025-04-14) come verificatore.
- Input: Il modello riceve un prompt strutturato contenente la descrizione del repository, i tag di argomento e il README pulito (concatenato), insieme alla definizione del settore NAICS target.
- Rubrica: Il modello valuta la corrispondenza su una scala da 1 a 10 basandosi su quattro criteri: software specifico del settore, funzionalità rilevanti per il settore, applicazioni di dominio del settore e dati/ricerca specifici del settore.
- Soglia: I candidati con un punteggio $\ge 8$ vengono mantenuti. Viene applicato un filtro di dimensione minima della classe ( $n \ge 80$ ), rimuovendo il Settore 55 ("Management of Companies and Enterprises") che aveva solo 13 candidati passanti.

Contributi Chiave

Dataset (NAICS-GH): Un corpus rilasciato pubblicamente di 6.588 repository etichettati con codici NAICS a 2 cifre, che copre 19 dei 20 settori NAICS. Il dataset include i metadati del repository, il testo pulito e il punteggio di confidenza e la motivazione dell'LLM.
Pipeline Riproducibile: Una pipeline completa e open-source (Licenza MIT) che combina il recupero denso (BGE + FAISS) con la verifica tramite LLM (GPT-4.1). La pipeline è progettata per essere adattabile ad altre tassonomie industriali.
Validazione: Un sottoinsieme "gold" verificato manualmente di 2.421 repository conferma la precisione della pipeline.
Benchmark: Un confronto testa a testa di sei encoder pre-addestrati (RoBERTa, ModernBERT, DeBERTa-v3) perfezionati (fine-tuned) sul corpus.

Risultati e Validazione

Precisione: Sul campione gold validato dall'uomo, la pipeline raggiunge una precisione del 96,98% (CI di Wilson al 95%: [96,23%, 97,59%]).
Correlazione del Punteggio: La precisione correla monotonicamente con il punteggio di GPT-4.1: 90,76% con punteggio 8, 97,81% con punteggio 9 e 99,30% con punteggio 10.
Varianza del Settore: Sei settori (inclusi Pubblica Amministrazione, Informazione e Minerario) hanno raggiunto il 100% di precisione nel campione gold. Tuttavia, Manifattura (31–33) e Commercio all'Ingrosso (42) hanno mostrato una precisione inferiore (73,0%) alla soglia di punteggio $\ge 8$ , suggerendo che questi settori siano più difficili da distinguere dagli strumenti generici di supply-chain.
Riproducibilità: Eseguire nuovamente la pipeline su hardware diversi riproduce il set di candidati entro lo 0,03% della dimensione originale.
Prestazioni di Benchmark: Tra sei encoder perfezionati, RoBERTa-large ha ottenuto le migliori prestazioni sul test-set con un F1 dell'86,45% e un'accuratezza dell'86,35%. Notevolmente, un numero maggiore di parametri non ha migliorato uniformemente le prestazioni (ad esempio, ModernBERT-large è stato meno performante di ModernBERT-base), suggerendo che per questo corpus (circa 4,6k esempi di addestramento) gli obiettivi di pre-addestramento contano più della scala.

Significato e Rivendicazioni
L'articolo sostiene di fornire il primo corpus multi-giurisdizionale disponibile pubblicamente che mappa i repository GitHub allo standard NAICS. Questa risorsa colma una lacuna critica per economisti, decisori politici e ricercatori che studiano l'allocazione del lavoro e del capitale nel settore del software. Gli autori posizionano il dataset non come una verità assoluta perfetta (riconoscendo il rumore nelle etichette in settori specifici e il limite del modello di recupero alla sola lingua inglese) ma come una risorsa ad alta confidenza che abilita il lavoro empirico sulla composizione industriale dell'open source. Il rilascio include il dataset, i checkpoint perfezionati e il codice completo della pipeline per facilitare la ricerca a valle e la replicazione.