🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

Dit artikel introduceert NAICS-GH, een hoogwaardige, publiekelijk vrijgegeven corpus van 6.588 GitHub-repositories gelabeld met NAICS 2022 industrieel sectoren middels een retrieve-and-verify-pipeline die BAAI/bge-large-en embeddings en GPT-4.1 combineert, wat een door mensen gevalideerde precisie van 96,98% bereikt en dient als een benchmark voor industriële classificatie in onderzoek naar open-source innovatie.

Oorspronkelijke auteurs: Kevin Xu, Alexander Quispe

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin Xu, Alexander Quispe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je GitHub voor als een enorme, chaotische bibliotheek met honderden miljoenen boeken (code-repositories). Het probleem is dat de bibliotheek wel de titel van elk boek kent, maar geen "Duitsalig Systeem" heeft om aan te geven voor welk type bedrijf of industrie dit boek eigenlijk is. Is deze code voor een bank? Een boerderij? Een videogame-studio? Zonder dit label is het voor economen, beleidsmakers of bedrijven moeilijk om te begrijpen hoe verschillende industrieën open-source software gebruiken.

Dit paper introduceert NAICS-GH, een nieuw systeem dat fungeert als een superintelligente bibliothecaris om deze boeken te organiseren volgens het North American Industry Classification System (NAICS) — het standaard classificatiesysteem dat wordt gebruikt door overheden in de VS, Canada en Mexico.

Hier is hoe ze het hebben gebouwd, eenvoudig uitgelegd:

1. Het "Visnet" (Retrieval)

Eerst kon het team niet elk afzonderlijk boek in de bibliotheek lezen (er zijn meer dan 1,3 miljoen kandidaten). Daarom gebruikten ze een digitaal visnet genaamd BGE embeddings en FAISS.

De Metafoor: Stel je voor dat je een lijst hebt van 1.000 specifieke trefwoorden (zoals "oogstopbrengst", "beveiliging van bankwezen" of "planning in de zorg"). Je gooit deze trefwoorden in de bibliotheek, en het net grijpt direct de top 20 boeken die het meest op elk trefwoord lijken.
Het Resultaat: Dit net ving ongeveer 31.000 potentiële matches op. Ze wierpen een breed net uit om er zeker van te zijn dat ze niets misten, maar ze vingen ook enkele "bijna-matches" (boeken die qua klank leken, maar niet helemaal de juiste waren).

2. De "Deskundige Rechter" (Verification)

Het net was te losmazig, dus ze hadden een strikte rechter nodig om de vangsten te verifiëren. Ze huurden GPT-4.1 (een zeer geavanceerde AI) in om als domeinexpert te fungeren.

De Metafoor: Denk aan GPT-4.1 als een ervaren inspecteur. Voor elk boek dat het net heeft gevangen, leest de inspecteur de cover, de samenvatting en de eerste paar pagina's (de beschrijving van de repository en de README).
Het Rubriek: De inspecteur gokt niet zomaar; hij gebruikt een strikte checklist (een "rubriek"). Hij vraagt zich af: "Lost deze code daadwerkelijk een probleem op voor deze specifieke industrie?"
- Als het antwoord een duidelijk "Ja" is, geeft de inspecteur een score van 9 of 10.
- Als het een "Misschien" is, is de score lager.
- Als het een generiek hulpmiddel is dat door iedereen wordt gebruikt (zoals een basis rekenmachine), krijgt het een lage score.
De Afkapgrens: Ze hielden alleen de boeken over die een score van 8 of hoger kregen. Dit zorgde ervoor dat ze alleen de matches met een hoog vertrouwen behielden.

3. De "Definitieve Collectie" (The Dataset)

Nadat de AI-rechter de zwakke matches had weggefilterd, bleven er 6.588 hoogwaardige repositories over.

Deze zijn verspreid over 19 verschillende industrieën (zoals landbouw, productie, gezondheidszorg en financiële dienstverlening).
Ze hebben bewust één categorie weggelaten ("Management van bedrijven") omdat er niet genoeg duidelijke voorbeelden waren om een betrouwbare groep te vormen.
Cruciaal: Ze hebben de namen van de eigenaren verwijderd om de privacy te beschermen, waarbij alleen de inhoud van de code en het industrie-label zijn behouden.

4. Werkte het? (Validation)

Om te controleren of de AI-rechter niet aan het hallucineren was, huurde het team menselijke onderzoeksassistenten in om willekeurig 2.421 van deze gelabelde boeken te controleren.

Het Resultaat: De menselijke beoordelaars waren het in 96,98% van de gevallen eens met de AI.
De Nuance: De AI was bijna perfect voor duidelijk afgebakende industrieën zoals "Openbaar Bestuur" of "Kunst & Entertainment". De AI had echter iets meer moeite met "Productie" en "Groothandel", waar software soms generiek kan lijken. Het paper merkt op dat wanneer de score-eis wordt verhoogd naar een 9 of 10, de nauwkeurigheid in die lastige industrieën nog hoger wordt.

5. Het "Leermiddel" (Benchmark)

Ten slotte gebruikte het team deze nieuwe, gelabelde bibliotheek om zes verschillende AI-modellen te leren hoe ze code zelfstandig kunnen classificeren.

Ze testten modellen zoals RoBERTa, ModernBERT en DeBERTa.
De Winnaar: Een model genaamd RoBERTa-large leerde het best en behaalde een nauwkeurigheid van 86,45% op een testset die het nog nooit eerder had gezien.
De Les: Dit bewijst dat zodra je een goede "gelabelde bibliotheek" hebt, je kleinere, snellere AI-modellen kunt trainen om het classificatiewerk in de toekomst automatisch uit te voeren.

Samenvatting

Het paper presenteert een publiek toegankelijke dataset die GitHub-code koppelt aan real-world industrieën. Deze is gebouwd door:

Een breed net uit te gooien om potentiële matches te vinden.
Een strikte AI-rechter in te zetten om deze te verifiëren aan de hand van een gedetailleerde checklist.
Mensen de controle te laten doen om de nauwkeurigheid van 97% te waarborgen.
De data en de code vrij te geven zodat iedereen kan bestuderen hoe verschillende industrieën open-source software gebruiken.

De auteurs geven expliciet aan dat dit een Noord-Amerikaans classificatiesysteem is dat wereldwijd wordt toegepast, en ze waarschuwen dat hoewel de labels zeer accuraat zijn, ze niet perfect zijn voor elke enkele industrie (met name productie en groothandel). Ze merken ook op dat het systeem momenteel het beste werkt met Engelstalige codebeschrijvingen.

Technische Samenvatting: Industriële Classificatie van GitHub-repositories met behulp van NAICS

Probleemstelling
GitHub host honderden miljoenen publieke repositories, maar mist een inheems mechanisme om deze repositories te koppelen aan gestandaardiseerde industriële sectoren. Dit gebrek aan gestructureerde industriële metadata beperkt empirisch onderzoek naar de geografie van innovatie, de industriële samenstelling van open-source productie en de diffusie van technologieën over economische sectoren heen. Bestaande classificatiepogingen hebben vertrouwd op door gebruikers opgegeven topic-tags of software-applicatiedomeinen, maar geen enkele heeft een gestandaardiseerde economische taxonomie zoals het North American Industry Classification System (NAICS) over meerdere jurisdicties toegepast.

Methodologie: De NAICS-GH Pipeline
De auteurs presenteren NAICS-GH, een corpus van 6.588 GitHub-repositories gelabeld met 2-cijferige NAICS-codes (NAICS 2022). De dataset is geconstrueerd met behulp van een reproduceerbare, twee-fasen "retrieve-and-verify" pipeline toegepast op bronpools uit de Verenigde Staten, de Europese Unie en Australië.

Extractie van de Bronpool:
- Data: 1.372.489 publieke, niet-geforkte repositories zijn geëxtraheerd uit de interne data warehouse van GitHub.
- Inclusiecriteria: Repositories moeten publiek zijn, ten minste één star hebben, een README van $\ge$ 750 bytes bevatten, $>6$ commits hebben en $\ge 2$ verschillende bijdragers involveren.
- Jurisdicties: De pool is gesplitst op basis van het land van het account van de eigenaar: VS (510.380), EU-27 (530.898) en Australië (331.211).
Fase 1: Semantische Retrieval (Kandidaatgeneratie):
- Embedding: Repository READMEs (de eerste 1.000 tekens) worden gecodeerd met behulp van BAAI/bge-large-en embeddings.
- Query Constructie: De pipeline gebruikt een taxonomie van 1.029 verschillende 6-cijferige NAICS-subindustrie-frases. Voor elke frase wordt de query "Repositories about {subindustry}" gegenereerd.
- Retrieval: Gebruikmakend van FAISS (IndexFlatIP) voor exacte inner-product search, vindt het systeem de top- $k$ semantisch meest gelijkaardige repositories. De $k$ -waarde is adaptief: $k=20$ voor sectoren met veel subindustrieën, en verhoogd ( $k \approx 24\text{--}29$ ) voor sectoren met weinig subindustrieën om ongeveer 400 kandidaten per sector te waarborgen.
- Output: Deze stap levert 31.178 unieke (repository, sector) kandidaat-paren op.
Fase 2: LLM Verificatie (Filtering):
- Model: GPT-4.1 (snapshot gpt-4.1-2025-04-14) wordt gebruikt als verifieerder.
- Input: Het model ontvangt een gestructureerde prompt met de beschrijving van de repository, topic tags en de schoongemaakte README (geconcateneerd), naast de doelstelling van de NAICS-sector.
- Rubriek: Het model scoort de match op een schaal van 1–10 op basis van vier criteria: industrie-specifieke software, sector-relevante functionaliteit, industrie-domein toepassingen en sector-specifieke data/onderzoek.
- Drempelwaarde: Kandidaten met een score $\ge 8$ worden behouden. Een filter voor minimale klasse-omvang ( $n \ge 80$ ) wordt toegepast, waarbij Sector 55 ("Management of Companies and Enterprises") wordt verwijderd omdat deze slechts 13 passerende kandidaten had.

Belangrijkste Bijdragen

Dataset (NAICS-GH): Een publiekelijk vrijgegeven corpus van 6.588 repositories gelabeld met 2-cijferige NAICS-codes, dekkend over 19 van de 20 NAICS-sectoren. De dataset bevat repository-metadata, schoongemaakte tekst, en de betrouwbaarheidsscore en rationale van de LLM.
Reproduceerbare Pipeline: Een volledige, open-source pipeline (MIT Licentie) die dense retrieval (BGE + FAISS) combineert met LLM-verificatie (GPT-4.1). De pipeline is ontworpen om aanpasbaar te zijn aan andere industriële taxonomieën.
Validatie: Een handmatig geverifieerde "gold" subset van 2.421 repositories bevestigt de precisie van de pipeline.
Benchmarks: Een head-to-head vergelijking van zes voorgetrainde encoders (RoBERTa, ModernBERT, DeBERTa-v3) die gefinetuned zijn op het corpus.

Resultaten en Validatie

Precisie: Op de handmatig gevalideerde gold sample bereikt de pipeline een precisie van 96,98% (95% Wilson CI: [96,23%, 97,59%]).
Score Correlatie: Precisie correleert monotoon met de GPT-4.1 score: 90,76% bij score 8, 97,81% bij score 9, en 99,30% bij score 10.
Sector Variantie: Zes sectoren (waaronder Openbare Administratie, Informatie en Mijnbouw) behaalden 100% precisie in de gold sample. Echter, Productie (31–33) en Groothandel (42) vertoonden een lagere precisie (73,0%) bij de score $\ge 8$ drempelwaarde, wat suggereert dat deze sectoren moeilijker te onderscheiden zijn van generieke supply-chain tooling.
Reproduceerbaarheid: Het opnieuw draaien van de pipeline op verschillende hardware reproduceert de kandidaat-set tot binnen 0,03% van de oorspronkelijke grootte.
Benchmark Prestaties: Onder zes gefinetunde encoders behaalde RoBERTa-large de hoogste test-set prestatie met 86,45% F1 en 86,35% nauwkeurigheid. Opvallend genoeg verbeterden grotere parameters tellingen niet uniform de prestaties (bijv. ModernBERT-large presteerde slechter dan ModernBERT-base), wat suggereert dat voor dit corpusformaat (~4,6k trainingsvoorbeelden) pretraining-doelstellingen belangrijker zijn dan schaal.

Betekenis en Claims
Het artikel claimt de eerste publiekelijk beschikbare, multi-jurisdictionele corpus te bieden die GitHub-repositories koppelt aan de NAICS-standaard. Deze bron adresseert een kritiek gat voor economen, beleidsmakers en onderzoekers die de industriële samenstelling van de softwaresector bestuderen. De auteurs positioneren de dataset niet als een perfecte grondwaarheid (waarbij zij labelruis in specifieke sectoren en de Engels-talige beperking van het retrieval-model erkennen), maar als een hoog-betrouwbare bron die empirisch werk mogelijk maakt op de industriële samenstelling van open source. De release omvat de dataset, gefinetuned checkpoints en de volledige pipeline-code om downstream onderzoek en replicatie te faciliteren.