🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

Cet article présente NAICS-GH, un corpus de haute précision, publié publiquement, comprenant 6 588 dépôts GitHub étiquetés avec les secteurs industriels NAICS 2022 via un pipeline de recherche et de vérification combinant les plongements BAAI/bge-large-en et GPT-4.1, lequel atteint une précision validée par l'humain de 96,98 % et sert de référence pour la classification industrielle dans la recherche sur l'innovation en code source ouvert.

Auteurs originaux : Kevin Xu, Alexander Quispe

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kevin Xu, Alexander Quispe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez GitHub comme une bibliothèque immense et chaotique contenant des centaines de millions de livres (des dépôts de code). Le problème est que, bien que la bibliothèque connaisse le titre de chaque livre, elle ne possède pas de « système Dewey » pour vous dire quel type d'entreprise ou d'industrie ce livre est destiné. Ce code est-il pour une banque ? Une ferme ? Un studio de jeux vidéo ? Sans cette étiquette, il est difficile pour les économistes, les décideurs politiques ou les entreprises de comprendre comment différentes industries utilisent le logiciel libre.

Ce document présente NAICS-GH, un nouveau système qui agit comme un bibliothécaire ultra-intelligent pour organiser ces livres selon le système de classification des industries de l'Amérique du Nord (SCIAN) — le système de classement standard utilisé par les gouvernements des États-Unis, du Canada et du Mexique.

Voici comment ils l'ont construit, expliqué simplement :

1. Le « Filet de pêche » (Récupération)

Tout d'abord, l'équipe ne pouvait pas lire chaque livre de la bibliothèque (il y a plus de 1,3 million de candidats). Ils ont donc utilisé un filet numérique appelé embeddings BGE et FAISS.

La métaphore : Imaginez que vous avez une liste de 1 000 mots-clés spécifiques (comme « rendement des cultures », « sécurité bancaire » ou « planification hospitalière »). Vous jetez ces mots-clés dans la bibliothèque, et le filet attrape instantanément les 20 livres qui semblent les plus proches de chaque mot-clé.
Le résultat : Ce filet a capturé environ 31 000 correspondances potentielles. Il a jeté un large filet pour s'assurer de ne rien manquer, mais il a aussi attrapé des « quasi-matches » (des livres qui sonnaient de manière similaire mais qui n'étaient pas tout à fait corrects).

2. L' « Expert Juge » (Vérification)

Le filet était trop lâche, il fallait donc un juge strict pour vérifier les prises. Ils ont engagé GPT-4.1 (une IA très avancée) pour agir en tant qu'expert de domaine.

La métaphore : Considérez GPT-4.1 comme un inspecteur chevronné. Pour chaque livre capturé par le filet, l'inspecteur lit la couverture, le résumé et les premières pages (la description du dépôt et le README).
La grille d'évaluation : L'inspecteur ne se contente pas de deviner ; il utilise une liste de contrôle stricte (une « grille »). Il demande : « Ce code résout-il réellement un problème pour cette industrie spécifique ? »
- Si la réponse est un « Oui » clair, l'inspecteur donne une note de 9 ou 10.
- Si c'est un « Peut-être », la note est plus basse.
- S'il s'agit d'un outil générique utilisé par tout le monde (comme une calculatrice de base), il reçoit une note faible.
Le seuil de coupure : Ils n'ont conservé que les livres ayant obtenu un score de 8 ou plus. Cela garantissait qu'ils ne gardaient que les correspondances de haute confiance.

3. La Collection Finale (Le Jeu de Données)

Après que le juge IA a filtré les correspondances faibles, il restait 6 588 dépôts de haute qualité.

Ceux-ci sont répartis dans 19 industries différentes (comme l'Agriculture, l'Industrie manufacturière, la Santé et la Finance).
Ils ont intentionnellement laissé de côté une catégorie (« Gestion d'entreprises ») car il n'y avait pas assez d'exemples clairs pour constituer un groupe fiable.
Crucialement : Ils ont supprimé les noms des propriétaires pour protéger la vie privée, ne conservant que le contenu du code et l'étiquette de l'industrie.

4. Est-ce que cela a fonctionné ? (Validation)

Pour s'assurer que le juge IA n'hallucinait pas, l'équipe a engagé des assistants de recherche humains pour vérifier aléatoirement 2 421 de ces livres étiquetés.

Le résultat : Les juges humains étaient d'accord avec l'IA 96,98 % du temps.
La nuance : L'IA était presque parfaite pour les industries claires comme l'« Administration publique » ou les « Arts et divertissements ». Cependant, elle a eu un peu plus de mal avec l'« Industrie manufacturière » et le « Commerce de gros », où le logiciel peut parfois paraître générique. Le document note que si vous augmentez l'exigence de score à 9 ou 10, la précision dans ces industries délicates augmente encore davantage.

5. L' « Outil d'enseignement » (Benchmark)

Enfin, l'équipe a utilisé cette nouvelle bibliothèque étiquetée pour enseigner à six modèles d'IA différents comment classifier le code par eux-mêmes.

Ils ont testé des modèles comme RoBERTa, ModernBERT et DeBERTa.
Le gagnant : Un modèle appelé RoBERTa-large a le mieux appris, atteignant une précision de 86,45 % sur un ensemble de test qu'il n'avait jamais vu auparavant.
La conclusion : Cela prouve qu'une fois que vous avez une bonne « bibliothèque étiquetée », vous pouvez entraîner des modèles d'IA plus petits et plus rapides pour effectuer le travail de classification automatiquement à l'avenir.

Résumé

Le document présente un jeu de données accessible au public qui fait correspondre le code GitHub aux industries du monde réel. Il a été construit en :

Jetant un large filet pour trouver des correspondances potentielles.
Utilisant un juge IA strict pour les vérifier par rapport à une liste de contrôle détaillée.
Faisant vérifier le travail par des humains pour garantir une précision de 97 %.
Publiant les données et le code afin que quiconque puisse étudier comment différentes industries utilisent les logiciels libres.

Les auteurs déclarent explicitement qu'il s'agit d'un système de classification nord-américain appliqué mondialement, et ils avertissent que, bien que les étiquettes soient très précises, elles ne sont pas parfaites pour chaque industrie (spécifiquement l'industrie manufacturière et le commerce de gros). Ils notent également que le système fonctionne actuellement mieux avec les descriptions de code en langue anglaise.

Résumé Technique : Classification Industrielle des Dépôts GitHub via la NAICS

Énoncé du Problème
GitHub héberge des centaines de millions de dépôts publics mais manque d'un mécanisme natif pour mapper ces dépôts à des secteurs industriels standardisés. Cette absence de métadonnées industrielles structurées limite la recherche empirique sur la géographie de l'innovation, la composition industrielle de la production open-source et la diffusion des technologies à travers les secteurs économiques. Les efforts de classification existants se sont appuyés sur des balises de sujets (topic tags) déclarées par les utilisateurs ou sur des domaines d'applications logicielles, mais aucun n'a adopté une taxonomie économique standardisée telle que le Système de Classification de l'Amérique du Nord (NAICS) à travers plusieurs juridictions.

Méthodologie : Le Pipeline NAICS-GH
Les auteurs présentent NAICS-GH, un corpus de 6 588 dépôts GitHub étiquetés avec des codes NAICS à 2 chiffres (NAICS 2022). Le jeu de données est construit à l'aide d'un pipeline reproductible en deux étapes, « récupérer et vérifier » (retrieve-and-verify), appliqué à des pools de sources provenant des États-Unis, de l'Union européenne et de l'Australie.

Extraction du Pool de Sources :
- Données : 1 372 489 dépôts publics non dérivés (non-fork) ont été extraits de l'entrepôt de données interne de GitHub.
- Critères d'Inclusion : Les dépôts doivent être publics, posséder au moins une étoile (star), contenir un README de $\ge$ 750 octets, comporter $> 6$ commits et impliquer $\ge 2$ contributeurs distincts.
- Juridictions : Le pool est divisé par pays du compte propriétaire : USA (510 380), UE-27 (530 898) et Australie (331 211).
Étape 1 : Récupération Sémantique (Génération de Candidats) :
- Plongement (Embedding) : Les README des dépôts (1 000 premiers caractères) sont encodés à l'aide de plongements BAAI/bge-large-en.
- Construction de Requêtes : Le pipeline utilise une taxonomie de 1 029 expressions de sous-industries NAICS à 6 chiffres distinctes. Pour chaque expression, une requête « Repositories about {subindustry} » est générée.
- Récupération : En utilisant FAISS (IndexFlatIP) pour une recherche exacte par produit scalaire, le système récupère les $k$ meilleurs éléments les plus sémantiquement similaires. La valeur de $k$ est adaptative : $k=20$ pour les secteurs possédant de nombreuses sous-industries, et augmentée ( $k \approx 24\text{--}29$ ) pour les secteurs possédant peu de sous-industries afin de garantir environ 400 candidats par secteur.
- Sortie : Cette étape produit 31 178 paires (dépôt, secteur) candidates uniques.
Étape 2 : Vérification par LLM (Filtrage) :
- Modèle : GPT-4.1 (instantané gpt-4.1-2025-04-14) est utilisé comme vérificateur.
- Entrée : Le modèle reçoit une invite (prompt) structurée contenant la description du dépôt, les balises de sujets (topic tags) et le README nettoyé (concaténés), ainsi que la définition du secteur NAICS cible.
- Grille d'Évaluation : Le modèle évalue la correspondance sur une échelle de 1 à 10 basée sur quatre critères : logiciels spécifiques à l'industrie, fonctionnalités pertinentes pour le secteur, applications de domaine sectoriel et données/recherche spécifiques au secteur.
- Seuil : Les candidats ayant un score $\ge 8$ sont conservés. Un filtre de taille minimale de classe ( $n \ge 80$ ) est appliqué, supprimant le Secteur 55 (« Gestion des entreprises et des sociétés ») qui n'avait que 13 candidats validés.

Principales Contributions

Jeu de Données (NAICS-GH) : Un corpus de 6 588 dépôts publié, étiqueté avec des codes NAICS à 2 chiffres, couvrant 19 des 20 secteurs NAICS. Le jeu de données inclut les métadonnées du dépôt, le texte nettoyé, ainsi que le score de confiance et la justification de l'LLM.
Pipeline Reproductible : Un pipeline complet et open-source (Licence MIT) combinant la récupération dense (BGE + FAISS) avec la vérification par LLM (GPT-4.1). Le pipeline est conçu pour être adaptable à d'autres taxonomies industrielles.
Validation : Un sous-ensemble « gold » vérifié manuellement de 2 421 dépôts confirme la précision du pipeline.
Benchmarks : Une comparaison directe de six encodeurs pré-entraînés (RoBERTa, ModernBERT, DeBERTa-v3) affinés (fine-tuned) sur le corpus.

Résultats et Validation

Précision : Sur l'échantillon « gold » validé par l'humain, le pipeline atteint une précision de 96,98 % (IC Wilson 95 % : [96,23 %, 97,59 %]).
Corrélation des Scores : La précision est corrélée de manière monotone avec le score GPT-4.1 : 90,76 % à un score de 8, 97,81 % à un score de 9, et 99,30 % à un score de 10.
Variance Sectorielle : Six secteurs (incluant l'Administration publique, l'Information et les Mines) ont atteint 100 % de précision dans l'échantillon gold. Cependant, la Manufacture (31–33) et le Commerce de gros (42) ont montré une précision plus faible (73,0 %) au seuil de score $\ge 8$ , suggérant que ces secteurs sont plus difficiles à distinguer des outils génériques de chaîne d'approvisionnement.
Reproductibilité : Relancer le pipeline sur un matériel différent reproduit le jeu de candidats à 0,03 % près de la taille originale.
Performance de Benchmark : Parmi six encodeurs affinés, RoBERTa-large a obtenu la meilleure performance sur l'ensemble de test avec 86,45 % de F1 et 86,35 % de précision. Notamment, des nombres de paramètres plus élevés n'ont pas uniformément amélioré la performance (par exemple, ModernBERT-large a sous-performé ModernBERT-base), suggérant que pour la taille de ce corpus (~4,6k exemples d'entraînement), les objectifs de pré-entraînement comptent plus que l'échelle.

Signification et Revendications
L'article affirme fournir le premier corpus multi-juridictionnel disponible publiquement reliant les dépôts GitHub à la norme NAICS. Cette ressource comble une lacune critique pour les économistes, les décideurs politiques et les chercheurs étudiant le secteur logiciel, l'allocation du travail et du capital. Les auteurs positionnent le jeu de données non pas comme une vérité terrain parfaite (reconnaissant le bruit d'étiquetage dans certains secteurs et la limitation du modèle de récupération à l'anglais), mais comme une ressource de haute confiance permettant le travail empirique sur la composition industrielle de l'open source. La publication inclut le jeu de données, les points de contrôle (checkpoints) affinés et le code complet du pipeline pour faciliter la recherche en aval et la réplication.