🤖 AI

Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)

यह शोध पत्र NAICS-GH प्रस्तुत करता है, जो 6,588 GitHub रिपॉजिटरी का एक उच्च-परिशुद्धता, सार्वजनिक रूप से जारी कॉर्पस है जिसे BAAI/bge-large-en एम्बेडिंग्स और GPT-4.1 को संयोजित करने वाले एक 'रिट्रीव-एंड-वेरिफाई' पाइपलाइन का उपयोग करके NAICS 2022 उद्योग क्षेत्रों के साथ लेबल किया गया है, जो 96.98% मानव-सत्यापित परिशुद्धता प्राप्त करता है और ओपन-सोर्स नवाचार अनुसंधान में उद्योग वर्गीकरण के लिए एक बेंचमार्क के रूप में कार्य करता है।

मूल लेखक: Kevin Xu, Alexander Quispe

प्रकाशित 2026-07-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kevin Xu, Alexander Quispe

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

GitHub को एक विशाल, अराजक पुस्तकालय के रूप में कल्पना करें जिसमें करोड़ों पुस्तकें (कोड रिपॉजिटरी) हैं। समस्या यह है कि हालांकि पुस्तकालय को हर पुस्तक का शीर्षक पता है, लेकिन उसके पास कोई "ड्यूई डेसिमल सिस्टम" (Dewey Decimal System) नहीं है जो यह बता सके कि वह पुस्तक वास्तव में किस प्रकार के व्यवसाय या उद्योग के लिए है। क्या यह कोड किसी बैंक के लिए है? किसी खेत के लिए? या किसी वीडियो गेम स्टूडियो के लिए? बिना इस लेबल के, अर्थशास्त्रियों, नीति निर्माताओं या कंपनियों के लिए यह समझना कठिन है कि विभिन्न उद्योग ओपन-सोर्स सॉफ़्टवेयर का उपयोग कैसे कर रहे हैं।

यह शोध पत्र NAICS-GH पेश करता है, जो एक नया सिस्टम है जो इन पुस्तकों को व्यवस्थित करने के लिए एक सुपर-स्मार्ट लाइब्रेरियन की तरह कार्य करता है—जो कि नॉर्थ अमेरिकन इंडस्ट्री क्लासिफिकेशन सिस्टम (NAICS) है, यानी अमेरिका, कनाडा और मैक्सिको में सरकारों द्वारा उपयोग की जाने वाली मानक फाइलिंग प्रणाली।

यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया, सरल शब्दों में:

1. "फिशिंग नेट" (रिट्रीवल/खोज)

सबसे पहले, टीम पूरी लाइब्रेरी की हर एक किताब नहीं पढ़ सकती थी (वहाँ 1.3 मिलियन से अधिक उम्मीदवार हैं)। इसलिए, उन्होंने BGE एम्बेडिंग्स और FAISS नामक एक डिजिटल फिशिंग नेट का उपयोग किया।

रूपक (Metaphor): कल्पना करें कि आपके पास 1,000 विशिष्ट कीवर्ड्स की एक सूची है (जैसे "फसल की पैदावार," "बैंकिंग सुरक्षा," या "अस्पताल शेड्यूलिंग")। आप इन कीवर्ड्स को लाइब्रेरी में फेंकते हैं, और नेट तुरंत उन शीर्ष 20 किताबों को पकड़ लेता है जो उस कीवर्ड के सबसे समान सुनाई देती हैं।
परिणाम: इस नेट ने लगभग 31,000 संभावित मिलान पकड़े। उन्होंने एक विस्तृत जाल फैलाया ताकि वे कुछ भी मिस न कर दें, लेकिन इसमें कुछ "लगभग सही" (ऐसी किताबें जो सुनने में समान थीं लेकिन पूरी तरह सही नहीं थीं) भी शामिल हो गईं।

2. "विशेषज्ञ निर्णायक" (वेरिफिकेशन/सत्यापन)

नेट बहुत ढीला था, इसलिए उन्हें पकड़े गए मिलानों को सत्यापित करने के लिए एक सख्त निर्णायक की आवश्यकता थी। उन्होंने GPT-4.1 (एक बहुत ही उन्नत AI) को एक डोमेन विशेषज्ञ के रूप में काम पर रखा।

रूपक: GPT-4.1 को एक अनुभवी निरीक्षक के रूप में सोचें। नेट ने जिस भी किताब को पकड़ा, निरीक्षक उसका कवर, सारांश और शुरुआती कुछ पन्ने (रिपॉजिटरी का विवरण और README) पढ़ता है।
रूब्रिक (नियम पुस्तिका): निरीक्षक केवल अनुमान नहीं लगाता; वह एक सख्त चेकलिस्ट (एक "रूब्रिक") का उपयोग करता है। वह पूछता है: "क्या यह कोड वास्तव में इस विशिष्ट उद्योग के लिए किसी समस्या का समाधान करता है?"
- यदि उत्तर स्पष्ट "हाँ" है, तो निरीक्षक उसे 9 या 10 का स्कोर देता है।
- यदि उत्तर "शायद" है, तो स्कोर कम होता है।
- यदि यह एक सामान्य टूल है जिसका उपयोग हर कोई करता है (जैसे एक बुनियादी कैलकुलेटर), तो इसे कम स्कोर मिलता है।
कट-ऑफ: उन्होंने केवल उन्हीं किताबों को रखा जिन्हें 8 या उससे अधिक का स्कोर मिला। इससे यह सुनिश्चित हुआ कि वे केवल उच्च-विश्वास वाले मिलान ही रखें।

3. अंतिम संग्रह (डेटासेट)

AI निर्णायक ने कमजोर मिलानों को फ़िल्टर करने के बाद, उनके पास 6,588 उच्च-गुणवत्ता वाली रिपॉजिटरी बचीं।

ये 19 अलग-अलग उद्योगों (जैसे कृषि, विनिर्माण, स्वास्थ्य सेवा और वित्त) में फैली हुई हैं।
उन्होंने जानबूझकर एक श्रेणी ("कंपनियों का प्रबंधन") को छोड़ दिया क्योंकि विश्वसनीय समूह बनाने के लिए पर्याप्त स्पष्ट उदाहरण नहीं थे।
महत्वपूर्ण: उन्होंने गोपनीयता की रक्षा के लिए मालिकों के नाम हटा दिए, केवल कोड की सामग्री और उद्योग का लेबल रखा।

4. क्या यह काम कर गया? (वैलिडेशन/सत्यापन)

यह सुनिश्चित करने के लिए कि AI निर्णायक भ्रमित (hallucinating) नहीं हो रहा है, टीम ने मानव अनुसंधान सहायकों को यादृच्छिक रूप से (randomly) 2,421 इन लेबल वाली किताबों की जांच करने के लिए काम पर लगाया।

परिणाम: मानव निर्णायकों ने AI के साथ 96.98% बार सहमति जताई।
बारीकी (Nuance): AI स्पष्ट-कट उद्योगों जैसे "सार्वजनिक प्रशासन" या "कला और मनोरंजन" के लिए लगभग सटीक था। हालाँकि, इसे "विनिर्माण" (Manufacturing) और "थोक व्यापार" (Wholesale Trade) के साथ थोड़ा संघर्ष करना पड़ा, जहाँ सॉफ़्टवेयर कभी-कभी सामान्य लग सकता है। शोध पत्र नोट करता है कि यदि आप स्कोर की आवश्यकता को बढ़ाकर 9 या 10 कर देते हैं, तो उन कठिन उद्योगों में सटीकता और भी बढ़ जाती है।

5. "शिक्षण उपकरण" (बेंचमार्क)

अंत में, टीम ने इस नए, लेबल वाले लाइब्रेरी का उपयोग छह अलग-अलग AI मॉडलों को अपने आप कोड को वर्गीकृत करने के लिए सिखाने के लिए किया।

उन्होंने RoBERTa, ModernBERT, और DeBERTa जैसे मॉडलों का परीक्षण किया।
विजेता: RoBERTa-large नामक एक मॉडल ने सबसे अच्छा सीखा, जिसने एक ऐसे टेस्ट सेट पर 86.45% सटीकता प्राप्त की जिसे उसने पहले कभी नहीं देखा था।
निष्कर्ष: यह साबित करता है कि एक बार आपके पास एक अच्छी "लेबल वाली लाइब्रेरी" हो जाने के बाद, आप भविष्य में वर्गीकरण का काम स्वचालित रूप से करने के लिए छोटे, तेज़ AI मॉडल को प्रशिक्षित कर सकते हैं।

सारांश

यह शोध पत्र एक सार्वजनिक रूप से उपलब्ध डेटासेट प्रस्तुत करता है जो GitHub कोड को वास्तविक दुनिया के उद्योगों से जोड़ता है। इसे इस प्रकार बनाया गया:

संभावित मिलान खोजने के लिए एक विस्तृत जाल फैलाया गया।
एक विस्तृत चेकलिस्ट के विरुद्ध उन्हें सत्यापित करने के लिए एक सख्त AI निर्णायक का उपयोग किया गया।
97% सटीकता सुनिश्चित करने के लिए काम को दोबारा जांचने के लिए मनुष्यों का उपयोग किया गया।
डेटा और कोड को जारी किया गया ताकि कोई भी अध्ययन कर सके कि विभिन्न उद्योग ओपन-सोर्स सॉफ़्टवेयर का उपयोग कैसे करते हैं।

लेखक स्पष्ट रूप से कहते हैं कि यह एक उत्तरी अमेरिकी वर्गीकरण प्रणाली है जिसे वैश्विक स्तर पर लागू किया गया है, और वे चेतावनी देते हैं कि हालांकि लेबल अत्यधिक सटीक हैं, लेकिन वे हर उद्योग (विशेष रूप से विनिर्माण और थोक व्यापार) के लिए पूर्ण नहीं हैं। वे यह भी नोट करते हैं कि वर्तमान में यह प्रणाली अंग्रेजी-भाषा के कोड विवरणों के साथ सबसे अच्छा काम करती है।

तकनीकी सारांश: NAICS का उपयोग करके GitHub रिपॉजिटरी का उद्योग वर्गीकरण

समस्या विवरण
GitHub पर करोड़ों सार्वजनिक रिपॉजिटियाँ मौजूद हैं, लेकिन इनमें स्वाभाविक रूप से उन्हें मानकीकृत उद्योग क्षेत्रों (industry sectors) से जोड़ने की कोई व्यवस्था नहीं है। इस संरचित उद्योग मेटाडेटा के अभाव के कारण नवाचार के भूगोल, ओपन-सोर्स उत्पादन की औद्योगिक संरचना, और विभिन्न आर्थिक क्षेत्रों में प्रौद्योगिकियों के प्रसार जैसे विषयों पर अनुभवजन्य शोध सीमित हो जाता है। वर्गीकरण के मौजूदा प्रयास उपयोगकर्ता द्वारा घोषित विषय टैग (topic tags) या सॉफ्टवेयर अनुप्रयोग डोमेन पर निर्भर रहे हैं, लेकिन इनमें से किसी ने भी कई क्षेत्राधिकारों (jurisdictions) में एक मानकीकृत आर्थिक वर्गीकरण जैसे कि नॉर्थ अमेरिकन इंडस्ट्री क्लासिफिकेशन सिस्टम (NAICS) को नहीं अपनाया है।

कार्यप्रणाली: NAICS-GH पाइपलाइन
लेखक NAICS-GH प्रस्तुत करते हैं, जो 6,588 GitHub रिपॉजिटियों का एक संग्रह है जिन्हें 2-अंकों वाले NAICS कोड (NAICS 2022) के साथ लेबल किया गया है। यह डेटासेट संयुक्त राज्य अमेरिका, यूरोपीय संघ और ऑस्ट्रेलिया के स्रोत पूलों (source pools) पर लागू एक पुनरुत्पादक (reproducible), दो-चरणीय "रिट्रीव-एंड-वेरिफाई" (retrieve-and-verify) पाइपलाइन का उपयोग करके निर्मित किया गया है।

स्रोत पूल निष्कर्षण (Source Pool Extraction):
- डेटा: GitHub के आंतरिक डेटा वेयरहाउस से 1,372,489 सार्वजनिक, गैर-फोर्क (non-fork) रिपॉजिटियाँ निकाली गईं।
- समावेशन मानदंड: रिपॉजिटियाँ सार्वजनिक होनी चाहिए, उनमें कम से कम एक स्टार होना चाहिए, README का आकार ≥750 बाइट्स होना चाहिए, उसमें >6 कमिट होने चाहिए, और ≥2 अलग-अलग योगदानकर्ता शामिल होने चाहिए।
- क्षेत्राधिकार: पूल को ओनर अकाउंट देश के आधार पर विभाजित किया गया है: USA (510,380), EU-27 (530,898), और ऑस्ट्रेलिया (331,211)।
चरण 1: सिमेंटिक रिट्रीवल (उम्मीदवार पीढ़ी):
- एम्बेडिंग (Embedding): रिपॉजिटरी README (पहले 1,000 वर्णों) को BAAI/bge-large-en एम्बेडिंग्स का उपयोग करके एनकोड किया गया है।
- क्वेरी निर्माण: पाइपलाइन 1,029 विशिष्ट 6-अंकों वाले NAICS उप-उद्योग वाक्यांशों (subindustry phrases) के वर्गीकरण का उपयोग करती है। प्रत्येक वाक्यांश के लिए, एक क्वेरी "{subindustry} के बारे में रिपॉजिटियाँ" बनाई जाती है।
- रिट्रीवल: सटीक इनर-प्रोडक्ट सर्च के लिए FAISS (IndexFlatIP) का उपयोग करते हुए, सिस्टम सबसे सिमेंटिक रूप से समान शीर्ष- $k$ रिपॉजिटियाँ प्राप्त करता है। $k$ का मान अनुकूलनीय (adaptive) है: उन क्षेत्रों के लिए जहाँ कई उप-उद्योग हैं वहाँ $k=20$ , और उन क्षेत्रों के लिए जिसे बढ़ाया गया है ( $k \approx 24\text{--}29$ ) जहाँ कम उप-उद्योग हैं, ताकि प्रति क्षेत्र लगभग 400 उम्मीदवार सुनिश्चित किए जा सकें।
- आउटपुट: यह चरण 31,178 अद्वितीय (रिपॉजिटरी, सेक्टर) उम्मीदवार जोड़े प्रदान करता है।
चरण 2: LLM सत्यापन (फिल्टरिंग):
- मॉडल: सत्यापनकर्ता के रूप में GPT-4.1 (स्नैपशॉट gpt-4.1-2025-04-14) का उपयोग किया गया है।
- इनपुट: मॉडल को रिपॉजिटरी का विवरण, टॉपिक टैग और साफ़ किया गया README (संयोजित), साथ ही लक्षित NAICS सेक्टर की परिभाषा वाला एक संरचित प्रॉम्प्ट प्राप्त होता है।
- रूब्रिक (Rubric): मॉडल उद्योग-विशिष्ट सॉफ्टवेयर, सेक्टर-प्रासंगिक कार्यक्षमता, उद्योग डोमेन अनुप्रयोग, और सेक्टर-विशिष्ट डेटा/अनुसंधान के चार मानदंडों के आधार पर मिलान को 1–10 के पैमाने पर स्कोर करता है।
- थ्रेशोल्डिंग (Thresholding): स्कोर $\ge 8$ वाले उम्मीदवारों को रखा जाता है। एक न्यूनतम क्लास-साइज़ फ़िल्टर ( $n \ge 80$ ) लागू किया गया है, जिससे सेक्टर 55 ("कंपनियों और उद्यमों का प्रबंधन") को हटा दिया गया, जिसमें केवल 13 पास होने वाले उम्मीदवार थे।

प्रमुख योगदान

डेटासेट (NAICS-GH): 6,588 रिपॉजिटियों का एक सार्वजनिक रूप से जारी किया गया संग्रह, जिन्हें 2-अंकों वाले NAICS कोड के साथ लेबल किया गया है, जो 20 में से 19 NAICS क्षेत्रों को कवर करता है। डेटासेट में रिपॉजिटरी मेटाडेटा, साफ़ किया गया टेक्स्ट, और LLM का कॉन्फिडेंस स्कोर और तर्क (rationale) शामिल है।
पुनरुत्पादक पाइपलाइन: एक पूर्ण, ओपन-सोर्स पाइपलाइन (MIT लाइसेंस) जो डेंस रिट्रीवल (BGE + FAISS) को LLM सत्यापन (GPT-4.1) के साथ जोड़ती है। पाइपलाइन को अन्य उद्योग वर्गीकरणों के लिए अनुकूलनीय बनाया गया है।
वैधीकरण (Validation): मानव-सत्यापित "गोल्ड" सबसेट (2,421 रिपॉजिटियाँ) पाइपलाइन की सटीकता (precision) की पुष्टि करता है।
बेंचमार्क: इस कॉर्पस पर फाइन-ट्यून किए गए छह प्री-ट्रेंड एनकोडर्स (RoBERTa, ModernBERT, DeBERTa-v3) का तुलनात्मक अध्ययन।

परिणाम और वैधीकरण

सटीकता (Precision): मानव-सत्यापित गोल्ड सैंपल पर, पाइपलाइन 96.98% प्रिसिजन प्राप्त करती है (95% Wilson CI: [96.23%, 97.59%])।
स्कोर सहसंबंध (Score Correlation): प्रिसिजन, GPT-4.1 स्कोर के साथ एकतुल्य (monotonically) सहसंबंध रखता है: स्कोर 8 पर 90.76%, स्कोर 9 पर 97.81%, और स्कोर 10 पर 99.30%।
सेक्टर भिन्नता: छह क्षेत्रों (जिसमें सार्वजनिक प्रशासन, सूचना, और खनन शामिल हैं) ने गोल्ड सैंपल में 100% प्रिसिजन प्राप्त किया। हालाँकि, मैन्युफैक्चरिंग (31–33) और होलसेल ट्रेड (42) ने स्कोर $\ge 8$ थ्रेशोल्ड पर कम प्रिसिजन (73.0%) दिखाया, जो यह सुझाव देता है कि ये क्षेत्र जेनेरिक सप्लाई-चेन टूलिंग से अलग पहचानना कठिन हैं।
पुनरुत्पादकता (Reproducibility): अलग हार्डवेयर पर पाइपलाइन को फिर से चलाने से मूल आकार के 0.03% के भीतर ही उम्मीदवार सेट का पुनरुत्पादन होता है।
बेंचमार्क प्रदर्शन: छह फाइन-ट्यून किए गए एनकोडर्स के बीच, RoBERTa-large ने उच्चतम टेस्ट-सेट प्रदर्शन के साथ 86.45% F1 और 86.35% सटीकता प्राप्त की। उल्लेखनीय रूप से, बड़े पैरामीटर काउंट ने समान रूप से प्रदर्शन में सुधार नहीं किया (उदाहरण के लिए, ModernBERT-large, ModernBERT-base से कम प्रदर्शन करता है), जो बताता है कि इस कॉर्पस आकार (~4.6k प्रशिक्षण उदाहरणों) के लिए, प्री-ट्रेनिंग ऑब्जेक्टिव्स स्केल से अधिक महत्वपूर्ण हैं।

महत्व और दावे
पेपर का दावा है कि यह GitHub रिपॉजिटियों को NAICS मानक से जोड़ने वाला पहला सार्वजनिक रूप से उपलब्ध, बहु-क्षेत्राधिकार (multi-jurisdictional) कॉर्पस प्रदान करता है। यह संसाधन उन अर्थशास्त्रियों, नीति निर्माताओं और शोधकर्ताओं के लिए एक महत्वपूर्ण अंतर को संबोधित करता है जो सॉफ्टवेयर क्षेत्र के श्रम और पूंजी आवंटन का अध्ययन कर रहे हैं। लेखक इस डेटासेट को एक पूर्ण 'ग्राउंड ट्रुथ' के रूप में नहीं, बल्कि एक उच्च-विश्वास वाले संसाधन के रूप में प्रस्तुत करते हैं (विशिष्ट क्षेत्रों में लेबल शोर और रिट्रीवल मॉडल की अंग्रेजी-मात्र सीमा को स्वीकार करते हुए), जो ओपन-सोर्स की औद्योगिक संरचना पर अनुभवजन्य कार्य को सक्षम बनाता है। रिलीज में डेटासेट, फाइन-ट्यून किए गए चेकपॉइंट्स, और पूर्ण पाइपलाइन कोड शामिल है ताकि डाउनस्ट्रीम रिसर्च और प्रतिकृति (replication) को सुगम बनाया जा सके।