Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
यह शोध पत्र 180 मिलियन रिपॉजिटरी के एक सत्यापित बहु-विधि जनगणना (multi-method census) को प्रस्तुत करता है जो यह प्रकट करता है कि एकल-सिग्नल पहचान विधियाँ AI कोडिंग एजेंटों की व्यापकता का गंभीर रूप से कम आकलन करती हैं—97% तक गतिविधि को चूक जाती हैं—और विभिन्न पहचान चैनल एजेंटों और कार्य के प्रकारों की विशिष्ट, गैर-अतिव्यापी आबादी को कैप्चर करते हैं, जिससे ओपन-सोर्स आपूर्ति श्रृंखला पर उनके प्रभाव को सटीक रूप से मापने के लिए एक समग्र दृष्टिकोण आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि ओपन-सोर्स सॉफ्टवेयर की दुनिया एक विशाल, हलचल भरे शहर की तरह है जिसमें 180 मिलियन से अधिक इमारतें (रिपॉजिटरी) हैं। लंबे समय तक, हमें लगा कि हम जानते थे कि इन संरचनाओं का निर्माण कौन कर रहा है: ज्यादातर मानव वास्तुकार। लेकिन हाल ही में, एक नए प्रकार के अदृश्य निर्माण दल का आगमन हुआ है: AI कोडिंग एजेंट्स।
समस्या क्या है? ये AI दल भेष बदलने में माहिर हैं। कुछ चमकीले यूनिफॉर्म पहनते हैं, कुछ ब्लूप्रिंट पर अपना हस्ताक्षर छोड़ते हैं, और कुछ इतनी शांति से काम करते हैं कि वे बिल्कुल मानव श्रमिकों जैसे दिखते हैं।
यह शोध पत्र एक विशाल, हाई-टेक जनगणना की तरह है जिसने इन अदृश्य श्रमिकों को गिनने की कोशिश की। शोधकर्ताओं ने महसूस किया कि यदि आप केवल एक विशिष्ट संकेत (जैसे कि एक विशिष्ट यूनिफॉर्म) की तलाश करते हैं, तो आप लगभग सभी को खो देंगे। यहाँ उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:
1. "एक-संकेत" का जाल (The "One-Signal" Trap)
कल्पना कीजिए कि आप एक जंगल में सभी पक्षियों को गिनने की कोशिश कर रहे हैं।
- विधि A: आप केवल उन पक्षियों को गिनते हैं जो लाल टोपी पहनते हैं।
- विधि B: आप केवल उन पक्षियों को गिनते हैं जो एक विशिष्ट गीत गाते हैं।
- विधि C: आप केवल उन पक्षियों को गिनते हैं जो एक विशिष्ट प्रकार का पंख छोड़ते हैं।
यदि आप केवल विधि A का उपयोग करते हैं, तो आपको लगेगा कि केवल 10 पक्षी हैं। लेकिन यदि आप तीनों विधियों को मिला देते हैं, तो आप पाएंगे कि वास्तव में 300 पक्षी हैं।
शोध का निष्कर्ष: शोधकर्ताओं ने पाया कि AI को पहचानने के लिए केवल एक तरीके (जैसे कि एक विशिष्ट बॉट अकाउंट नाम को देखना) पर निर्भर रहने से 97% गतिविधि छूट जाती है। "Claude Code" नामक एक लोकप्रिय AI टूल के लिए, केवल इसके आधिकारिक बॉट अकाउंट को खोजने पर 28,000 कमिट मिले। लेकिन जब उन्होंने उन सभी अलग-अलग तरीकों को देखा जिनसे यह अपना निशान छोड़ता है (जैसे कि कोड या कॉन्फ़िगरेशन फ़ाइलों में संदेश), तो उन्हें 850,000 मिले। यह 30 गुना अंतर है।
2. "भेष" के चार प्रकार (The Four Types of "Disguises")
शोधकर्ताओं ने इन एजेंट्स को पकड़ने के लिए चार श्रेणियों के साथ एक "वांटेड पोस्टर" बनाया:
- प्रकार A: यूनिफॉर्म वाला बॉट (The Uniformed Bot)। इन्हें पहचानना आसान है। ये एक विशिष्ट रोबोट ईमेल एड्रेस (जैसे
bot@anthropic.com) के साथ लॉग इन करते हैं। यह एक निर्माण श्रमिक की तरह है जिसने चमकीली नारंगी जैकेट पहनी हो। - प्रकार B: हस्ताक्षर (The Signature)। ये एजents रोबोट अकाउंट का उपयोग नहीं करते हैं, लेकिन वे संदेश में एक नोट छोड़ते हैं, जैसे "Generated by Replit"। यह एक मानव कार्यकर्ता की तरह है जो ब्लूप्रिंट पर एक विशेष स्टैम्प के साथ अपना नाम लिखता है।
- प्रकार C: छिपा हुआ प्रत्यय (The Hidden Suffix)। ये वे इंसान हैं जो AI टूल्स का उपयोग कर रहे हैं और अपने नाम में एक छोटा सा टैग जोड़ देते हैं, जैसे
John (aider)। यह एक मानव कार्यकर्ता की तरह है जिसने एक छोटा पिन पहना है जिस पर "AI Assistant" लिखा है। - प्रकार D: शांत भूत (The Silent Ghost)। ये सबसे चालाक हैं। वे कोड संदेशों या लेखकों के नामों में कोई बदलाव नहीं करते हैं। वे केवल प्रोजेक्ट फोल्डर में एक "सेटअप फ़ाइल" (जैसे कि
.cursorrulesफ़ाइल) छोड़ते हैं। यह एक भूत की तरह है जो केवल पीछे एक टूलबॉक्स छोड़ जाता है लेकिन ईंटों को कभी नहीं छूता। यह समूह बहुत बड़ा है। उदाहरण के लिए, GitHub Copilot मुख्य रूप से इसी तरह पाया जाता है; यह सेटअप फ़ाइलों में हर जगह है लेकिन वास्तविक कोड इतिहास में लगभग अदृश्य है।
3. दो अलग-अलग शहर ("चैनल डिस्कनेक्ट")
शोधकर्ताओं ने अपने "कमिट सिटी" (कोड परिवर्तनों को देखना) की तुलना एक अन्य अध्ययन के "पुल रिक्वेस्ट सिटी" (परियोजना प्रस्तावों को देखना) से की।
उन्होंने पाया कि ये दोनों शहर एक-दूसरे के निवासियों के बिना लगभग पूरी तरह खाली हैं!
- Codex (एक AI एजेंट) "पुल रिक्वेस्ट सिटी" का राजा है, जो हजारों प्रस्ताव बनाता है, लेकिन वह "कमिट सिटी" में एक भूत है।
- Claude Code "कमिट सिटी" का राजा है, जो हजारों सीधे बदलाव करता है, लेकिन यह "पुल रिक्वेस्ट सिटी" में शायद ही कभी दिखाई देता है।
सबक: यदि आप केवल एक प्रकार के शहर को देखते हैं, तो आपको AI वास्तव में क्या कर रहा है, इसकी पूरी तरह से गलत तस्वीर मिलेगी। एक समूह ऐसा लगता है जैसे वह नई सुविधाएँ बना रहा है, जबकि दूसरा ऐसा लगता है जैसे वह टूटी हुई पाइपों को ठीक कर रहा है। शोध पत्र निष्कर्ष निकालता है कि AI को कैसे तैनात किया जाता है (एक बॉट के रूप में बनाम एक प्रत्यक्ष टूल के रूप में), यह उसके द्वारा किए जाने वाले काम के प्रकार को बदल देता है, न कि स्वयं टूल को।
4. वे कब आए?
जनगणना ने 2024 के अंत से 2026 की शुरुआत तक के डेटा को देखा।
- "AI के साथ जन्मा" समूह: कुछ प्रोजेक्ट्स को पहले दिन से ही इन AI एजेंट्स के साथ बनाया गया था। वे उन घरों की तरह हैं जिन्हें नींव से ही एक रोबोटिक हाथ द्वारा बनाया गया है।
- "लेगेसी" समूह: कई पुराने, स्थापित प्रोजेक्ट्स (कुछ दशकों पुराने) अचानक इन एजेंट्स का उपयोग करने लगे, जबकि वे बनने के कई वर्षों बाद आए। यह एक पुराने पारिवारिक घर की तरह है जिसे अचानक स्मार्ट-होम रेनोवेशन मिल गया हो।
5. क्या वे अच्छा काम कर रहे हैं?
शोधकर्ताओं ने जांच की कि क्या AI गलतियाँ कर रहा है।
- बग फिक्सिंग (Bug Fixes): AI एजेंट्स का उपयोग मुख्य रूप से बग को ठीक करने और रखरखाव के लिए किया जाता था, न कि बिल्कुल नई सुविधाएँ बनाने के लिए (कमिट चैनल में)।
- गुणवत्ता: दिलचस्प बात यह है कि इन एजेंट्स द्वारा लिखे गए कोड को (कुछ मामलों में) मानव कोड की तुलना में कम वापस लिया (reverted) गया था, जो बताता है कि यह स्थिर था। हालांकि, जब उन्होंने बदलाव किए, तो वे बदलाव अक्सर उतने बड़े होते थे जितने कि एक मानव द्वारा किए जाते।
मुख्य निष्कर्ष (The Bottom Line)
हम केवल यह जानने के लिए कि AI हमें सॉफ्टवेयर बनाने में कितनी मदद कर रहा है, केवल एक "बॉट अकाउंट" को नहीं देख सकते। AI कार्यबल विविध, अदृश्य है, और कई अलग-अलग "यूनिफॉर्म" का उपयोग करता है। यदि हम केवल स्पष्ट दिखने वालों को देखते हैं, तो हम किए जा रहे काम के विशाल बहुमत के प्रति अंधे हैं। सॉफ्टवेयर सप्लाई चेन को वास्तव में समझने के लिए, हमें यूनिफॉर्म, हस्ताक्षरों, नाम के टैग और टूलबॉक्स—सब कुछ देखने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।