AI Agent Pull Requests on GitHub: Frequency, Structure, and Merge Conflict Rates
यह शोध पत्र AIDev-pop डेटासेट का अनुभवजन्य विश्लेषण करता है ताकि यह प्रकट किया जा सके कि समवर्ती (concurrent) AI एजेंट सबमिशन अत्यधिक प्रचलित हैं, जिनमें मुख्य रूप से एक ही एजेंट शामिल होता है, और इनके परिणामस्वरूप इंट्रा-एजेंट जोड़ों की तुलना में क्रॉस-एजेंट जोड़ों के लिए मर्ज संघर्ष (merge conflict) की दर काफी अधिक होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, हलचल भरा निर्माण स्थल है जहाँ इंसानी मज़दूरों के बजाय, दर्जनों अत्यधिक कुशल, स्वतंत्र रोबोट (AI कोडिंग एजेंट) हैं जो सभी एक ही घर को एक ही समय में बनाने और ठीक करने की कोशिश कर रहे हैं।
यह पेपर एक रिपोर्ट कार्ड है कि क्या होता है जब ये रोबोट एक-दूसरे से बात किए बिना मिलकर काम करने की कोशिश करते हैं। शोधकर्ताओं ने यह देखने के लिए हज़ारों वास्तविक दुनिया के GitHub प्रोजेक्ट्स का अध्ययन किया कि वे कितनी बार आपस में टकराते हैं, उनके झगड़े कैसे दिखते हैं, और परिणाम कितने अस्त-व्यस्त होते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. रोबोटों का "ट्रैफिक जाम"
पहला बड़ा सवाल यह था: ये रोबले कितनी बार एक ही घर पर एक ही समय में काम कर रहे हैं?
जवाब है: लगभग हमेशा।
- निष्कर्ष: लगभग 40% प्रोजेक्ट्स में, दो रोबोट ठीक उसी सेकंड में घर पर काम कर रहे थे। यदि आप उन्हें थोड़ा अधिक समय (एक सप्ताह की विंडो) देते हैं, तो यह संख्या बढ़कर लगभग 95% हो जाती है।
- उपमा: एक व्यस्त रसोई की कल्पना करें जहाँ 10 में से 9 शेफ एक ही समय में एक ही चॉपिंग बोर्ड पर सब्जियां काट रहे हैं। यह अराजक है, लेकिन यही सामान्य बात है।
- कौन लड़ रहा है? आश्चर्यजनक रूप से, यह शायद ही कभी अलग-अलग प्रकार के रोबोटों (जैसे एक "Devin" रोबोट का "Copilot" रोबोट से) के बीच की लड़ाई है। यह लगभग हमेशा एक ही प्रकार के रोबोट का खुद से ही संघर्ष है। 99.5% मामलों में, संघर्ष एक ही AI मॉडल के दो समानांतर इंस्टेंस के बीच है। यह दो जुड़वा बच्चों की तरह है जो बिना समन्वय के एक ही दीवार को पेंट करने की कोशिश कर रहे हैं।
2. "टकराव" (Merge Conflicts)
जब दो रोबोट एक ही फ़ाइल में अपने बदलावों को सेव करने की कोशिश करते हैं, तो कंप्यूटर को यह तय करना होता है कि कौन सा वर्शन रखना है। इसे "मर्ज" (merge) कहा जाता है। यदि उन्होंने एक ही लाइनों को बदला है, तो कंप्यूटर भ्रमित हो जाता है और "कॉन्फ्लिक्ट" (Conflict) का झंडा दिखा देता है।
शोधकर्ताओं ने इन मर्जों का अनुकरण (simulate) किया यह देखने के लिए कि चीजें कितनी बार खराब हुईं:
- एक ही रोबोट बनाम एक ही रोबोट: जब एक ही AI के दो इंस्टेंस ने मर्ज करने की कोशिश की, तो वे 20% समय टकराए।
- अलग रोबोट बनाम अलग रोबोट: जब दो अलग-अलग प्रकार के AI ने मर्ज करने की कोशिश की, तो वे 42% समय टकराए।
- सीख: अलग-अलग रोबोट एक ही जैसे रोबोटों की तुलना में दोगुना अधिक असहमति जताते हैं। हालाँकि, चूंकि एक जैसे रोबोट ही सबसे अधिक बार एक साथ काम कर रहे हैं, इसलिए कुल गड़बड़ी मुख्य रूप से उन्हीं के कारण होती है।
3. वे किस बात पर लड़ रहे हैं?
जब रोबोटों का टकराव होता है, तो उस लड़ाई का स्वरूप क्या होता है?
- स्थान: अधिकांश लड़ाइयाँ सोर्स कोड (सॉफ्टवेयर के वास्तविक निर्देश) में होती हैं, न कि "खरीद सूची" (डिपेंडेंसी फाइल्स) या डॉक्यूमेंटेशन में। लगभग 84% संघर्ष कोड के भीतर ही थे।
- लड़ाई का प्रकार:
- सामग्री की लड़ाई (58%): दोनों रोबोटों ने एक ही पैराग्राफ में एक ही वाक्य को बदलने की कोशिश की।
- संरचनात्मक लड़ाई (42%): यह सबसे अजीब हिस्सा है। एक रोबोट ने एक फ़ाइल को डिलीट करने का निर्णय लिया, जबकि दूसरे ने उसे संशोधित (modify) करने का निर्णय लिया। या, दोनों रोबोटों ने एक ही नाम की एक नई फ़ाइल बनाने की कोशिश की लेकिन उनकी सामग्री अलग थी।
- उपमा: यह ऐसा है जैसे एक रोबोट कह रहा हो, "मैं रसोई को गिरा रहा हूँ," जबकि दूसरा कहता है, "मैं रसोई का नवीनीकरण कर रहा हूँ," और तीसरा कहता है, "मैं यहीं एक नई रसोई बना रहा हूँ।" वे सभी एक साथ सही नहीं हो सकते।
4. यह क्यों मायने रखता है? (छिपी हुई लागत)
पेपर में उल्लेख किया गया है कि जबकि हमने केवल "टेक्स्टुअल" लड़ाइयों (कोड की लाइनों) को मापा है, वास्तविक लागत बहुत अधिक है।
- "खोए हुए समय" की लागत: क्योंकि रोबोटों को पता नहीं होता कि दूसरे भी काम कर रहे हैं, वे ऐसे फीचर्स बनाने में समय बर्बाद करते हैं जिन्हें कभी जोड़ा (combine) नहीं जा सकता।
- "मानवीय सफाई" की लागत: अंततः, एक इंसान को गंदगी साफ करने के लिए हस्तक्षेप करना पड़ता है। उन्हें यह तय करना होता है कि कौन सा रोबोट सही था, कौन सी फ़ाइल रखनी है, और चीजों को अन-डिलीट (un-delete) कैसे करना है। यह उस काम को करने के मूल उद्देश्य को ही खत्म कर देता है जिसके लिए रोबोट रखे गए थे।
सारांश
पेपर निष्कर्ष निकालता है कि अभी के लिए, AI कोडिंग एजेंट एक साझा कमरे में काम करने वाले अकेले प्रतिभाशाली व्यक्तियों (lonely geniuses) की तरह हैं। वे व्यक्तिगत रूप से अविश्वसनीय रूप से उत्पादक हैं, लेकिन क्योंकि वे एक-दूसरे से बात नहीं करते (भले ही वे एक ही मॉडल हों), वे लगातार अपने ही पैरों में ठोकर खाते रहते हैं।
- आवृत्ति (Frequency): वे लगभग हमेशा एक साथ काम कर रहे होते हैं।
- टकराव की दर: वे 20% समय (एक ही रोबोट) और 42% समय (अलग-अलग रोबोट) टकराते हैं।
- गड़बड़ी: लड़ाइयाँ केवल साधारण टाइपो के बजाय कोड संरचना (फ़ाइलें हटाने बनाम जोड़ने) के बारे में होती हैं।
शोधकर्ता सुझाव देते हैं कि AI को वास्तव में सॉफ्टवेयर बनाने में मदद करने के लिए, हमें इन रोबोटों को अपने शेड्यूल को समन्वित करना और एक ही कोड पर हथौड़ा चलाने से पहले एक-दूसरे से बात करना सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।