SWE-chat: Coding Agent Interactions From Real Users in the Wild
यह शोध पत्र SWE-chat को प्रस्तुत करता है, जो ओपन-सोर्स डेवलपर्स से वास्तविक दुनिया के कोडिंग एजेंट इंटरैक्शन का पहला बड़े पैमाने पर, निरंतर अपडेट किया जाने वाला डेटासेट है, जो यह प्रकट करता है कि हालांकि उपयोग पैटर्न द्वि-आयामी (bimodal) हैं, एजेंट वर्तमान में कम कोड उत्तरजीविता दर (code survival rates), उच्च सुरक्षा कमजोरियां और बार-बार उपयोगकर्ता का विरोध प्रदर्शित करते हैं, जो क्यूरेटेड बेंचमार्क से परे साक्ष्य-आधारित सुधारों की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट, हाइपर-फास्ट इंटर्न को काम पर रखा है जो कोड लिख सकता है, बग्स ठीक कर सकता है और पूरे सॉफ्टवेयर प्रोजेक्ट बना सकता है। आप उन्हें "द एजेंट" (The Agent) कहते हैं। आप उन्हें एक काम देते हैं और वे काम पर लग जाते हैं। लेकिन यहाँ एक बड़ा सवाल है: क्या यह इंटर्न वास्तव में मददगार है, या यह सिर्फ एक गड़बड़ी पैदा कर रहा है जिसे आपको साफ करना होगा?
"SWE-chat" पेपर इस रिश्ते का एक विशाल, वास्तविक दुनिया का निगरानी अध्ययन (surveillance study) है। अधिकांश AI परीक्षणों की तरह, जहाँ शोधकर्ता इंटर्न का परीक्षण एक नकली क्लासरूम में करते हैं, यहाँ शोधकर्ताओं ने हजारों वास्तविक डेवलपर्स को उनके वास्तविक काम पर इन AI एजेंटों का उपयोग करते हुए देखा। उन्होंने एक विशाल डेटासेट बनाया जिसे SWE-doc कहा जाता है ताकि यह देखा जा सके कि जब इंसान और AI मिलकर कोड करते हैं तो वास्तव में क्या होता है।
यहाँ जो उन्होंने पाया, उसकी कहानी सरल भाषा में दी गई है:
1. "वाइब कोडिंग" (Vibe Coding) की घटना
शोधकर्ताओं ने पाया कि लोग AI का उपयोग दो बहुत अलग तरीकों से करते हैं, जैसे एक झूला (seesaw):
- "को-पायलट" मोड: इंसान कोड लिखता है, और AI केवल स्पेलिंग की गलतियों को ठीक करने या चीजों को समझाने में मदद करता है।
- "वाइब कोडिंग" मोड: इंसान एक अस्पष्ट विचार देता है (जैसे "एक ऐसी वेबसाइट बनाओ जो Spotify जैसी दिखे"), और AI लगभग 100% कोड लिख देता है। इंसान बस पीछे बैठकर 'वाइब' करता है, कभी-कभार "हाँ" या "ना" कहता है।
पकड़: "वाइब कोडिंग" बेहद लोकप्रिय हो रही है (यह कुछ ही महीनों में दोगुनी हो गई है!), लेकिन यह जोखिम भरा है। यह कार की चाबियाँ एक ऐसे सेल्फ-ड्राइविंग सिस्टम को सौंपने जैसा है जिसे आप पूरी तरह से नहीं समझते।
2. "कचरे का डिब्बा" वाली समस्या (अक्षमता)
आप सोच सकते हैं, "अगर AI कोड लिखता है, तो हम समय बचाते हैं!" अध्ययन कहता है: वास्तव में नहीं।
- हकीकत: AI द्वारा लिखे गए कोड का लगभग 56% कचरे के डिब्बे में फेंक दिया जाता है। डेवलपर्स AI द्वारा उत्पादित आधे से अधिक कोड को हटा देते हैं या फिर से लिखते हैं।
- उपमा: कल्पना कीजिए कि AI एक शेफ है जो 100 भोजन बनाता है, लेकिन आप उनमें से केवल 45 ही खाते हैं। बाकी 55 जले हुए, नमकीन या बस गलत हैं। आपको अच्छा खोजने के लिए हर एक को चखना ही पड़ेगा।
- लागत: अच्छे कोड की प्रति लाइन के लिए पैसे और समय के मामले में "वाइब कोडिंग" वास्तव में AI के साथ मिलकर काम करने की तुलना में 3 गुना अधिक महंगी पड़ती है। AI अपना बहुत सारा समय वह कोड लिखने में बिताता है जिसे बाद में हटा दिया जाता है।
3. "साइलेंट सबोटर" (Silent Saboteur - चुपचाप नुकसान पहुँचाने वाला)
यह सबसे डरावना हिस्सा है।
- निष्कर्ष: AI द्वारा पूरी तरह से लिखे गए कोड ("वाइब कोडिंग") में इंसानों द्वारा लिखे गए कोड की तुलना में 9 गुना अधिक सुरक्षा खामियां (जैसे हैकर्स के लिए खुले दरवाजे) आती हैं।
- उपमा: यदि एक इंसान घर बनाता है, तो वह ताले चेक करता है। यदि AI आपके फोन चलाने के दौरान घर बनाता है, तो वह शायद एक ऐसा दरवाजा लगा देगा जो बाहर से खुलता है। AI आत्मविश्वासी है, लेकिन सुरक्षा के मामले में वह अक्सर गलत होता है।
4. "पुशबैक" (Pushback) का नृत्य
अध्ययन ने देखा कि इंसान और AI एक-दूसरे से कैसे बात करते हैं।
- AI: यह शायद ही कभी रुककर पूछता है, "रुको, क्या तुम्हारा मतलब यह था?" यह तब भी चलता रहता है जब यह भ्रमित हो। यह उस कुत्ते की तरह है जो तब भी स्टिक (छड़ी) लाने के लिए दौड़ता रहता है जब आपने उसे रुकने के लिए कहा हो।
- इंसान: इंसान लगातार बीच में टोकते हैं। 44% बातचीत के दौर में, इंसान को AI को रोकने के लिए कहना पड़ता है कि "नहीं, यह गलत है," "इसे ठीक करो," या "रुको, मैं अपना विचार बदल रहा हूँ।"
- परिणाम: AI अधिक स्वायत्त (अपने आप अधिक काम करने वाला) हो रहा है, लेकिन इंसानों को इसे कार क्रैश होने से बचाने के लिए इसे और अधिक माइक्रोमैनेज (बारीकी से नियंत्रण) करना पड़ रहा है।
5. AI वास्तव में क्या करता है
हम सोचते हैं कि AI ज्यादातर नया कोड लिख रहा है, है ना? गलत।
- हकीकत: डेवलपर्स AI से सबसे अधिक बार मौजूदा कोड को समझाने के लिए कहते हैं ("यह अजीब फंक्शन क्या करता है?")।
- उपकरण: AI अपना बहुत सारा समय केवल फाइलों को पढ़ने और कमांड चलाने (जैसे मौसम की जांच करना या फाइल देखना) में बिताता है, न कि केवल नई चीजें लिखने में। यह एक "लेखक" के बजाय एक "रिसर्च असिस्टेंट" की तरह अधिक है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI कोडिंग एजेंट शक्तिशाली हैं, लेकिन वे अभी तक वह "जादुई छड़ी" नहीं हैं जिसकी हमने उम्मीद की थी।
- वे नाजुक (brittle) हैं: वे अक्सर गलतियाँ करते हैं और उन्हें यह नहीं पता होता कि मदद कब मांगनी है।
- वे महंगे हैं: उन्हें सब कुछ करने के लिए छोड़ देना ("वाइब कोडिंग") वास्तव में उनके साथ काम करने की तुलना में धीमा और अधिक खतरनाक है।
- भविष्य: हमें AI को नकली, आदर्श पहेलियों पर टेस्ट करना बंद करना चाहिए और यह देखना शुरू करना चाहिए कि वे वास्तविक दुनिया में कैसे विफल होते हैं। अभी उनका उपयोग करने का सबसे अच्छा तरीका उन्हें अकेले कार चलाने देना नहीं है, बल्कि उन्हें बगल वाली सीट पर बिठाना है जबकि हमारे हाथ स्टीयरिंग व्हील पर हों।
संक्षेप में: AI एक बेहतरीन उपकरण है, लेकिन यदि आप इसे बिना मैप देखे पूरी यात्रा खुद चलाने देंगे, तो आप संभवतः गड्ढे में (या सुरक्षा उल्लंघन में) गिर जाएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।