Humans are Missing from AI Coding Agent Research

रोबोट कोडर पहेली में गायब हुआ हिस्सा

कल्पना कीजिए कि एक ऐसी दुनिया जहाँ कंप्यूटर केवल आदेशों का पालन नहीं करते बल्कि वास्तव में हमारे लिए काम भी करते हैं। यह विज्ञान का वह रोमांचक कोना है जिसे आर्टिफिशियल इंटेलिजेंस (AI) कहा जाता है, विशेष रूप से एक शाखा जिसे AI एजेंट्स के रूप में जाना जाता है। एक एजेंट को केवल एक चैटबॉट के रूप में न सोचें जो केवल बातें करता है, बल्कि एक डिजिटल कार्यकर्ता के रूप में सोचें जो कंप्यूटर प्रोग्राम खोल सकता है, एक अस्त-व्यस्त फ़ाइल पढ़ सकता है, एक गलती सुधार सकता है और बिना किसी मानवीय सहायता के अपना काम खुद सेव कर सकता है। सॉफ़्टवेयर की दुनिया में, इन एजेंट्स को कोड लिखने के लिए सिखाया जा रहा है—वे निर्देश जो कंप्यूटर को यह बताते हैं कि उन्हें कैसे व्यवहार करना है। लंबे समय तक, वैज्ञानिकों का बड़ा लक्ष्य सरल था: इन एजेंट्स को इतना स्मार्ट और स्वतंत्र बनाना कि वे बिना किसी मानवीय मदद के जटिल समस्याओं को हल कर सकें। यह एक रोबोट को ईंटें बिछाने से लेकर दीवारों को पेंट करने तक, पूरी तरह से अपने आप घर बनाने के लिए प्रशिक्षित करने जैसा था, जिसमें एक भी मानव पर्यवेक्षक (सुपरवाइजर) न हो।

लेकिन यहाँ एक पेच है: सिर्फ इसलिए कि एक रोबोट अकेले घर बना सकता है, इसका मतलब यह नहीं है कि वह सही घर बना रहा है, या मानव मालिक परिणाम से खुश है। जिस शोध पत्र को आप अभी पढ़ने वाले हैं, वह इस क्षेत्र में एक बढ़ती हुई समस्या पर प्रहार करता है। यह सुझाव देता है कि जबकि हम AI एजेंट्स को अधिक "स्वायत्त" (अकेले काम करने में सक्षम) बनाने के प्रति जुनूनी रहे हैं, हमने समीकरण का सबसे महत्वपूर्ण हिस्सा भूल गया है: इंसान को। लेखक तर्क देते हैं कि AI कोडिंग का भविष्य अकेले काम करने वाले रोबots द्वारा मनुष्यों को बदलने के बारे में नहीं है, बल्कि ऐसे साथी बनाने के बारे में है जो सुन सकें, अपने काम को समझा सकें और जब हम उनसे कहें तो अपना विचार बदल सकें। यह एक ऐसे रोबोट के बीच का अंतर है जो आपके गैरेज के बजाय जिद्द पर अड़ा रहता है एक शेड बनाता है, और एक ऐसे रोबोट के बीच का अंतर है जो पूछता है, "हे, क्या आपका मतलब गैरेज था? और क्या हमें लाल ईंटों का उपयोग करना चाहिए या नीली?"

शोध पत्र: क्यों "सोलो" (अकेले) रोबोट असली बात को समझ नहीं पा रहे हैं

शोध पत्र, जिसका शीर्षक है "Humans are Missing from AI Coding Agent Research" (AI कोडिंग एजेंट अनुसंधान से मनुष्य गायब हैं), कार्नेगी मेलन, स्टैनफोर्ड और प्रिंसटन जैसे शीर्ष विश्वविद्यालयों के शोधकर्ताओं के एक समूह की ओर से एक चेतावनी है। वे वर्तमान AI कोडिंग एजेंट्स की स्थिति को देख रहे हैं और सफलता को मापने के तरीके में एक प्रमुख खामी की ओर इशारा कर रहे हैं।

समस्या: "सोलो" (अकेले) का जुनून
अभी, AI की दुनिया एक वीडियो गेम की तरह है जहाँ एकमात्र स्कोर यह मायने रखता है कि एक रोबोट अकेले एक लेवल कितनी जल्दी पूरा कर सकता है। शोधकर्ता लगातार ऐसे एजेंट बनाने की कोशिश कर रहे हैं जो बिना मानवीय मदद के कठिन से कठिन कोडिंग पहेलियों को हल कर सकें। शोध पत्र का तर्क है कि यह एक जाल है। जबकि ये एजेंट ऐसा कोड लिखने में बेहतर हो रहे हैं जो काम करता है (यह बिना क्रैश हुए चलता है), वे लोगों के साथ काम करने में खराब होते जा रहे हैं।

लेखक इसे दिखाने के लिए एक जीवंत उदाहरण का उपयोग करते हैं: पैच ब्लोट (Patch Bloat)। कल्पना कीजिए कि आपने एक दोस्त से कहानी में एक टाइपो (लिखने की गलती) ठीक करने के लिए कहा। एक मददगार दोस्त बस उस एक शब्द को बदल देगा। एक अनुपयोगी, अत्यधिक उत्साही रोबोट पूरे पैराग्राफ को फिर से लिख सकता है, तीन नए अध्याय जोड़ सकता है, और फॉन्ट भी बदल सकता है, भले ही आप केवल एक टाइपो ठीक करना चाहते थे। शोध पत्र ने पाया कि AI एजेंट लगातार ऐसा कर रहे हैं। वे ऐसे कोड परिवर्तन उत्पन्न करते हैं जो आवश्यक से बहुत अधिक लंबे और जटिल होते हैं। यह मनुष्यों के लिए यह जांचना अविश्वसनीय रूप से कठिन बना देता है कि कोड वास्तव में सही है या नहीं। यह एक हजार अतिरिक्त टुकड़ों के ढेर में एक एकल गायब पहेली के टुकड़े को खोजने जैसा है।

मुख्य तर्क: हमें एक टीम की आवश्यकता है, प्रतिस्थापन की नहीं
शोध पत्र का सुझाव है कि अगली बड़ी सफलता इस बात से नहीं आएगी कि एजेंट अकेले तेजी से कैसे काम करते हैं, बल्कि इस बात से आएगी कि वे मनुष्यों के साथ बेहतर कैसे काम करते हैं। लेखक प्रस्ताव देते हैं कि हमें "परफेक्ट सोलोइस्ट" (अकेले काम करने वाले माहिर) बनाने के बजाय "महान टीम के साथी" बनाने पर ध्यान केंद्रित करना चाहिए।

ऐसा करने के लिए, वे चार प्रमुख कौशल पेश करते हैं जिनकी एक अच्छे AI कोडिंग पार्टनर को आवश्यकता होती है, जिसे वे "ह्यूमन-एजेंट कोलैबोरेशन लूप" कहते हैं:

1. टास्क एलाइनमेंट (The "Did You Mean?" Skill - क्या आपका मतलब यह था? कौशल):
   यह इस बारे में है कि आप वास्तव में क्या चाहते हैं, न कि केवल वह जो आपने कहा। यदि आप एक एजेंट को कहते हैं, "एक वेबसाइट बनाओ," तो एक सोलो रोबोट केवल एक खाली पेज बना सकता है। एक अच्छा टीम का साथी पूछता है, "क्या आप डार्क मोड चाहते हैं या लाइट मोड? क्या इसमें एक संपर्क फ़ॉर्म होना चाहिए?" शोध पत्र का तर्क है कि एजेंटों को कोड टाइप करने से पहले छिपे हुए विवरणों को समझने और स्पष्टीकरण प्रश्न पूछने में बेहतर होना चाहिए।

2. स्टीयरेबिलिटी (Steerability - "द स्टेयरिंग थामने" का कौशल):
   एक ऐसी कार चलाने की कल्पना करें जहाँ ऑटोपायलट नियंत्रण ले लेता है और काम पूरा होने तक आपको स्टीयरिंग व्हील छूने नहीं देता। यह निराशाजनक है। स्टीयरेबिलिटी का अर्थ है कि एजेंट को महत्वपूर्ण क्षणों पर आपको हस्तक्षेप करने देना चाहिए। यदि एजेंट एक वेबसाइट बना रहा है और आप कहते हैं, "रुको, मुझे वह नीला रंग पसंद नहीं है, इसे हरा कर दो," तो एक स्टीयरेबल एजेंट रुकता है और तुरंत इसे बदल देता है। एक नॉन-स्टीयरेबल एजेंट आपको अनदेखा कर सकता है और पूरी साइट नीले रंग में बना सकता है, और फिर कह सकता है, "हो गया!" शोध पत्र का सुझाव है कि एजेंटों को निर्णय बिंदुओं पर रुकना चाहिए और मनुष्यों को रास्ता दिखाने देना चाहिए।

3. वेरिफिएबिलिटी (Verifiability - "अपना काम दिखाएं" का कौशल):
   यह विश्वास के बारे में है। यदि कोई एजेंट आपको एक पूर्ण प्रोजेक्ट सौंपता है, तो आप कैसे जानेंगे कि यह सही है? वर्तमान में, एजेंट अक्सर बड़े, भ्रमित करने वाले कोड ब्लॉक सौंपते हैं जिन्हें पढ़ना कठिन होता है। शोध पत्र का तर्क है कि एजेंटों को अपना काम ऐसे तरीके से प्रस्तुत करना चाहिए जिसे मनुष्य आसानी से जांच सकें। केवल कोड फेंकने के बजाय, उन्हें विजुअल प्रीव्यू, सरल सारांश दिखाना चाहिए, या यह समझाना चाहिए कि उन्होंने बदलाव क्यों किया। यदि आप इसे समझ नहीं सकते, तो आप इस पर भरोसा नहीं कर सकते।

4. एडाप्टेबिलिटी (Adaptability - "मुझे याद रखें" का कौशल):
   इंसान अनुभव से सीखते हैं। यदि आप एक मानव सहायक को बताते हैं, "मुझे डार्क मोड पसंद है," तो वे अगली बार के लिए इसे याद रखते हैं। शोध पत्र बताता है कि अधिकांश AI एजेंटों की याददाश्त बहुत खराब होती है। हर बार जब आप एक नया कार्य शुरू करते हैं, तो आपको उन्हें अपनी पसंद, अपनी कोडिंग शैली और अपने प्रोजेक्ट के नियमों की याद दिलानी पड़ती है। इसे "प्रॉम्प्ट फटीग" (Prompt Fatigue) कहा जाता है। लेखक चाहते हैं कि एजेंट पिछले इंटरैक्शन से सीखें, आपकी पसंद को याद रखें और समय के साथ विशेष रूप से आपके साथ काम करने में बेहतर हों।

शोध पत्र किन बातों को खारिज करता है
लेखक बहुत स्पष्ट हैं कि वे क्या नहीं कह रहे हैं। वे यह नहीं कह रहे हैं कि AI एजेंट बेकार हैं या वे कोड नहीं लिख सकते। वास्तव में, वे स्वीकार करते हैं कि कोड बेहतर हो रहा है। वे यह भी नहीं कह रहे हैं कि मनुष्यों को सारा कोडिंग खुद ही करना चाहिए।

इसके बजाय, वे स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि AI का लक्ष्य पूरी तरह से मानव डेवलपर्स को बदलने वाला सिस्टम बनाना है। उनका सुझाव है कि "पूर्ण स्वायत्तता" (Full Autonomy) के प्रति वर्तमान जुनून वास्तव में हमें पीछे धकेल रहा है। उनका मानना है कि एजेंटों को अकेले पूरी तरह से काम करने के लिए बनाने की कोशिश करना एक मृत अंत है क्योंकि वास्तविक दुनिया की कोडिंग अव्यवस्था भरी होती है, इसमें बदलते लक्ष्य शामिल होते हैं, और इसमें मानवीय निर्णय की आवश्यकता होती है। वे इस विचार का भी विरोध करते हैं कि मानवीय संपर्क केवल "मूर्ख" AI के लिए एक अस्थायी समाधान है। वे तर्क देते हैं कि मानव-केंद्रित डिज़ाइन भविष्य है, न कि कोई अस्थायी व्यवस्था।

वे कितने आश्वस्त हैं?
लेखक अपने द्वारा देखे गए डेटा के आधार पर अपने अवलोकनों के प्रति आश्वस्त हैं। वे वास्तविक दुनिया के रुझानों की ओर इशारा करते हैं जहाँ डेवलपर्स उन AI टूल्स से निराश होते हैं जिन्हें नियंत्रित करना या सत्यापित करना कठिन होता है। वे मौजूदा कोडिंग बेंचमार्क (जैसे SWE-bench) के विश्लेषण और सिमुलेशन का उपयोग करके दिखाते हैं कि जबकि एजेंट अधिक कार्यों को हल कर रहे हैं, बातचीत की गुणवत्ता प्रभावित हो रही है।

उदाहरण के लिए, वे डेटा दिखाते हैं जो संकेत देता है कि भले ही एजेंट सफलतापूर्वक कोडिंग समस्या को हल कर लेते हैं, लेकिन उनके द्वारा बनाया गया कोड अक्सर "ब्लोटेड" (बहुत लंबा) होता है और कार्यात्मक रूप से उस काम से अलग होता है जो एक मानव ने लिखा होता, भले ही वह स्वचालित परीक्षणों (Automated Tests) को पास कर ले। यह सुझाव देता है कि वर्तमान में AI का परीक्षण करने का तरीका (केवल यह देखना कि क्या यह एक टेस्ट पास करता है) इस बड़े चित्र को मिस कर रहा है कि क्या कोड वास्तव में उपयोगी या समझने योग्य है।

वे यह दावा नहीं करते कि उन्होंने अभी इन समस्याओं को हल कर लिया है। इसके बजाय, वे एक नया रोडमैप प्रस्तावित कर रहे हैं। उनका सुझाव है कि शोधकर्ताओं को मानव उपयोगकर्ताओं का अनुकरण करने के लिए नए उपकरण बनाने चाहिए, गैर-यूनिट टेस्ट के अलावा कोड को सत्यापित करने के बेहतर तरीके बनाने चाहिए, और ऐसे सिस्टम डिजाइन करने चाहिए जो यह माप सकें कि एक एजेंट व्यक्ति के साथ कितनी अच्छी तरह सहयोग करता है, न कि केवल यह कि वह कार्य को कितनी तेजी से पूरा करता है।

बड़ी तस्वीर
संक्षेप में, यह शोध पत्र AI समुदाय के लिए एक पुकार है: अकेले काम करने वाले रोबोट बनाना बंद करें और हमारे साथ काम करने वाले साथी बनाना शुरू करें। कोडिंग का भविष्य आपके काम को छीन लेने वाले रोबोट के बारे में नहीं है; यह एक ऐसे रोबत के बारे में है जो आपको अपना काम बेहतर, तेज़ और कम तनाव के साथ करने में मदद करता है। यह लक्ष्य को "क्या AI इसे कर सकता है?" से बदलकर "क्या AI और मानव मिलकर इसे कर सकते हैं?" करने के बारे में है।

लेखकों का मानना है कि यदि हम मानवीय तत्व को अनदेखा करते हैं, तो हम ऐसे शक्तिशाली उपकरण बनाएंगे जो बहुत भ्रमित करने वाले, बहुत कठोर और बहुत अविश्वसनीय होंगे जिन्हें लोग वास्तव में उपयोग कर सकें। एलाइनमेंट (Alignment), स्टीयरेबिलिटी (Steerability), वेरिफिएबिलिटी (Verifiability) और एडाप्टेबिलिटी (Adaptability) पर ध्यान केंद्रित करके, हम ऐसा AI बना सकते हैं जो केवल कोड नहीं लिखता, बल्कि वास्तव में उन लोगों के साथ सहयोग करता है जिन्हें इसकी आवश्यकता होती है।