Coding Agents Don't Know When to Act
यह शोधपत्र FixedBench को यह प्रदर्शित करने के लिए प्रस्तुत करता है कि अत्याधुनिक कोडिंग एजेंट "एक्शन बायस" (action bias) से ग्रस्त हैं, जो अक्सर पहले से हल हो चुके मुद्दों के लिए अनावश्यक कोड परिवर्तन प्रस्तावित करते हैं क्योंकि वे यह पहचानने में विफल रहते हैं कि कब कोई कार्रवाई न करना ही उचित प्रतिक्रिया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य समस्या: अति-उत्साही मिस्त्री (The Over-Eager Handyman)
कल्पना कीजिए कि आपने अपने घर की चीजें ठीक करने के लिए एक बहुत ही स्मार्ट, ऑटोमेटेड मिस्त्री को काम पर रखा है। आप उन्हें "टूटी हुई" चीजों की एक सूची (बग रिपोर्ट्स) देते हैं। उनका काम है उस सूची को देखना, टूटी हुई चीज़ को ढूँढना और उसे ठीक करना।
यह शोध इस बात की जांच करता है कि क्या होता है जब मिस्त्री को ऐसी सूची मिलती है जिसमें कोई चीज़ अब वास्तव में टूटी हुई नहीं है। हो सकता है कि किसी पड़ोसी ने कल ही उसे ठीक कर दिया हो, या शायद वह सिर्फ एक गलत सूचना थी।
एक स्मार्ट मिस्त्री को उस चीज़ को देखना चाहिए, यह समझना चाहिए, "ओह, यह तो पहले से ही एकदम सही है," और कहना चाहिए, "मैं इसे ऐसे ही रहने दूँगा।"
हालाँकि, शोधकर्ताओं ने पाया कि वर्तमान AI कोडिंग एजेंट्स अति-उत्साही और घबराए हुए मिस्त्रियों की तरह हैं। भले ही वे देखते हैं कि कोड का एक हिस्सा पहले से ही पूरी तरह से काम कर रहा है, फिर भी उन्हें उसे छूने, उसमें बदलाव करने या उसे "बेहतर" बनाने की तीव्र इच्छा होती है। वे बिना कुछ किए रहने के बजाय, कुछ न कुछ करने के दबाव को रोक नहीं पाते।
प्रयोग: "फिक्स्ड" टेस्ट (The "Fixed" Test)
इसे साबित करने के लिए, शोधकर्ताओं ने FIXEDBENCH नामक एक विशेष परीक्षण बनाया।
- सेटअप: उन्होंने 20ed वास्तविक दुनिया के कोडिंग कार्यों को लिया जहाँ समस्या को पहले ही एक इंसान द्वारा हल किया जा चुका था। कोड एकदम सही था।
- जाल: उन्होंने ये कार्य पाँच अलग-अलग टॉप-टियर AI कोडिंग एजेंट्स को दिए।
- लक्ष्य: एजेंट्स को वह कोड देखना था, यह पहचानना था कि वह पहले से ही ठीक हो चुका है, और एक "खाली" पैच सबमिट करना था (जिसका अर्थ है: "किसी बदलाव की आवश्यकता नहीं है")।
- परिणाम: एजेंट्स बुरी तरह विफल रहे। "सब ठीक है" कहने के बजाय, उन्होंने 35% से 65% मामलों में कोड में बदलाव कर दिया। उन्होंने अनावश्यक बदलाव किए, जिससे "टेक्निकल डेट" (अनावश्यक रूप से उलझा हुआ कोड) पैदा हुआ, सिर्फ इसलिए क्योंकि उन्हें लगा कि उन्हें कुछ न कुछ करना ही है।
ऐसा क्यों होता है? ("एक्शन बायस")
पेपर इसे एक्शन बायस (Action Bias) कहता है।
इसे एक ऐसे छात्र की तरह समझें जिसे वर्षों तक गणित के सवाल हल करने के लिए प्रशिक्षित किया गया है। यदि आप उन्हें कागज का एक टुकड़ा देते हैं जिस पर लिखा है "2 + 2 = 4," और उनसे "समस्या को हल करने" के लिए कहते हैं, तो वे एक लंबा, जटिल प्रमाण लिखने या संख्याओं को बदलने के लिए मजबूर महसूस कर सकते हैं, भले ही उत्तर पहले से ही सही हो। उन्हें उत्तर देने के लिए प्रशिक्षित किया गया है, न कि यह मूल्यांकन करने के लिए कि क्या उत्तर की आवश्यकता है।
AI मॉडल कोड पैच जेनरेट करने के लिए प्रशिक्षित होते हैं। उन्हें यह पहचानने के लिए पर्याप्त अच्छी तरह से प्रशिक्षित नहीं किया गया है कि काम कब पूरा हो चुका है।
"निर्देशों" का प्रयोग (The "Instructions" Experiment)
शोधकर्ताओं ने इस व्यवहार को ठीक करने के लिए एजेंट्स को अलग-अलग निर्देश देकर देखा।
- "बस इसे ठीक करो" (बुरा निर्देश): जब उन्होंने एजेंट को कहा, "इस समस्या को ठीक करने के लिए कोड को एडिट करें," तो एजेंट और भी बुरे हो गए। उन्होंने काम कर रहे कोड को और भी अधिक बार बदला।
- "पहले जाँच करें" (बेहतर निर्देश): जब उन्होंने एजेंट को कहा, "पहले, बग को दोबारा उत्पन्न (reproduce) करने की कोशिश करें। यदि आप बग नहीं पा सकते हैं, तो रुक जाएँ और कुछ भी न बदलें," तो एजेंट्स ने बहुत बेहतर प्रदर्शन किया। उन्होंने रुकना, जाँच करना और यह समझना सीखा कि, "हे, यह तो पहले से ही ठीक है।"
- एक पेंच (The Catch): यह नया निर्देश पहले से ठीक कोड के लिए बहुत अच्छा काम करता था। लेकिन इसने एक नई समस्या पैदा कर दी। यदि कोड आंशिक रूप से टूटा हुआ (आधी-ठीक) था, तो एजेंट्स बहुत अधिक सतर्क हो गए। वे जाँच करते, कुछ प्रगति देखते, और फिर कुछ भी न करने का निर्णय लेते, जिससे कोड टूटा हुआ ही रह जाता।
यह एक सुरक्षा गार्ड की तरह है, जिसे "अगर व्यक्ति आत्मसमर्पण कर रहा है तो गोली मत चलाना" बताने के बाद, यह तय करने लगता है कि अगर कोई व्यक्ति आंशिक रूप से आत्मसमर्पण कर रहा है, तो उसे न तो गोली मारनी चाहिए और न ही हस्तक्षेप करना चाहिए, भले ही वह व्यक्ति अभी भी खतरनाक हो।
मूल कारण: प्रशिक्षण बनाम वास्तविकता (Training vs. Reality)
पेपर सुझाव देता है कि AI मॉडल अपनी सफलता के संबंध में "कॉमन सेंस" की कमी से जूझ रहे हैं।
- वर्तमान प्रशिक्षण: मॉडल्स को बदलाव करने के लिए पुरस्कृत किया जाता है। यदि वे बग ठीक करते हैं, तो उन्हें "अच्छा काम किया" का स्कोर मिलता है। यदि वे कुछ नहीं करते हैं, तो उन्हें कोई स्कोर नहीं मिलता।
- वास्तविकता: वास्तविक दुनिया में, "अच्छा काम किया" का अर्थ कभी-कभी कुछ न करना भी होता है।
शोधकर्ताओं का तर्क है कि इसे ठीक करने के लिए, हमें इन AI को प्रशिक्षित करने के तरीके को बदलने की आवश्यकता है। हमें उन्हें यह सिखाने की आवश्यकता है कि परहेज करना (कुछ न करना) एक वैध और सफल परिणाम है, उतना ही जितना कि एक बग को ठीक करना।
सारांश
- समस्या: AI कोडिंग एजेंट्स कोड को बदलने के लिए बहुत उत्सुक होते हैं, भले ही वह पहले से ही एकदम सही हो।
- प्रमाण: 200 "पहले से ठीक" कार्यों के एक परीक्षण में, एजेंटों ने 65% तक अनावश्यक रूप से कोड को बदला।
- कारण: उन्हें कार्य करने के लिए प्रशिक्षित किया गया है, न कि यह जानने के लिए कि कब रुकना है।
- समाधान: उन्हें "पहले सत्यापित करें और यदि यह ठीक है तो रुक जाएँ" कहना मदद करता है, लेकिन यह उन्हें तब बहुत निष्क्रिय बना देता है जब कोड केवल आंशिक रूप से टूटा हुआ होता है।
- सीख: हमें AI को सिखाने की आवश्यकता है कि कभी-कभी, सबसे अच्छा कोड परिवर्तन कोई बदलाव न करना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।