Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?
यह शोध पत्र प्रिसिस डिबगिंग बेंचमार्क (PDB) फ्रेमवर्क प्रस्तुत करता है जो यह प्रकट करता है कि सीमावर्ती (फ्रंटियर) लार्ज लैंग्वेज मॉडल्स, यूनिट-टेस्ट पास दरों को उच्च स्तर पर प्राप्त करने के बावजूद, बार-बार कोड को अत्यधिक संपादित (ओवर-एडिट) करने के कारण सटीक डिबगिंग करने में संघर्ष करते हैं, जो एक ऐसी सीमा है जो पुनरावृत्ति रणनीतियों (इटरेटिव स्ट्रैटेजीज) के साथ भी बनी रहती है और कोडिंग मॉडल की पोस्ट-ट्रेनिंग पाइपलाइनों पर पुनर्विचार करने का आह्वान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस पेपर "Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
बड़ी तस्वीर: "ओवर-इंजीनियरिंग" की समस्या
कल्पना कीजिए कि आपने अपनी कार ठीक करने के लिए एक बहुत ही प्रतिभाशाली लेकिन थोड़े अति-उत्साही मैकेनिक को काम पर रखा है। कार में एक छोटी सी समस्या है: बाईं हेडलाइट का एक पेंच (screw) ढीला है।
- आप क्या चाहते हैं (सटीक डिबगिंग - Precise Debugging): मैकेनिक पास आता है, उस एक पेंच को कसता है, लाइट चेक करता है, और कहता है, "काम हो गया।"
- AI अक्सर क्या करता है (पुनरुत्पादन - Regeneration): मैकेनिक ढीले पेंच को देखता है, कंधे उचकाता है, और कहता है, "पता है, यह कार पुरानी है। चलिए आपके लिए एकदम नई कार ही बना देते हैं।"
नई कार एकदम सही चलती है! यह सभी सुरक्षा परीक्षणों में पास हो जाती है। लेकिन इसे बनाने में 100 गुना अधिक खर्च आया, 100 गुना अधिक समय लगा, और इस प्रक्रिया में आपने अपनी मूल कार भी खो दी।
यह पेपर तर्क देता है कि वर्तमान कोडिंग AI मॉडल उसी अति-उत्साही मैकेनिक की तरह हैं। वे कोड को काम करने लायक बनाने में तो माहिर हैं, लेकिन वे छोटी, सटीक मरम्मत करने में बहुत खराब हैं। बग (bug) को ठीक करने के बजाय, वे पूरे प्रोग्राम को फिर से लिखने की कोशिश करते हैं।
परीक्षण का पुराना तरीका: "पास/फेल" का जाल
अब तक, हम AI कोडिंग मॉडल्स को एक शिक्षक की तरह टेस्ट करते थे जो गणित के टेस्ट को ग्रेड देता है।
- सवाल: "यहाँ एक टूटा हुआ प्रोग्राम है। इसे ठीक करो।"
- ग्रेड: क्या प्रोग्राम बिना क्रैश हुए चला?
- हाँ: A+ (परफेक्ट स्कोर)।
- नहीं: F।
खामी: इस सिस्टम को इससे कोई फर्क नहीं पड़ता कि आपको A+ कैसे मिला।
- छात्र A ने केवल एक टाइपो (typo) ठीक किया। (A+)।
- छात्र B ने पूरा निबंध मिटा दिया और शुरू से नया निबंध लिख दिया। (A+)।
वास्तविक दुनिया के सॉफ्टवेयर में, छात्र B एक दुस्वप्न (nightmare) की तरह है। कोड के बड़े हिस्सों को फिर से लिखना जोखिम भरा, महंगा और समीक्षा करने में कठिन होता है। पुराने टेस्ट यह अंतर नहीं कर पाते थे कि सामने वाला एक सर्जन है या एक बुलडोजर।
नया समाधान: PDB फ्रेमवर्क
लेखकों ने एक नया टेस्टिंग सिस्टम बनाया है जिसे PDB (Precise Debugging Benchmark) कहा जाता है। इसे "कोड सुधारों के लिए सूक्ष्मदर्शी (Microscope)" के रूप में सोचें।
सिर्फ यह पूछने के बजाय कि "क्या यह काम करता है?", PDB पूछता है: "आपने कितना बदलाव किया?"
PDB कैसे काम करता है (विधि)
- सेटअप: वे कोड का एक आदर्श टुकड़ा लेते हैं (जैसे केक बनाने की एक काम करने वाली रेसिपी)।
- तोड़-फोड़ (Sabotage): वे AI का उपयोग करके जानबूझकर इसे बहुत विशिष्ट और छोटे तरीकों से बिगाड़ते हैं (जैसे, "एक सामग्री बदलें," "एक स्टेप हटा दें")। इससे एक "बग्गी केक" (Buggy Cake) बन जाता है।
- टेस्ट: वे AI को उस केक को ठीक करने के लिए कहते हैं।
- स्कोर:
- यूनिट टेस्ट स्कोर: क्या केक का स्वाद अच्छा था? (क्या यह चलता है?)
- प्रिसिजन स्कोर (Precision Score): क्या आपने सिर्फ चीनी की जगह नमक डाला, या आपने पूरा कटोरा फेंक दिया और नया केक बना दिया?
उन्होंने दो नए मेट्रिक्स (metrics) बनाए:
- एडिट-लेवल प्रिसिजन (Edit-Level Precision): "आपने कितने अनावश्यक बदलाव किए?" (यदि आपने 1 बग ठीक करने के लिए 10 लाइनें बदलीं, तो आपकी प्रिसिजन कम है)।
- बग-लेवल रिकॉल (Bug-Level Recall): "क्या आपने वास्तव में विशिष्ट बग को खोजा और ठीक किया?"
चौंकाने वाले परिणाम
शोधकर्ताओं ने इस नए टेस्ट पर सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5.1, Claude, और DeepSeek) का परीक्षण किया। परिणाम आंखें खोलने वाले थे:
- "पास" का भ्रम: अधिकांश AI पुराने "पास/फेल" टेस्ट में उच्च स्कोर प्राप्त करते थे। उन्होंने कोड ठीक कर दिया!
- "प्रिसिजन" की वास्तविकता: जब PDB सूक्ष्मदर्शी से देखा गया, तो उनकी प्रिसिजन बहुत खराब थी (अक्सर 45% से नीचे)।
- यहाँ तक कि स्पष्ट रूप से कहने पर भी कि: "कृपया न्यूनतम बदलाव करें," AI ने अभी भी कोड के बड़े हिस्से को फिर से लिख दिया।
- उपमा: यह वैसा ही है जैसे किसी छात्र को कहना, "बस स्पेलिंग की गलती ठीक करो," और वह पूरी कहानी फिर से लिख देता है क्योंकि उसे लगता है कि सुरक्षित रहने का यही एकमात्र तरीका है।
रैंकिंग का उलट जाना (Ranking Flip):
- मॉडल A (जैसे GPT-5.1) की पास रेट 76% थी लेकिन प्रिसिजन केवल 39% थी। यह एक "रीजेनरेटर" (Regenerator) था।
- मॉडल B (जैसे Qwen3) की पास रेट 70% थी लेकिन प्रिसिजन 66% थी। यह एक "सर्जन" (Surgeon) था।
- पुराने सिस्टम के तहत, मॉडल A बेहतर दिखता था। नए सिस्टम के तहत, मॉडल B असली विजेता है।
पुनरावृत्ति डिबगिंग (Iterative Debugging) ने मदद क्यों नहीं की
लेखकों ने AI की मदद करने के लिए उन्हें एक "दूसरा मौका" देने की कोशिश की।
- सेटअप: उन्होंने AI को कोड ठीक करने की कोशिश करने, विफल होने, त्रुटि देखने और फिर से प्रयास करने की अनुमति दी (एक मानव प्रोग्रामर की तरह)।
- परिणाम: AI अंततः टेस्ट पास करने में बेहतर हो गया, लेकिन वह छोटे बदलाव करने में अभी भी बेहतर नहीं हुआ।
- निष्कर्ष: अधिक फीडबैक (जैसे एरर मैसेज) देने से AI को सटीक होना नहीं सिखाया गया। इसने उसे केवल कोड को अधिक आक्रामक तरीके से फिर से लिखना सिखाया जब तक कि वह काम न करने लगे।
"क्यों" और भविष्य
ऐसा क्यों हो रहा है?
पेपर सुझाव देता है कि AI मॉडल "जनरेटर्स" (generators) के रूप में प्रशिक्षित किए जाते हैं। वे शून्य से कुछ नया बनाने में विशेषज्ञ हैं। उन्हें "सर्जरी" की कला पर अच्छी तरह से प्रशिक्षित नहीं किया गया है—यानी शरीर के बाकी हिस्सों को नुकसान पहुँचाए बिना छोटे, लक्षित कट लगाना।
इसका हमारे लिए क्या अर्थ है?
- वर्तमान AI एक "ब्रूट फोर्स" (Brute Force) टूल है: यह नए प्रोजेक्ट शुरू करने के लिए तो अच्छा है लेकिन पुराने प्रोजेक्ट्स के रखरखाव (maintenance) के लिए खतरनाक है।
- हमें नए प्रशिक्षण की आवश्यकता है: AI को वास्तविक दुनिया के सॉफ्टवेयर रखरखाव के लिए उपयोगी बनाने के लिए, हमें उन्हें केवल जनरेटर नहीं, बल्कि मिनिमलिस्ट (कम से कम बदलाव करने वाले) के रूप में प्रशिक्षित करने की आवश्यकता है।
- नए मेट्रिक्स की आवश्यकता है: हम अब केवल यह नहीं पूछ सकते कि "क्या यह काम करता है?" हमें यह भी पूछना होगा, "क्या आपने घर के बाकी हिस्से को नुकसान पहुँचाए बिना समस्या को ठीक किया?"
सारांश उपमा
कल्पना कीजिए कि आपके घर में एक नल टपक रहा है।
- पुराना AI: "मैं इसे ठीक कर दूँगा!" पूरे किचन को तोड़ देता है, प्लंबिंग को फिर से बनाता है, और नए कैबिनेट लगा देता है। लीकेज बंद हो गया! (लेकिन आपने अपना किचन खो दिया)।
- सटीक (Precise) AI: "मैं इसे ठीक कर दूँगा!" नल के वॉशर को बदल देता है। लीकेज बंद हो गया। (आपका किचन अभी भी वहीं है)।
यह पेपर एक चेतावनी है: उस AI की प्रशंसा करना बंद करें जो किचन को फिर से बनाता है, और उस AI को पुरस्कृत करना शुरू करें जो सिर्फ नल ठीक करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।