Benchmarking Code Improvement with Progressive, Adaptive, and Interactive Feedback
यह शोध पत्र PAIR-Bench प्रस्तुत करता है, जो एक प्रगतिशील और अनुकूलन योग्य बेंचमार्क है जो केवल बाइनरी पास/फेल परिणामों पर निर्भर रहने के बजाय संरचित, बहु-स्तरीय फीडबैक के माध्यम से प्रोग्राम को परिष्कृत करने की उनकी क्षमता द्वारा बड़े भाषा मॉडल (LLMs) की कोड सुधार क्षमताओं का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक खराब टोस्टर ठीक करना सिखा रहे हैं।
पुराना तरीका (बाइनरी पास/फेल):
अतीत में, शोधकर्ता रोबोट को एक खराब टोस्टर देते थे और परीक्षणों की एक सूची देते थे (जैसे, "क्या यह ब्रेड टोस्ट करता है?", "क्या यह ऊपर उछलता है?")। यदि रोबोट ने टोस्टर को पूरी तरह से ठीक कर दिया, तो उसे एक गोल्ड स्टार मिलता था। यदि वह एक भी परीक्षण में विफल रहा, तो उसे शून्य मिलता था।
- समस्या: यह एक ऐसे छात्र को ग्रेड देने जैसा है जो गणित के टेस्ट में 99% सही होता है लेकिन एक छोटी सी बारीकी चूक जाता है। उसे "F" मिल जाता है। इसके विपरीत, यदि कोई छात्र किस्मत से सही उत्तर का अनुमान लगा लेता है, तो उसे "A" मिल जाता है, भले ही उसे यह समझ न हो कि वह क्यों काम करता है। यह सीखने की यात्रा और इस तथ्य को अनदेखा करता है कि रोबोट ने समस्या का 90% हिस्सा ठीक कर लिया होगा लेकिन आखिरी 10% पर अटक गया होगा।
नया तरीका (PAIR-BENCH):
लेखकों ने, कुओंग ची ली और सहयोगियों ने, रोबोटों (विशेष रूप से, लार्ज लैंग्वेज मॉडल्स या LLMs) को टेस्ट करने का एक नया तरीका बनाया जिसे PAIR-BENCH कहा जाता है। केवल अंतिम परिणाम को देखने के बजाय, यह इस बात पर नज़र रखता है कि रोबोट कोड को ठीक करने के लिए कैसे सीखता है, यानी उसकी पूरी प्रक्रिया को देखता है।
PAIR-BENCH को एक अंतिम परीक्षा के बजाय एक मददगार कोच के साथ वीडियो गेम की तरह समझें।
यह कैसे काम करता है: दो "नॉब्स" (Knobs)
यह सिस्टम "खिलाड़ी" (कोड ठीक करने की कोशिश कर रहा रोबोट) का मार्गदर्शन करने के लिए एक "कोच" (फीडबैक मॉडल) का उपयोग करता है। कोच के पास संकेतों (hints) को नियंत्रित करने के लिए दो विशेष नॉब्स हैं:
- "कहाँ" का नॉब (Failure-Region Control):
कल्पना कीजिए कि खराब टोस्टर में तीन समस्याएं हैं: एक जला हुआ तार, एक फंसा हुआ स्प्रिंग और एक ढीला प्लग।
- पुराना तरीका: कोच शायद बिना बताए चिल्ला सकता था, "यह खराब है!"
- नया तरीका: कोच पहले एक विशिष्ट समस्या को चुनने के लिए चुनता है, जैसे "आइए जले हुए तार को देखें।" एक बार जब रोबोट उसे ठीक कर लेता है, तो कोच अगली समस्या की ओर बढ़ता है। यह सुनिश्चित करता है कि रोबोट वास्तव में विशिष्ट समस्याओं को ठीक कर रहा है, न कि केवल अनुमान लगा रहा है।
- "कितना" का नॉब (Hint-Depth Control):
यह इस बात को नियंत्रित करता है कि रोबोट को कितनी मदद मिलती है, ठीक वैसे ही जैसे एक शिक्षक छात्र की मदद करता है।
- स्तर 1 (लक्षण): "टोस्टर से धुआं निकल रहा है।" (बहुत अस्पष्ट)।
- स्तर 2 (पैटर्न): "जब आप मोटी ब्रेड डालते हैं तो यह धुआं छोड़ता है।" (बेहतर)।
- स्तर 3 (स्टेट): "आप इस बात को ट्रैक नहीं कर रहे हैं कि ब्रेड कितनी देर तक अंदर रही।" (जवाब के करीब)।
- स्तर 6 (दिशा): "टाइमर लॉजिक को बदलकर सेकंड गिनने के लिए सेट करें, न कि लूप के लिए।" (लगभग उत्तर के पास)।
जादू: यदि रोबोट केवल स्तर 1 के संकेत के साथ समस्या को ठीक कर देता है, तो वह जीनियस है। यदि उसे सफल होने के लिए स्तर 6 के संकेत की आवश्यकता होती है, तो वह संघर्ष कर रहा है। सिस्टम मापता है कि रोबोट को सफल होने के लिए कितनी मदद की आवश्यकता थी।
उन्होंने क्या खोजा
लेखकों ने वास्तविक कोडिंग समस्याओं का उपयोग करके कई शीर्ष-स्तरीय AI मॉडल्स (जैसे DeepSeek, Gemini, और GPT-4o-mini) पर इस नए सिस्टम का परीक्षण किया। यहाँ उन्होंने क्या पाया, सरल शब्दों में:
- कुछ मॉडल्स "सेल्फ-स्टार्टर" होते हैं: एक मॉडल (DeepSeek) अक्सर बहुत अस्पष्ट संकेतों (स्तर 1 या 2) के साथ समस्याओं को ठीक कर सकता था। उसे कोच की मदद की आवश्यकता नहीं थी।
- कुछ मॉडल्स को "हाथ पकड़ने" (Hand-Holding) की आवश्यकता होती है: अन्य मॉडल्स अंततः समस्या को ठीक कर सकते हैं, लेकिन उन्हें बहुत विशिष्ट, विस्तृत निर्देशों (स्तर 5 या 6) की आवश्यकता होती है। वे खुद से इसे नहीं समझ पाते।
- स्थिरता मायने रखती है: कुछ मॉडल्स कोड के एक हिस्से को ठीक कर देते हैं लेकिन गलती से दूसरे हिस्से को तोड़ देते हैं जिसे वे पहले ही ठीक कर चुके थे। नया सिस्टम इस "रिग्रेशन" (पीछे हटना) को पकड़ लेता है, जिसे पुराना "पास/फेल" सिस्टम मिस कर देता था।
- निरंतरता: जब उन्होंने परीक्षण को कई बार चलाया, तो नए सिस्टम ने बहुत सुसंगत परिणाम दिए। पुराना तरीका पासे फेंकने जैसा था; कभी-कभी एक मॉडल अस्पष्ट संकेत के साथ भाग्यशाली हो जाता था, और कभी-कभी वह बदकिस्मत होता था। नया सिस्टम निष्पक्ष और स्थिर है।
मुख्य निष्कर्ष
लेखक तर्क देते हैं कि हमें केवल यह नहीं पूछना चाहिए कि "क्या रोबोट ने कोड ठीक किया?" हमें पूछना चाहिए:
- "उसे कितनी मदद की आवश्यकता थी?"
- "क्या वह एक चीज़ पर अटक गया और बाकी को अनदेखा कर दिया?"
- "क्या उसने उन चीजों को बिना तोड़े ठीक किया जो पहले से ही काम कर रही थीं?"
केवल गंतव्य (अंतिम पास/फेल) के बजाय यात्रा (ट्रैजेक्टरी) को मापने से, PAIR-BENCH हमें इन AI मॉडल्स की बुद्धिमत्ता और क्षमता की बहुत स्पष्ट और निष्पक्ष तस्वीर देता है। यह यह कहने के बीच का अंतर है कि "उसने टेस्ट पास कर लिया" और "उसने सामग्री को सीखा, कठिन हिस्सों पर थोड़े से धक्के की आवश्यकता महसूस की, और वह जो पहले से जानता था उसे नहीं भूला।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।